5 vertekeningen in productonderzoek & hoe je ze voorkomt
Wanneer hebben klanten je voor het laatst tijdens een interview gevraagd een functie te bouwen, terwijl uiteindelijk niemand die functie gebruikte? Ik ben ervan overtuigd dat elke PM daar minstens één ronde gebruikersinterviews heeft meegemaakt die op een enorme mislukking is uitgelopen.
De vanzelfsprekende vervolgvraag is: wat ging er mis tijdens het interview? Waarschijnlijk zijn we een van de vele onderzoeksbiases tegengekomen die ertoe hebben geleid dat we de verkeerde productbeslissingen namen.
Een product aansturen op basis van bevooroordeelde gegevens is gevaarlijk. Gelukkig kun je dit voorkomen door te leren wat bias is, waarom die riskant is en door te leren van deze vijf voorbeelden van bias in onderzoek die tot ongewenste uitkomsten hebben geleid.
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
Wat is bias in productonderzoek en wat zijn de risico's?
De term bias verwijst naar de reeks fouten die product- en marketingteams maken bij het uitvoeren van onderzoek. Het resultaat van deze fouten is meestal een onjuiste analyse die leidt tot beslissingen die niet de werkelijke situatie van hun product, markt en gebruikers weerspiegelen.
De besluitvorming van een productmanager heeft een enorme impact. Eén beslissing kan de volledige productlijn in de richting van een nieuwe markt of doelpersona sturen. Daarnaast zijn er dagelijkse beslissingen met betrekking tot de uitvoering die van invloed zijn op de effectiviteit van de inspanningen van de engineering-, marketing-, AI- en andere teams.
Beslissingen nemen op basis van bevooroordeelde gegevens is daarom bijzonder gevaarlijk, omdat je mensen in de verkeerde richting kunt sturen en als PM jammerlijk kunt falen.
Gelukkig is het beperken van onderzoeksbias niet zo moeilijk als het misschien lijkt. Het moeilijke deel is toegeven dat je gegevens bevooroordeeld zijn. Het beperken ervan is op zichzelf relatief eenvoudig.
Soorten onderzoeksbias in kwantitatieve data-analyse
Laten we beginnen met de veelvoorkomende soorten bias die je tegenkomt wanneer je met gegevens werkt. Ze houden meestal verband met fouten in de manier waarop je kwantitatieve gegevens verzamelt, analyseert en gebruikt.
In klassiek wetenschappelijk onderzoek wordt een grote verscheidenheid aan onderzoeksbiases onderscheiden, waaronder:
- Publicatiebias
- Meetbias
- Analysebias
- Ontwerpbias
- Observatorbias
- Herinneringsbias
- Sociale-wenselijkheidsbias
- Demografische en culturele bias
- Responsbias en andere vormen.
Maar deze zijn voor ons wat te theoretisch om te bespreken. Daarom richt ik me op de drie soorten bias die je in de praktijk als productmanager zult tegenkomen.
#1: Steekproef- en selectiebias
Zoals de naam al suggereert, gaat steekproefbias over het verkrijgen van onjuiste gegevens vanwege de steekproef die je hebt geselecteerd.
Als je steekproef gegevens bevat die naar een bepaalde eigenschap zijn vertekend, zal de analyse die je maakt niet representatief zijn voor de algemene populatie. Uiteindelijk extrapoleer je het gedrag van die vertekende steekproef onjuist en pas je het toe op de volledige dataset.
Netflix is een van de grote technologiebedrijven die zich schuldig heeft gemaakt aan steekproefbias. Mensen in de Verenigde Staten waren dol op het aanbevelingsalgoritme, omdat het programma's kon voorstellen die aansloten bij hun interesses. De rest van de wereld had er echter een hekel aan. De suggesties waren simpelweg verschrikkelijk.
Wat was de reden hiervoor? Blijkbaar gebruikte het AI-model dat was getraind om deze suggesties te doen alleen kijkersgegevens uit de VS en stelde het dingen voor die relevant waren voor Amerikanen.
Hoe beperk je steekproefbias?
In het geval van Netflix begonnen ze eenvoudigweg internationale gegevens aan hun modellen te leveren en trainden ze die opnieuw op basis van een minder vertekende onderzoekspopulatie.
Maar als je een meer systematische aanpak wilt om dit type bias te beperken, kan ik een enigszins onorthodoxe aanpak voorstellen die in het verleden voor mij heeft gewerkt: het uitvoeren van wat statistici een clusteranalyse noemen.
Met een clusteranalyse kun je gemeenschappelijke kenmerken in je steekproefpopulatie vinden en deze op basis van die kenmerken in clusters indelen.
In de bovenstaande afbeelding zie je dat de populatie duidelijk is verdeeld in drie verschillende clusters op basis van de gekozen kenmerken.
Wat je doet, is een grote verscheidenheid aan kenmerken selecteren en voor elk daarvan deze grafieken maken. Je gegevens zullen vertekend zijn en vatbaar voor steekproefbias als je ziet dat je voor bepaalde kenmerken slechts één cluster hebt. In het voorbeeld van Netflix had het kenmerk van het land van de kijker één cluster: de Verenigde Staten.
Let wel! Soms is het natuurlijk dat je volledige populatie voor een kenmerk één cluster vormt als het kenmerk hun persona beschrijft. Als we bijvoorbeeld een clusteranalyse zouden uitvoeren voor de lezers van theproductmanager.com, zou de meerderheid van hen productmanagers zijn. Dit is logisch, aangezien PM's de persona zijn waarop de website is gericht. Verwijder dit soort kenmerken dus altijd uit je analyse.
#2: Procedurele vertekening
Dit type vertekening verwijst naar de fouten die je hebt gemaakt in je onderzoeksopzet en onderzoeksproces. Dit kan komen door het gebruik van onjuiste hulpmiddelen, statistische formules of zelfs je methoden voor gegevensverzameling.
Uit mijn ervaring komt procedurele vertekening vooral vaak voor in gebruikersenquêtes. Als je daarin sturende vragen hebt opgenomen, zullen je respondenten waarschijnlijk het slachtoffer worden van jouw “duw” in de richting van een bepaald type antwoord.
Zo ziet een typische sturende enquêtevraag eruit:
Hoeveel hou je van ons product?
Door de manier waarop je de vraag formuleert, suggereer je dat gebruikers een positiever antwoord moeten geven, zelfs als ze een hekel hebben aan wat je doet.
De meer neutrale variant van dezelfde vraag ziet er als volgt uit:
Hoe zou je ons product beoordelen?
In dit geval geven we duidelijk aan dat negatieve antwoorden ook goed zijn.
Procedurele vertekening beperken
De beste manier om ervoor te zorgen dat je onderzoek vrij is van procedurele vertekening, is door de juiste hulpmiddelen en methodologieën te kiezen voor het specifieke type analyse dat je uitvoert.
Antwoorden willekeurig rangschikken
Als je enquêtes uitvoert, moet je naast het vermijden van sturende vragen ook de volgorde van de vragen willekeurig maken, omdat de kans bestaat dat mensen halverwege de vragenlijst verveeld raken en betekenisloze antwoorden gaan geven. Zonder randomisatie zullen de laatste paar vragen vrijwel geen bruikbare antwoorden opleveren.
Let op statistische significantie
Houd er bovendien rekening mee dat enquêtes gedeeltelijk kwantitatief van aard zijn. Vertrouw dus niet te veel op de statistische analyse van die gegevens. Als je bijvoorbeeld een bepaalde functie hebt verbeterd en je NPS-score met 2% is gestegen, is dat een te klein verschil om als een statistisch significant resultaat te worden beschouwd. Een verdubbeling zou daarentegen betrouwbaar zijn.
Kies de juiste hulpmiddelen
Laten we het nu ook hebben over het selecteren van de verkeerde hulpmiddelen. Als je de conversieratio van je afrekenpagina meet, zou het gebruik van een heatmaptool procedurele vertekening veroorzaken, omdat de gegevens die je hiermee verkrijgt onbetrouwbaar zijn.
In deze gevallen kun je het beste heatmapsoftware gebruiken om het gedragsprobleem op te sporen en de gedragsverandering met een A/B-test te testen. Voor het meten van CR kun je daarentegen het beste vertrouwen op productanalysetools zoals Amplitude of GA4.
#3: Overlevingsbias
Vertekende onderzoeksmethoden bestaan al lange tijd. Er is een interessant verhaal over Amerikaanse bommenwerpers uit de Tweede Wereldoorlog. Telkens wanneer de bommenwerpers terugkeerden naar de basis, onderzochten de ingenieurs de gaten van luchtafweergeschut in hun romp en brachten ze die als volgt in kaart:
De logische volgende stap was om de plekken met de meeste kogelinslagen te versterken met dikkere pantserplaten. Maar deze versterking had vrijwel geen effect op de overlevingskans van Amerikaanse bommenwerpers.
Na de situatie zorgvuldig te hebben onderzocht, realiseerden de ingenieurs zich dat ze alleen te maken hadden met de vliegtuigen die erin waren geslaagd te overleven en naar de basis terug te keren. De delen die ze moesten versterken, waren dus juist de delen waar de vliegtuigen geen kogelgaten hadden.
Overlevingsbias beperken
Laten we de vliegtuigen uit de Tweede Wereldoorlog achter ons laten en kijken naar digitale producten. Als PM zul je bij het beheren van je gegevensverzamelingsproces waarschijnlijk te maken krijgen met deze twee mogelijke situaties waarin vertekening binnensluipt:
Gegevens filteren voor analyse
Bij het analyseren van gebruikersgedrag kun je gebruikers wegfilteren die bepaalde acties hebben uitgevoerd die niet relevant zijn voor je analyse.
Ik kreeg hier vrij recent mee te maken. We probeerden de activatiegraad voor ons product voor influencermarketing te verbeteren. Het data-analyseteam bouwde een trechterrapport waarin de conversieratio's van de ene activatiestap naar de andere vrij hoog waren (ergens tussen de 50 en 70%).
Deze gegevens verbaasden ons, omdat we een lage algemene betrokkenheid bij het product zagen in verhouding tot het aantal aanmeldingen. Nadat we de gegevens zorgvuldig hadden geanalyseerd, begrepen we dat het datateam een filter had toegepast en alleen de gegevens van onze intensieve gebruikers had behouden.
Natuurlijk waren het waarschijnlijk vooral ervaren gebruikers die de activeringsstroom zonder problemen hadden doorlopen. De conversieratio's in de trechter waren dus niet echt representatief voor de werkelijke situatie. Toen we naar de trechters keken en al onze aanmeldingen meenamen, daalden de ratio's aanzienlijk.
Geleerde les:
- Houd bij het filteren van je gegevens altijd rekening met de context en het doel van de analyse.
Analyse van vooraf gescreende enquêtegegevens
Een ander interessant geval binnen onderzoeksopzet waar ik onlangs mee te maken kreeg, had betrekking op een enquête die we uitvoerden om de behoeften en pijnpunten van beïnvloeders te begrijpen. Opnieuw waren de onderzoeksresultaten voor ons enigszins verwarrend, omdat de behoeften van de respondenten niet overeenkwamen met de inzichten die we uit onze gebruikersinterviews hadden verkregen.
Het probleem zat hier in ons voorselectieproces voor gebruikers die aan de enquête deelnamen. Behalve dat we vroegen of ze beïnvloeders waren (om te voorkomen dat we antwoorden van irrelevante mensen kregen), vroegen we ook naar de omvang van hun publiek/volgers.
Om de een of andere reden hadden we beïnvloeders met minder dan 50.000 volgers uitgesloten en alleen de antwoorden van de relatief grotere beïnvloeders meegenomen. Ons product was echter ook bedoeld voor kleine beïnvloeders. De gegevens die we uit de enquête kregen, waren voor ons dus niet accuraat.
Geleerde lessen:
- Controleer je onderzoeksbevindingen aan de hand van kwalitatieve gegevens. Als er een groot verschil is tussen de bevindingen uit deze twee bronnen, heb je mogelijk iets verkeerd gedaan.
- Wees voorzichtig met je voorselectieproces; je zou uiteindelijk ook relevante gebruikers kunnen uitsluiten.
Soorten vertekening in kwalitatief onderzoek
Nu de systematische fouten met betrekking tot kwantitatief onderzoek zijn behandeld, gaan we verder met een andere belangrijke onderzoekscategorie: kwalitatieve studies.
Voor productmanagers is het voeren van gebruikersinterviews de belangrijkste vorm van kwalitatief onderzoek. Daarom richt ik me op de twee belangrijkste vormen van vertekening die je doorgaans tegenkomt wanneer je met je klanten en gebruikers praat.
Opmerking: dit zijn ook de twee soorten vertekening die je kunt beheersen en beperken met behulp van een geschikte tool voor productideeën.
#4: Bevestigingsbias
Een van de grootste kwaliteiten van productmanagers is dat ze sterk in iets geloven wanneer anderen dat niet doen. Zo creëer je innovatieve producten en breng je een revolutie teweeg in je branche. De neiging om echter aan hun eigen meningen vast te houden, is ook een belangrijke zwakte van PM's.
De reden is dat PM's vaak last hebben van bevestigingsbias. Dit beschrijft een situatie waarin je actief probeert de delen van het gesprek te horen die aansluiten bij je overtuigingen en de rest terzijde schuift.
Dit is behoorlijk gevaarlijk voor mensen die vervolgens strategische beslissingen nemen over hoe het product eruit zal zien en hoe ze het op de markt willen brengen. Wanneer bevestigingsbias een rol speelt, worden je gebruikersinterviews volkomen betekenisloos en neem je uiteindelijk beslissingen zonder voldoende inzicht (en kun je klantgerichtheid wel vergeten).
Hoe je bevestigingsbias kunt beperken
Ik moet toegeven dat ik me ook schuldig maak aan het “beoefenen” van bevestigingsbias. Maar er is een oplossing die me heeft geholpen om dit redelijk goed te beperken.
Je kunt het de “codereview” van gebruikersinterviews noemen. Het is een proces waarbij productmensen een aantal interviews van hun collega's onderling beoordelen en voorstellen doen om inzichten toe te voegen of te verwijderen.
Als je de enige productmanager in het bedrijf bent (wat vaak voorkomt bij kleine startende bedrijven), doe deze oefening dan samen met de oprichter. Vergeet niet dat oprichters in wezen ook productmensen zijn.
#5: Vertekening bij deelnemers
Hoewel bevestigingsbias een gevaarlijk beest is, is het een van de gemakkelijkste vormen van vertekening om te verhelpen. De volgende vorm waar ik het over wil hebben, is echter veel moeilijker te beperken.
Vertekening bij deelnemers ontstaat wanneer je respondenten dingen zeggen op basis van wat ze denken dat jij wilt horen, in plaats van wat ze werkelijk over dat specifieke onderwerp denken.
Wanneer je bijvoorbeeld een interview afneemt, kun je de onderzoeksdeelnemers vragen of ze je product zouden kopen, ervan uitgaande dat je de functie toevoegt waar ze net om hebben gevraagd. Kun je raden wat het antwoord zou zijn? Uit mijn ervaring zal de overgrote meerderheid ja zeggen.
Betekent dit dat je naar het ontwikkelteam moet rennen en moet vragen of ze die functie zo snel mogelijk willen bouwen? Nee! De vraag die je stelde is gebrekkig en stuurt mensen er vanzelf toe om iets te zeggen waarmee ze jou een plezier doen.
Ik ben het ermee eens dat je functie een belangrijk pijnpunt voor sommige van deze geïnterviewden kan wegnemen en dat zij er uiteindelijk voor zullen betalen. Maar de meerderheid zal die functie simpelweg gratis gebruiken of helemaal niet gebruiken.
Naast het stellen van gebrekkige onderzoeksvragen zullen deelnemers aan het onderzoek je ook bevooroordeelde antwoorden geven als je hen betaalt voor het onderzoek. Meestal proberen ze “hun salaris te verdienen” door gunstige antwoorden te geven en je tevreden te stellen, zonder te beseffen dat ze daarmee meer kwaad dan goed doen.
Hoe voorkom je vooringenomenheid bij deelnemers?
Zoals ik al aangaf, is vooringenomenheid bij deelnemers behoorlijk moeilijk te beperken. Dat komt doordat je niet echt weet of de deelnemer oprecht tegen je is of niet.
Maar twee tactieken kunnen je helpen de kans op slechte antwoorden te verkleinen.
Vragen stellen over hun eerdere ervaringen
Als je vragen stelt over een theoretische gebeurtenis in de toekomst, zullen geïnterviewden waarschijnlijk dingen zeggen die ze in het echte leven nooit daadwerkelijk zullen doen.
Als je iemand op 2 januari vraagt of diegene bereid zou zijn om twaalf maanden achter elkaar naar de sportschool te gaan, zal die persoon ja zeggen. Maar we weten allemaal dat de meeste mensen hun lidmaatschap al na een paar bezoeken opzeggen.
Om dit te voorkomen stellen PMs liever vragen over dingen die in het verleden zijn gebeurd. Zo kan de PM meer te weten komen over het gedrag van gebruikers op basis van wat gebruikers hebben gedaan, en niet van wat ze zouden willen hebben gedaan.
De juiste verwachtingen scheppen
Soms staat de aard van je vraag of onderzoek je niet toe om naar het verleden van je gebruikers te vragen. Je wilt bijvoorbeeld weten hoe ze zich zouden voelen als je de prijs van je product verhoogde.
In dat geval kun je duidelijk maken dat je ook negatieve antwoorden wilt horen en dat hun eerlijke feedback de enige manier is waarop ze “hun geld kunnen verdienen”.
Je vooringenomenheid erkennen is 80% van de strijd
Precies. Het ergste aan vooringenomenheid is dat de meesten van ons oprecht geloven dat we gelijk hebben. De belangrijkste stap die je kunt zetten om je eigen vooringenomenheid te beperken, is deze te herkennen.
Zodra je dit doet, zul je er vanzelf tegen gaan strijden en uiteindelijk een vooringenomenheidsvrije toestand bereiken. (Of op zijn minst een toestand waarin je vooringenomenheid "beheerst" is!)
Vergeet niet je te abonneren op onze nieuwsbrief voor meer bronnen en handleidingen over productmanagement, plus de nieuwste podcasts, interviews en andere inzichten van leiders en experts uit de sector.
