Vooringenomenheid in onderzoek: ben je zelf je ergste vijand?
Als productprofessionals denken we allemaal graag dat we elke ochtend opstaan en de waarheid proberen te achterhalen om onze gebruikers zo goed mogelijk van dienst te zijn en onze KPI's te behalen. Vaak gebruiken we onderzoeksmethoden om tot de kern van zaken door te dringen en productbeslissingen te onderbouwen. Dit is het punt: hoe hard we ook ons best doen, we kunnen de validiteit van onze resultaten beïnvloeden door onderzoeksbias.
Het is een verhaal zo oud als de weg naar Rome, en of je nu academisch onderzoeker of productmanager bent, het is cruciaal om de ins en outs te begrijpen van de vooroordelen die je op een dwaalspoor kunnen brengen. Laten we precies bekijken welke vooroordelen er bestaan en hoe je hun effect op je werk kunt beperken.
Wat is onderzoeksbias?
Onderzoeksbias is simpel gezegd elke handeling of denkwijze tijdens het onderzoeksproces die van invloed is op je vermogen om objectieve resultaten te verkrijgen. Het is belangrijk om te benadrukken dat onderzoeksbias uiterst wijdverbreid is: het kan voorkomen in zowel kwalitatief als kwantitatief onderzoek (ja, dat klopt—zelfs cijfers kunnen worden vervormd door de verhalen die we eromheen construeren).
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
Bias kan overal in het onderzoeksproces binnensluipen:
- Onderzoeksvragen definiëren
- Gegevens verzamelen
- Onderzoeksdeelnemers kiezen
- Gegevens analyseren
- Bevindingen samenvatten en communiceren
Vooroordelen zijn over het algemeen onbedoeld—we zijn ons er niet van bewust dat onze denkwijze, of de manier waarop we ons onderzoek uitvoeren, de validiteit van onze resultaten beïnvloedt. De eerste stap om onderzoeksbias te voorkomen, is toegeven dat ondanks onze beste bedoelingen, iedereen ter wereld die onderzoek doet vatbaar is voor bias. Goede bedoelingen zijn mooi, maar ze beschermen de validiteit van onze onderzoeksresultaten niet volledig.
Lees verder om meer te begrijpen over de vooroordelen die ons werk beïnvloeden en hoe je hun effecten kunt beperken.
Soorten onderzoeksbias die je werk kunnen laten ontsporen
Ik ben misschien een beetje bevooroordeeld (de woordspeling is slechts een klein beetje bedoeld), maar dit is het leuke en interessante deel. We bekijken nu alle manieren waarop we onbedoeld bevooroordeelde onderzoeksresultaten kunnen genereren dankzij de merkwaardige manier waarop onze hersenen en die van onze onderzoeksdeelnemers werken. (Maak je geen zorgen: als je verder leest, leer je ook hoe je ze kunt vermijden.)
Herinneringsbias
Is het vreemd om een favoriete bias te hebben? Vreemd of niet, dit is de mijne. Het is mijn favoriet omdat het verwijst naar de mysteries van de geest: wat we ons herinneren van een gebeurtenis of een reeks gebeurtenissen is niet altijd volledig of accuraat.
Herinneringsbias verwijst naar onze neiging om gebeurtenissen uit het verleden onbewust met bepaalde onnauwkeurigheden te herinneren, zoals weggelaten details. Dit gebeurt waarschijnlijker wanneer je onaangename gebeurtenissen bespreekt of wanneer je het hebt over zaken die lang geleden zijn gebeurd—maar in werkelijkheid kan het altijd gebeuren.
Voorbeeld van herinneringsbias
Als je bijvoorbeeld een gebruikersinterview uitvoert over de fitnessgewoonten van iemand en vraagt naar een app die die persoon een jaar lang niet heeft gebruikt, dan is diens vermogen om zich precies te herinneren wat diegene in de app heeft gedaan en hoe dat allemaal is verlopen beperkt. Of als je informeert naar iemands ervaring bij de dokter na een verwonding, kan het zijn dat diens geheugen hem of haar een dienst heeft bewezen door sommige van de minder aangename details enigszins vaag te maken om psychisch leed te voorkomen.
Er zijn talloze voorbeelden, maar het komt erop neer dat onze hersenen verhalenvertellers zijn. Om allerlei redenen, of die nu te maken hebben met het verstrijken van de tijd of met hoe we bepaalde gebeurtenissen willen waarnemen tegenover hoe ze werkelijk hebben plaatsgevonden, is wat we ons herinneren niet altijd precies wat er is gebeurd—en dit kan onze onderzoeksresultaten beïnvloeden wanneer onze onderzoeksdeelnemers zonder het te weten last hebben van herinneringsbias.
Selectiebias
Denk je soms dat bias alleen aan de kant van je onderzoeksdeelnemers voorkomt? Deze ligt bij jou, de persoon die het onderzoek uitvoert. Je weet waarschijnlijk al dat de manier waarop je bepaalt welke mensen in aanmerking komen om aan je onderzoek deel te nemen, grote invloed heeft op je resultaten. Als je slaapgedrag onderzoekt en alleen ouders van pasgeboren baby's interviewt of ondervraagt, krijg je bevindingen die niet per se van toepassing zijn op de algemene bevolking (gaap).
Bij selectiebias leiden bepaalde vooropgezette ideeën of gehechtheid aan hypotheses ertoe dat we onze onderzoekspopulatie definiëren op een manier die aansluit bij de resultaten die we verwachten of willen.
Voorbeeld van selectiebias
Stel dat je bedrijf een marketingautomatiseringstool heeft en je probeert te begrijpen waarom je concurrenten je qua omzet ver achter zich laten. Jij, als productmanager, hebt misschien de hypothese dat specifiek de functies voor e-mailautomatisering de groei van je concurrenten aanjagen.
Dit kan ertoe leiden dat je je richt op het werven van onderzoeksdeelnemers die zich in hun functie sterk op e-mail richten—waardoor je mogelijk waardeproposities en pijnpunten op andere gebieden van marketingautomatisering over het hoofd ziet, simpelweg omdat je niet genoeg deelnemers hebt geworven die actief zijn in andere delen van het product.
Bevestigingsbias
Als je ooit deel hebt uitgemaakt van een project waarin degene die het onderzoek leidde alleen geïnteresseerd leek in gebruikersfeedback die hun eigen aannames bevestigde, dan heb je bevestigingsbias in actie gezien. Wanneer we naar welk type gegevens dan ook kijken, kwalitatief of kwantitatief, is het onze menselijke neiging om de betekenis van informatie die onze hypothesen of overtuigingen bevestigt, zwaarder te laten wegen of te overdrijven. Dit wordt bevestigingsbias genoemd en het komt veel voor. Ik ben er zelfs van overtuigd geraakt dat de manier waarop productteams werken bevestigingsbias ongelooflijk waarschijnlijk maakt als we geen stappen ondernemen om deze rechtstreeks te bestrijden.
In productteams wordt er vaak van ons verwacht dat we enorme beslissingen nemen en grote risico's aangaan—snel. Het komt zelden voor dat je een ontwerper of productmanager tegenkomt die geen sterke mening heeft over welke functie-iteraties of productwijzigingen het team dichter bij zijn algemene doelen zullen brengen. Daarom wordt gebruikersonderzoek soms een vakje dat moet worden aangevinkt, en worden de resultaten gepresenteerd in een verhaal dat doordrenkt is van bevestigingsbias.
Hoe is dat mogelijk? Waarschijnlijk zal je gebruikersonderzoek veel verschillende inzichten opleveren. Bij het analyseren van je gegevens, een proces waarop binnen bedrijven meestal weinig toezicht wordt gehouden, kun je onbewust gegevenspunten terzijde schuiven die in tegenspraak zijn met wat je gelooft en een verhaal presenteren dat de werkelijkheid niet weerspiegelt. Oeps!
Voorbeeld van bevestigingsbias
Stel je voor dat een onderzoeker gebruikersinterviews uitvoert over een productfunctie die AI gebruikt om antwoorden op e-mailberichten te genereren. Als de onderzoeker in deze context sturende vragen zou gebruiken, zoals "zou je deze functie niet waardevol vinden?" of "hoe geweldig zou het zijn als je tijd zou besparen bij het schrijven van e-mails?", zou die bevestigingsbias creëren, omdat de onderzoeker de onderzoeksresultaten beïnvloedt met zijn eigen opvattingen over de waarde van de functie.
Meetbias
Of je nu kwalitatief of kwantitatief onderzoek doet, het is belangrijk dat de manier waarop je je gegevenspunten meet logisch is en overal consistent wordt toegepast. Wanneer er een fundamenteel probleem is met de metingen die we gebruiken, introduceren we mogelijk onjuiste resultaten—dit is meetbias.
Voorbeeld van meetbias
Laten we zeggen dat je een kwantitatief bruikbaarheidsonderzoek uitvoert voor een functie die ervoor moet zorgen dat minder gebruikers op een bepaald punt in de belangrijkste workflow van je product afhaken. Wat je in honderden tests meet, is het vermogen van een gebruiker om de flow in de nieuwe versie succesvol te voltooien, en je zoekt naar verbetering ten opzichte van de oude versie van de functie. Je team moet wat tijd besteden aan het nadenken over wat de flow succesvol voltooien precies betekent: betekent het alleen dat je voorbij de nieuwe versie komt? Of betekent het dat je alles uitvoert? Houdt het in dat je een bevredigend resultaat behaalt?
Zoals je kunt zien, kan de manier waarop je de meetwaarde zelf definieert je resultaten sterk beïnvloeden!
Interviewerbias
Bij het uitvoeren van gebruikersinterviews voor een kwalitatief onderzoek kunnen de vragen die een interviewer stelt en de manier waarop die ze stelt een voedingsbodem voor mogelijke bias vormen.
Voorbeelden van interviewerbias
Hier zijn enkele voorbeelden van manieren waarop interviewerbias in elk onderzoek kan binnensluipen:
- De interviewer stelt vragen op basis van zijn aannames over elke deelnemer, in plaats van voor iedere persoon in het onderzoek een uniforme reeks vragen te gebruiken.
- De interviewer stelt sturende vragen die de deelnemer ertoe aanzetten op een bepaalde manier te reageren, waardoor de hypothesen van de onderzoeker worden bevestigd.
- De interviewer laat in de formulering van de vraag een mening of waardeoordeel doorschemeren, waardoor de deelnemer wordt aangemoedigd om op een gunstige manier te reageren (dit wordt ook sociale-wenselijkheidsbias aan de kant van de deelnemer genoemd).
Publicatiebias
Wat doe je als productprofessional wanneer je onderzoeksresultaten niet overeenkomen met de bevindingen waarop je had gehoopt? Geloof het of niet, veel onderzoekers en productprofessionals rationaliseren dit vaak en kiezen ervoor hun onderzoeksresultaten niet met hun teams te delen wanneer dit gebeurt. Dit wordt publicatiebias genoemd.
Voorbeeld van publicatiebias
Hoe ziet dit eruit? Het ziet eruit alsof jij of iemand in je team zegt: “Nou, we hebben het maar met 15 gebruikers getest—ik denk niet dat het iets betekent. Laten we het voorlopig maar laten liggen.”
Het gevaar hierbij is dat je waardevolle informatie achterhoudt voor je team wanneer deze in strijd is met je hoop en overtuigingen. Wanneer je dat doet, kan het weglaten van informatie ervoor zorgen dat je team de verkeerde richting inslaat.
Steekproefbias
Wie werf je precies voor je onderzoek? Geloof het of niet, dit is vaak een van de grootste factoren die bepalen of je solide, betrouwbare resultaten krijgt. Er is sprake van steekproefbias wanneer je gegevens verzamelt waarbij de steekproef niet genuanceerd of representatief is. De resultaten kunnen dan mogelijk bevooroordeeld zijn en je op een dwaalspoor zetten.
Voorbeeld van steekproefbias
In dit voorbeeld voer je een enquête uit over kookgewoonten om nieuwe functies voor je receptenapp te bedenken. Als de respondenten van je vragenlijst afkomstig zijn uit een groep die je op een universiteitscampus hebt samengesteld, kijk je in feite naar de kookgewoonten van jongeren die voltijds studeren. Hoe zit het met gezinnen? Gepensioneerden?
Een van de belangrijkste dingen die je tijdens het onderzoeksontwerpproces doet, is ervoor zorgen dat je naar een representatieve steekproef kijkt.
Vooringenomenheid bij de analyse
Nadat je je methoden voor gegevensverzameling hebt uitgevoerd, ga je de analysefase in. Hier neem je allerlei beslissingen: welke gegevens zijn belangrijk? Welke zijn het belangrijkst? Wat betekent dit alles kwalitatief gezien? Statistisch gezien? Vaak nemen we deze beslissingen op een manier die onze oorspronkelijke hypothesen of gewenste resultaten ondersteunt.
Voorbeeld van vooringenomenheid bij de analyse
Een voorbeeld van vooringenomenheid bij de analyse is wanneer je merkt dat je dingen zegt als: “Dat is niet belangrijk. Het kwam maar een paar keer naar voren. Dit zijn slechts uitschieters.” Hoewel dat afhankelijk van het onderzoek waar kan zijn, kan het ook betekenen dat vooringenomenheid bij de analyse binnensluipt en ervoor zorgt dat je een belangrijke nuance in je onderzoeksresultaten negeert.
Dit zijn slechts enkele voorbeelden van vooringenomenheid in onderzoek—er zijn werkelijk talloze manieren waarop vooringenomenheid zich in onderzoeksprojecten manifesteert. De volgende vraag is dus: wat kunnen we eraan doen?
Vooringenomenheid vermijden bij het ontwerpen van een onderzoek
Je maakt je nu waarschijnlijk een beetje zorgen en vraagt je af of onderzoek misschien zinloos is vanwege onze zeer menselijke neiging om toe te geven aan bevooroordeelde werkwijzen. Gelukkig is dat niet het geval. Nu je je bewust bent van de mogelijke vormen van vooringenomenheid die op de loer liggen achter elke goedbedoelde beslissing, kun je stappen zetten om vooringenomenheid in je gebruikersonderzoek te verminderen en je productteam in de juiste richting te sturen. Laten we eens kijken naar enkele manieren om dat te doen.
Pak het ontwerp van je onderzoek zorgvuldig aan
Dit is de versie voor gebruikersonderzoek van ‘met de juiste instelling beginnen’. Bij het ontwerpen van je onderzoek neem je een reeks beslissingen die, als je ze goed uitvoert, de kans op mogelijke vooringenomenheid kunnen verkleinen.
Hier zijn enkele tips:
- Definieer je gebruikersgroepen zo breed mogelijk en houd daarbij nog steeds rekening met je doelpopulatie
- Kies je onderzoeksmethoden zorgvuldig: zorg ervoor dat de methodologie weerspiegelt wat je probeert te leren
- Als je gebruikersinterviews uitvoert, schrijf dan een interviewhandleiding voordat je begint met interviewen en probeer ervoor te zorgen dat je iedereen dezelfde vragen stelt
Vermijd belangenconflicten in alle fasen van gebruikersonderzoek
Die productmanager die het hele jaar al blijft hameren op de noodzaak om een specifieke koerswijziging door te voeren? Idealiter is dat niet de persoon die het onderzoeksproject leidt. Hoewel objectiviteit in dit geval nog steeds mogelijk is, maken belangenconflicten zoals deze het voor mensen vaak uiterst moeilijk om onbevooroordeeld gegevens te verzamelen en onderzoeksresultaten te analyseren.
Een alternatief zou zijn om iemand anders—bijvoorbeeld een ontwerper of een gebruikersonderzoeker in het team—het onderzoek te laten ontwerpen en leiden, terwijl die persoon onderweg overlegt met de eerder genoemde productmanager. Over het algemeen geldt als empirisch onderbouwde regel dat iemand betrouwbaardere onderzoeksbevindingen zal opleveren naarmate die persoon minder gehecht is aan een gewenst resultaat.
Erken dat vooringenomenheid in onderzoek van toepassing is op alle mensen die onderzoek uitvoeren
Ik bedoel dit zo respectvol mogelijk: hoewel je waarschijnlijk op allerlei manieren bijzonder bent, ben je het niet als het gaat om de mogelijkheid om vooringenomenheid in een onderzoek te introduceren—jij niet.
Alle vormen van vooringenomenheid die we hebben besproken, zijn empirisch onderbouwde tendensen die alle mensen hebben. Zodra je de instelling aanneemt dat zelfs jij in theorie last zou kunnen hebben van verschillende vormen van vooringenomenheid, ben je goed op weg om ze te voorkomen!
Voer altijd een retrospectieve evaluatie van het onderzoek uit
Het is oké om fouten te maken in het leven, en hetzelfde geldt voor gebruikersonderzoek. Zorg er elke keer dat je een onderzoek uitvoert voor dat je met je team om de tafel gaat zitten en je methodologie van begin tot eind doorneemt—wat had je anders kunnen doen? Is het mogelijk dat er ongemerkt een vorm van vooringenomenheid is binnengeslopen?
Meestal zul je niet ontdekken dat je onderzoek volkomen onbetrouwbaar is, maar je brengt wel kleine aanpassingen aan het licht die je in je volgende onderzoek zou kunnen doen om de betrouwbaarheid van je gebruikersonderzoek in de toekomst te vergroten.
Onderzoeksbias bestaat, maar kan worden beheerst.
Nu je weet wat je in de weg kan zitten als het gaat om betrouwbaar gebruikersonderzoek, ben je klaar om eropuit te gaan en goed werk te leveren. Met het risico enigszins belachelijk te klinken, zal ik je een laatste geheim vertellen: ik heb een kleine post-it op mijn bureau waarop simpelweg ‘bias!’ staat. Ik merk dat dit ervoor zorgt dat alles wat we hebben besproken goed in mijn gedachten blijft.
Zelfs als een alarmerend post-itje niet jouw favoriete methodologie is, zoek dan een manier om het elimineren van bias goed in gedachten te houden wanneer je gebruikersonderzoek uitvoert. Dan ben je goed op weg om inzichten te leveren die je team helpen zijn doelen te bereiken.
Vergeet niet om je te abonneren op onze nieuwsbrief voor meer bronnen en handleidingen over productmanagement, plus de nieuwste podcasts, interviews en andere inzichten van marktleiders en experts.
