Partiskhet i forskning: Er du din egen verste fiende?

Som produkteksperter liker vi alle å tro at vi står opp hver morgen og søker sannheten for å kunne tjene brukerne våre best mulig og nå KPI-ene våre. Ofte bruker vi forskningsmetodikk for å komme til bunns i ting og informere produktbeslutninger. Saken er at uansett hvor hardt vi prøver, er vi utsatt for å påvirke resultatenes validitet gjennom forskningsbias.

Det er en fortelling like gammel som tiden selv, og enten du er akademisk forsker eller produktsjef, er det avgjørende å forstå alle sider ved skjevhetene som kan lede deg på villspor.  La oss se nærmere på nøyaktig hvilke skjevheter som finnes, og hvordan du kan begrense effekten de har på arbeidet ditt. 

Hva er forskningsbias?

Forskningsbias er enkelt sagt enhver handling eller tankemåte i løpet av forskningsprosessen som påvirker evnen din til å oppnå objektive resultater. Det er viktig å merke seg at forskningsbias er svært utbredt: Det kan forekomme i både kvalitativ og kvantitativ forskning (ja, det stemmer – selv tall kan forvrenges av historiene vi konstruerer rundt dem). 

Skjevheter kan snike seg inn hvor som helst i forskningsprosessen:

• Definering av forskningsspørsmål
• Datainnsamling
• Valg av studiedeltakere
• Dataanalyse
• Oppsummering og formidling av funn

Skjevheter er som regel utilsiktede – vi er ikke klar over at tankemåten vår, eller måten vi gjennomfører studien på, påvirker resultatenes validitet. Det første steget for å forebygge forskningsbias er å innrømme overfor oss selv at hver eneste person i universet som driver med forskning, er utsatt for bias, uansett hvor gode intensjonene våre er. Gode intensjoner er fint, men de gjør ikke hele jobben når det gjelder å beskytte validiteten til studieresultatene våre.

Les videre for å forstå mer om skjevhetene som påvirker arbeidet vårt, og hvordan du kan begrense effekten av dem. 

Typer forskningsbias som kan spore arbeidet ditt av

Jeg er litt partisk (ordspillet var bare litt tilsiktet), men dette er den morsomme og interessante delen. Nå skal vi utforske alle måtene vi utilsiktet kan generere skjeve forskningsresultater på, takket være de merkelige måtene hjernen vår og hjernen til studiedeltakerne våre fungerer på. (Ikke bekymre deg: Hvis du fortsetter å lese, lærer du også hvordan du kan unngå dem.)

Erindringsbias

Er det rart å ha en favorittskjevhet? Rart eller ikke, dette er min. Det er favoritten min fordi den peker mot sinnets mysterier: Det vi husker fra en hendelse eller en rekke hendelser, er ikke alltid fullstendig eller nøyaktig.  

Erindringsbias viser til tendensen vår til ubevisst å huske tidligere hendelser med visse unøyaktigheter, for eksempel utelatte detaljer. Dette skjer oftere når du tar opp ubehagelige hendelser, eller når du tar opp ting som skjedde for lenge siden – men egentlig kan det skje når som helst.  

Eksempel på erindringsbias

Hvis du for eksempel gjennomfører et brukerintervju om noens treningsvaner og spør om en app de ikke har brukt på et år – vel, evnen deres til å huske nøyaktig hva de gjorde i appen, og hvordan det hele utspilte seg, er begrenset. Eller hvis du spør om noens opplevelse hos legen etter en skade, kan hjernen deres ha gjort dem en tjeneste ved å gjøre noen av de mindre behagelige detaljene litt uklare for å unngå psykisk belastning.

Det finnes utallige eksempler, men poenget er at hjernen vår forteller historier. Av mange ulike årsaker, enten det handler om tidens gang eller om hvordan vi ønsker å oppfatte bestemte hendelser sammenlignet med hvordan de faktisk skjedde, er det vi husker, ikke alltid nøyaktig det som skjedde – og dette kan påvirke forskningsresultatene våre når studiedeltakerne våre uvitende lider av erindringsbias.

Seleksjonsbias

Hvis du skulle tro at bias bare oppstår hos studiedeltakerne dine, gjelder denne deg – personen som gjennomfører forskningen. Du vet sannsynligvis allerede at måten du definerer personene som er kvalifisert til å delta i studien på, påvirker resultatene dine i stor grad. Hvis du forsker på søvnvaner og bare intervjuer eller spør foreldre til nyfødte babyer, kommer du til å få funn som ikke nødvendigvis gjelder for befolkningen generelt (gjesp).

Ved seleksjonsbias fører bestemte forutinntatte oppfatninger eller tilknytninger til hypoteser til at vi definerer forskningsutvalget vårt på en måte som legger til rette for resultatene vi forventer eller ønsker. 

Eksempel på seleksjonsbias

La oss si at selskapet ditt har et verktøy for markedsføringsautomatisering, og at du prøver å forstå hvorfor konkurrentene dine ligger langt foran deg når det gjelder inntekter. Du som produktsjef kan ha en hypotese om at det spesifikt er funksjonene for e-postautomatisering som driver konkurrentenes vekst.

Dette kan føre til at du fokuserer på å rekruttere studiedeltakere som i stor grad arbeider med e-post – noe som kan føre til at du overser verdiforslag og smertepunkter innen andre områder av markedsføringsautomatisering, ganske enkelt fordi du ikke rekrutterte nok deltakere som er aktive innen andre deler av produktet.

Bekreftelsesbias

Hvis du noen gang har vært del av et prosjekt der den som ledet forskningsarbeidet, bare så ut til å være interessert i tilbakemeldinger fra brukerne som bekreftet deres egne antakelser, har du sett bekreftelsesskjevhet i praksis. Når vi ser på alle typer data, kvalitative eller kvantitative, har vi mennesker en tendens til å favorisere eller overdrive betydningen av informasjon som bekrefter hypotesene eller oppfatningene våre. Dette kalles bekreftelsesskjevhet, og det er utbredt. Faktisk har jeg kommet til å tro at måten produktteam arbeider på, gjør bekreftelsesskjevhet svært sannsynlig hvis vi ikke tar grep for å bekjempe den direkte.

I produktarbeid blir vi ofte bedt om å ta store beslutninger og ta betydelig risiko – raskt. Det er sjelden å møte en designer eller en produktleder som ikke har en sterk mening om hvilke funksjonsiterasjoner eller produktjusteringer som vil bringe teamet nærmere de overordnede målene. Derfor blir brukerforskning noen ganger bare noe som må krysses av, og resultatene presenteres i en fortelling som er full av bekreftelsesskjevhet.

Hvordan er det mulig? Mest sannsynlig vil forskningsstudien din inneholde mange ulike innsikter. Når du analyserer dataene dine, noe som vanligvis er en prosess med lite oppfølging i virksomheter, kan du ubevisst avvise datapunkter som motsier det du tror, og presentere en fortelling som ikke gjenspeiler virkeligheten. Uff!

Eksempel på bekreftelsesskjevhet

Se for deg at en forsker gjennomfører brukerintervjuer om en produktfunksjon som bruker AI til å generere svar på e-postmeldinger. I denne sammenhengen vil forskeren skape bekreftelsesskjevhet dersom hen stiller ledende spørsmål, som "ville du ikke hatt nytte av denne funksjonen?" eller "hvor flott ville det ikke vært om du sparte tid på å skrive e-poster?", fordi hen påvirker forskningsresultatene med sine egne oppfatninger om verdien av funksjonen.

Måleskjevhet

Enten du driver med kvalitativ eller kvantitativ forskning, er det viktig at måten du måler datapunktene dine på, gir mening og er konsekvent gjennom hele prosessen. Når det er et grunnleggende problem med målingene vi bruker, introduserer vi potensielt feilaktige resultater – dette er måleskjevhet.

Eksempel på måleskjevhet

La oss si at du gjennomfører en kvantitativ brukervennlighetsstudie av en funksjon som skal redusere frafall på et bestemt tidspunkt i produktets sentrale arbeidsflyt.  Det du måler på tvers av hundrevis av tester, er brukerens evne til å fullføre flyten i den nye iterasjonen, og du ser etter en forbedring sammenlignet med den gamle versjonen av funksjonen. Teamet ditt må bruke litt tid på å tenke gjennom hva det faktisk betyr å fullføre flyten: betyr det bare å komme forbi iterasjonen? Eller betyr det å gjøre alt? Innebærer det å oppnå et tilfredsstillende resultat?

Som du ser, kan måten du definerer selve måltallet på, ha stor innflytelse på resultatene dine!

Intervjuskjevhet

Når du gjennomfører brukerintervjuer for en kvalitativ studie, kan spørsmålene intervjueren stiller, og måten de stilles på, skape grobunn for potensiell skjevhet.

Eksempler på intervjuskjevhet

Her er noen eksempler på hvordan intervjuskjevhet kan snike seg inn i enhver forskningsstudie:

• Intervjueren stiller spørsmål basert på sine antakelser om hver deltaker, i stedet for å bruke et ensartet sett med spørsmål for hver person i studien.
• Intervjueren stiller ledende spørsmål som får deltakeren til å svare på en bestemt måte som bekrefter forskerens hypoteser.
• Intervjueren antyder en mening eller verdivurdering gjennom måten spørsmålet formuleres på, noe som oppmuntrer deltakeren til å svare på en måte som er fordelaktig (også kalt sosial ønskverdighetsskjevhet hos deltakeren).

Publiseringsskjevhet

Hva gjør du som produktansvarlig når forskningsresultatene dine ikke gjenspeiler funnene du hadde håpet på? Tro det eller ei, mange forskere og produktansvarlige rettferdiggjør ofte dette og velger å ikke dele forskningsresultatene med teamene sine når det skjer, og dette kalles publiseringsskjevhet.

Eksempel på publiseringsskjevhet

Hvordan ser dette ut? Det kan se ut som at du eller noen på teamet ditt sier: «Vel, vi testet det bare med 15 brukere – jeg tror ikke det betyr noe. La oss bare la det ligge foreløpig.»  

Faren her er at du holder verdifull informasjon tilbake fra teamet ditt når den strider mot håpene og oppfatningene dine. Når du gjør det, kan utelatelsen av informasjon sende teamet ditt i full fart i feil retning. 

Utvalgsskjevhet

Hvem rekrutterer du egentlig til studien din? Tro det eller ei, dette er ofte en av de viktigste faktorene for hvorvidt du får solide og pålitelige resultater. Utvalgsskjevhet oppstår når du samler inn data fra et utvalg som ikke er nyansert eller representativt, og resultatene dermed kan inneholde skjevheter og lede deg på villspor.

Eksempel på utvalgsskjevhet

I dette eksempelet gjennomfører du en undersøkelse om matlagingsvaner for å få ideer til nye funksjoner i oppskriftsappen din. Hvis respondentene i spørreskjemaet kommer fra en gruppe du har rekruttert på et universitetsområde, ser du i praksis på matlagingsvanene til unge mennesker som studerer på heltid. Hva med familier? Pensjonister?

Noe av det viktigste du gjør i prosessen med å utforme en undersøkelse, er å sørge for at du ser på et representativt utvalg. 

Analysebias

Etter at du har gjennomført datainnsamlingen, går du inn i analysefasen. Her tar du alle slags beslutninger: Hvilke data er viktige? Hvilke er viktigst? Hva betyr alt dette kvalitativt sett? Statistisk sett? Ofte tar vi disse beslutningene på en måte som favoriserer de opprinnelige hypotesene eller de ønskede resultatene våre.

Eksempel på analysebias

Et eksempel på analysebias kan være hvis du tar deg selv i å si ting som «Det er ikke viktig. Det kom bare opp noen få ganger. Dette er bare avvik.»  Selv om det kan stemme, avhengig av undersøkelsen, kan det også være analysebias som sniker seg inn og får deg til å overse en viktig nyanse i forskningsresultatene dine. 

Dette er bare noen få eksempler på skjevhet i forskning – det finnes virkelig utallige måter skjevhet kommer til uttrykk på i forskningsprosjekter. Det neste spørsmålet er derfor: Hva kan vi gjøre med det?

Slik unngår du skjevhet i utformingen av forskningsundersøkelser

Nå svetter du kanskje litt og lurer på om forskning er meningsløs på grunn av vår svært menneskelige tendens til å gi etter for skjeve praksiser. Heldigvis er det ikke slik. Nå som du er klar over de potensielle skjevhetene som lurer rundt hvert velmente hjørne, kan du ta grep for å redusere skjevhet i brukerundersøkelsene dine og styre produktteamet ditt i riktig retning. La oss se på noen måter å gjøre nettopp det på.

Vær grundig når du utformer forskningsundersøkelsen

Dette er brukerundersøkelsesversjonen av å starte på riktig fot.  Når du utformer undersøkelsen, tar du en rekke beslutninger som, hvis de tas på riktig måte, kan redusere sannsynligheten for potensiell skjevhet. 

Her er noen tips:

• Definer brukergruppene dine så bredt som mulig, samtidig som du fortsatt tar hensyn til målgruppen din
• Velg forskningsmetoder med omhu: sørg for at metodikken gjenspeiler det du prøver å finne ut
• Hvis du gjennomfører brukerintervjuer, bør du skrive en intervjuguide før du begynner å intervjue, og forsøke å sørge for at du stiller alle de samme spørsmålene

Ekstra tips

La en kollega se over forskningsplanen din før du faktisk begynner å samle inn data. Dette bidrar til å sikre at du ikke overser noe som kan introdusere skjevhet.

Unngå interessekonflikter i alle faser av brukerundersøkelsen

Den produktsjefen som har mast om behovet for å gjøre en bestemt kursendring hele året? Ideelt sett bør ikke det være personen som leder forskningsundersøkelsen. Selv om objektivitet fortsatt er mulig i dette tilfellet, gjør interessekonflikter som dette det ofte svært vanskelig for folk å samle inn data og analysere forskningsresultater på en upartisk måte.

Et alternativ kan være å la noen andre – kanskje en designer eller en brukerforsker i teamet – utforme og lede undersøkelsen, men rådføre seg med den nevnte produktsjefen underveis. Overordnet finnes det en evidensbasert regel om at jo mindre knyttet noen er til et ønsket resultat, desto større er sannsynligheten for at de leverer pålitelige forskningsfunn.

Erkjenn at skjevhet i forskning gjelder alle mennesker som gjennomfører forskning

Jeg mener dette på en så respektfull måte som mulig: Selv om du sikkert er spesiell på mange måter, er du – når det gjelder muligheten for å introdusere skjevhet i en undersøkelse – det ikke.

Alle skjevhetene vi har gjennomgått, er evidensbaserte tendenser som alle mennesker har. Når du tar til deg tanken om at selv du i teorien kan være utsatt for ulike skjevheter, er du godt på vei til å forebygge dem!

Gjennomfør alltid en retrospektiv gjennomgang av forskningen

Det er greit å gjøre feil i livet, og det samme gjelder brukerundersøkelser. Hver gang du gjennomfører en undersøkelse, bør du sette deg ned med teamet ditt og gå gjennom metodikken fra start til slutt – hva kunne dere ha gjort annerledes? Er det mulig at noen lumske skjevheter snek seg inn? 

Vanligvis vil du ikke oppdage at undersøkelsen din er fullstendig upålitelig, men du vil avdekke små justeringer du kan gjøre i neste undersøkelse for å øke påliteligheten til brukerundersøkelsene dine fremover.

Forskningsskjevhet finnes, men den kan håndteres.

Nå som du er klar over hva som kan føre deg på villspor når det gjelder pålitelig brukerforskning, er du klar til å komme i gang og gjøre en god jobb. Selv om det kanskje høres litt latterlig ut, vil jeg fortelle deg en siste hemmelighet: Jeg har en liten post-it-lapp på skrivebordet mitt hvor det ganske enkelt står «skjevhet!». Jeg synes den bidrar til å holde alt vi har diskutert friskt i minnet.

Selv om en alarmerende post-it-lapp ikke er metoden du foretrekker, bør du finne en måte å holde eliminering av skjevhet øverst i bevisstheten på når du gjennomfører brukerforskning, så er du godt på vei til å levere innsikt som hjelper teamet ditt med å nå målene sine.

Ikke glem å abonnere på nyhetsbrevet vårt for flere ressurser og veiledninger om produktledelse, i tillegg til de nyeste podkastene, intervjuene og annen innsikt fra bransjeledere og eksperter.