Hvornår bad kunder dig sidst om at bygge en funktion under et interview, som ingen af dem endte med at bruge? Jeg er overbevist om, at alle produktchefer derude mindst én gang har gennemført en runde brugerinterviews, der endte som en kolossal fiasko.
Det naturlige næste spørgsmål er: Hvad gik galt under interviewet? Mere sandsynligt er det, at vi stødte på en af de mange forskningsbias, som fik os til at træffe de forkerte produktbeslutninger.
Det er farligt at lede et produkt baseret på forudindtagede data. Heldigvis kan du undgå det ved at lære, hvad bias er, hvad der gør det risikabelt, og ved at lære af disse fem eksempler på bias i forskning, der førte til uønskede resultater.
Hvad er bias i produktforskning, og hvilke risici er der?
Begrebet bias henviser til de fejl, som produkt- og marketingteams begår, når de udfører research. Resultatet af disse fejl er som regel en forkert analyse, der fører til beslutninger, som ikke afspejler den faktiske situation for deres produkt, marked og brugere.
En produktchefs beslutningstagning har enorm indflydelse. En enkelt beslutning kan dreje hele produktlinjen i retning af et nyt marked eller en ny målpersona. Der er også daglige beslutninger relateret til eksekvering, som påvirker effektiviteten af indsatsen fra engineering-, marketing-, AI- og andre teams.
Derfor er det særligt farligt at træffe beslutninger på baggrund af forudindtagede data, eftersom du kan lede folk i den forkerte retning og mislykkes totalt som produktchef.
Heldigvis er det ikke så svært at begrænse bias i research, som det måske virker. Den svære del er at indrømme, at dine data er forudindtagede. Selve begrænsningen er forholdsvis enkel.
Typer af forskningsbias i kvantitativ dataanalyse
Lad os begynde med de almindelige typer bias, som du møder, når du arbejder med data. De er som regel relateret til fejl i den måde, du indsamler, analyserer og handler på baggrund af kvantitative data.
Klassisk videnskabelig forskning identificerer en lang række forskningsbias, herunder:
- Publiceringsbias
- Målebias
- Analysebias
- Designbias
- Observatørbias
- Erindringsbias
- Social ønskværdighedsbias
- Demografisk og kulturel bias
- Svarbias og andre
Men disse er lidt for teoretiske til, at vi kan tale om dem her. Derfor vil jeg fokusere på de tre typer bias, som du vil møde i det virkelige liv som produktchef.
#1: Stikprøve- og udvælgelsesbias
Som navnet antyder, handler stikprøvebias om at få forkerte data på grund af den stikprøve, du har udvalgt.
Hvis din stikprøve indeholder data, der er skævvredet mod en bestemt egenskab, vil den analyse, du foretager, ikke være repræsentativ for den generelle befolkning. Du ender med fejlagtigt at ekstrapolere adfærden fra den skævvredne stikprøve og anvende den på hele datasættet.
Netflix er en af de store teknologivirksomheder, der har gjort sig skyldig i stikprøvebias. Folk i USA elskede deres anbefalingsalgoritme, fordi den kunne foreslå serier, der var relevante for deres interesser. Resten af verden hadede den imidlertid. Forslagene var simpelthen forfærdelige.
Hvad var årsagen til det? Tilsyneladende anvendte AI-modellen, der var trænet til at lave disse forslag, kun data om seere fra USA og foreslog ting, der var relevante for amerikanere.
Sådan begrænser du stikprøvebias
I Netflix' tilfælde begyndte de ganske enkelt at tilføre internationale data til deres modeller og genoptrænede dem baseret på en mindre skæv undersøgelsespopulation.
Men hvis du ønsker en mere systematisk tilgang til at begrænse denne type bias, kan jeg foreslå en lidt uortodoks tilgang, som tidligere har fungeret for mig: at gennemføre noget, som statistikere kalder en klyngeanalyse.
En klyngeanalyse kan finde fælles træk i din stikprøvepopulation og gruppere dem baseret på disse træk.
På billedet ovenfor kan du se, at populationen tydeligt er opdelt i tre forskellige klynger baseret på de valgte træk.
Det, du gør, er at vælge en lang række træk og oprette disse diagrammer for hvert af dem. Dine data vil være skævvredne og tilbøjelige til stikprøvebias, hvis du for visse træk kun ser en enkelt klynge. I eksemplet med Netflix havde egenskaben seerens land en enkelt klynge: USA.
Vær dog forsigtig! Nogle gange er det naturligt, at hele din population har én enkelt klynge for et karaktertræk, hvis det beskriver deres persona. Hvis vi for eksempel foretog en klynganalyse af læserne på theproductmanager.com, ville størstedelen af dem være produktchefer. Det er naturligt, da PM'er er den persona, som hjemmesiden henvender sig til. Derfor bør du altid fjerne denne type karaktertræk fra din analyse.
#2: Proceduremæssig bias
Denne type bias henviser til de fejl, du har begået i dit studiedesign og din forskningsproces. Det kan skyldes, at du har brugt forkerte værktøjer, statistiske formler eller endda dine dataindsamlingsmetoder.
Efter min erfaring er proceduremæssig bias særligt udbredt i brugerundersøgelser. Hvis du har ledende spørgsmål i den, vil dine respondenter højst sandsynligt blive påvirket af dit "skub" i retning af en bestemt type svar.
Sådan vil et typisk ledende spørgsmål i en undersøgelse se ud:
Hvor meget elsker du vores produkt?
Med den måde, du formulerer det på, antyder du, at brugerne skal give et mere positivt svar, selv hvis de hader det, du laver.
En mere neutral variant af det samme spørgsmål vil se sådan ud:
Hvordan vil du vurdere vores produkt?
I dette tilfælde angiver vi tydeligt, at negative svar er acceptable.
Have an account? Log In
Sådan mindsker du proceduremæssig bias
Den bedste måde at sikre, at din forskning er fri for proceduremæssig bias, er at vælge de rigtige værktøjer og metoder til den specifikke type analyse, du udfører.
Gør svarene tilfældige
Hvis du gennemfører undersøgelser, skal du ud over at undgå ledende spørgsmål også gøre spørgsmålenes rækkefølge tilfældig, fordi der er risiko for, at folk mister interessen halvvejs gennem spørgeskemaet og begynder at give meningsløse svar. Uden randomisering vil de sidste par spørgsmål få næsten nul brugbare svar.
Vær opmærksom på statistisk signifikans
Overvej desuden, at undersøgelser i deres natur delvist er kvantitative. Stol derfor ikke for meget på den statistiske analyse af disse data. Hvis du for eksempel har forbedret en bestemt funktion, og din NPS-score er steget med 2 %, er forskellen for lille til at blive betragtet som et statistisk signifikant resultat. En fordobling ville derimod være pålidelig.
Vælg de rigtige værktøjer
Lad os også tale om at vælge de forkerte værktøjer. Hvis du måler konverteringsraten på din betalingsside, vil brugen af et heatmap-værktøj skabe proceduremæssig bias, da de data, du får fra det, er upålidelige.
I disse tilfælde er det bedst at bruge heatmap-software til at fejlfinde det adfærdsmæssige problem og A/B-teste adfærdsændringen. Til måling af CR bør du derimod benytte produktanalyseværktøjer som Amplitude eller GA4.
#3: Overlevelsesbias
Fordomsfulde forskningsmetoder har eksisteret længe. Der findes en interessant historie om amerikanske bombefly fra Anden Verdenskrig. Hver gang bombeflyene vendte tilbage til basen, undersøgte ingeniørerne hullerne efter luftværnskanoner i skroget og afbildede dem sådan her:
Den naturlige fremgangsmåde var at forstærke de områder med flest kugletræffere med tykkere panserplader. Men denne forstærkning havde næsten ingen effekt på de amerikanske bombeflys overlevelsesevne.
Efter nøje at have undersøgt sagen indså ingeniørerne, at de kun beskæftigede sig med de fly, der havde overlevet og var vendt tilbage til basen. De dele, som de skulle forstærke, var derfor faktisk dem, hvor flyene ikke havde nogen kuglehuller.
Sådan mindsker du overlevelsesbias
Lad os gå fra fly fra Anden Verdenskrig til digitale produkter. Som PM vil du, når du administrerer din dataindsamlingsproces, højst sandsynligt støde på disse to potentielle tilfælde, hvor bias sniger sig ind:
Filtrering af data til analyse
Når du analyserer brugeradfærd, kan du ende med at filtrere brugere fra, som har udført bestemte handlinger, der ikke er relevante for din analyse.
Jeg stod for nylig i denne situation. Vi forsøgte at forbedre aktiveringsraten for vores produkt til influencer-marketing. Dataanalyseteamet opbyggede en tragtapport, hvor konverteringsraterne fra ét aktiveringstrin til et andet var forholdsvis høje (omkring 50-70 %).
Disse data forvirrede os, fordi vi så en samlet lav andel af personer, der interagerede med produktet, sammenlignet med antallet af tilmeldinger. Efter en grundig analyse af dataene forstod vi, at datateamet havde anvendt et filter og kun beholdt dataene for vores superbrugere.
Selvfølgelig var superbrugere højst sandsynligt dem, der nemt var kommet igennem aktiveringsforløbet. Konverteringsraterne i tragten var derfor ikke rigtig repræsentative for den faktiske situation. Da vi så på tragtene og tog alle vores tilmeldinger i betragtning, faldt raterne markant.
Lektion lært:
- Tag altid højde for analysens kontekst og formål, når du filtrerer dine data.
Analyse af forhåndsscreenede undersøgelsesdata
Et andet interessant tilfælde inden for forskningsdesign, som jeg for nylig måtte håndtere, var relateret til en undersøgelse, vi gennemførte for at forstå behovene og udfordringerne hos influencer-marketingfolk. Igen var undersøgelsesresultaterne lidt forvirrende for os, fordi respondenternes behov ikke stemte overens med den indsigt, vi havde fra vores brugerinterviews.
Problemet her var vores forhåndsscreeningsproces for de brugere, der deltog i undersøgelsen. Ud over at spørge, om de var influencere (for at undgå svar fra irrelevante personer), spurgte vi også om størrelsen på deres publikum/følgere.
Af en eller anden grund havde vi frasorteret influencere med færre end 50.000 følgere og kun taget svarene fra de relativt større influencere i betragtning. Vores produkt skulle også være rettet mod små influencere. Derfor var de data, vi fik fra undersøgelsen, ikke nøjagtige for os.
Lektioner lært:
- Efterprøv dine forskningsresultater med kvalitative data. Hvis der er stor forskel mellem resultaterne fra disse to kilder, har du måske gjort noget forkert.
- Vær forsigtig med din forhåndsscreeningsproces; du kan også ende med at frasortere relevante brugere.
Typer af skævheder i kvalitativ forskning
Nu hvor de systematiske fejl, der er forbundet med kvantitativ forskning, er gennemgået, lad os gå videre til en anden vigtig kategori inden for forskning – kvalitative undersøgelser.
For produktchefer er den vigtigste type kvalitativ forskning uden tvivl interviews med brugere. Derfor vil jeg fokusere på de to vigtigste skævheder, som du typisk møder, når du taler med dine kunder og brugere.
Bemærk: Dette er også de to typer skævheder, som du kan håndtere og afbøde ved hjælp af et ordentligt værktøj til produktidéer.
#4: Bekræftelsesskævhed
En af produktchefers største styrker er at tro stærkt på noget, når andre ikke gør. Det er sådan, man skaber innovative produkter og revolutionerer sin branche. Men tendensen til at holde fast i sine meninger er også en stor svaghed for PM'er.
Årsagen er, at PM'er ofte lider af bekræftelsesskævhed. Det beskriver en situation, hvor du aktivt forsøger at høre de dele af samtalen, der stemmer overens med dine overbevisninger, og forkaster resten.
Dette er ret farligt for personer, der derefter træffer strategiske beslutninger om, hvordan produktet skal se ud, og hvordan det skal bringes på markedet. Når bekræftelsesskævhed spiller ind, bliver dine brugerinterviews fuldstændig meningsløse, og du ender med at træffe beslutninger i blinde (og du kan godt glemme alt om brugercentrering).
Sådan afbøder du bekræftelsesskævhed
Jeg må indrømme, at jeg også selv er skyldig i at “praktisere” bekræftelsesskævhed. Men der er en løsning, som har hjulpet mig med at afbøde den ganske effektivt.
Du kan kalde det en “kodegennemgang” af brugerinterviews. Det er en proces, hvor produktfolk gennemgår nogle af deres kollegers interviews og foreslår, at man tilføjer eller fjerner indsigter.
Hvis du er den eneste produktchef i virksomheden (hvilket er almindeligt i små startups), så lav denne øvelse sammen med din grundlægger. Glem ikke, at grundlæggere i bund og grund også er produktfolk.
#5: Deltagerskævhed
Selvom bekræftelsesskævhed er et farligt bæst, er det en af de letteste skævheder at rette op på. Den næste, jeg vil tale om, er dog meget sværere at afbøde.
Deltagerskævhed opstår, når dine respondenter siger ting baseret på, hvad de tror, du gerne vil høre, i stedet for hvad de reelt mener om det pågældende emne.
Hvis du for eksempel gennemfører et interview, kan du spørge deltagerne i undersøgelsen, om de ville købe dit produkt, hvis du antog, at du tilføjede den funktion, de netop havde efterspurgt. Kan du gætte, hvad svaret ville være? Ud fra min erfaring vil langt de fleste sige ja.
Betyder det, at du straks skal gå til udviklingsteamet og bede dem bygge funktionen? Nej! Det spørgsmål, du stillede, er mangelfuldt og får helt naturligt folk til at sige noget, der vil behage dig.
Jeg er enig i, at din funktion vil kunne løse et stort problem for nogle af disse interviewpersoner, og at de i sidste ende vil betale for den. Men flertallet vil ganske enkelt bruge funktionen gratis eller slet ikke bruge den.
Ud over at stille mangelfulde forskningsspørgsmål vil deltagerne i undersøgelsen også give dig forudindtagede svar, hvis du betaler dem for undersøgelsen. De har som regel en tendens til at “tjene deres løn” ved at give positive svar og gøre dig tilfreds, uden at indse, at de dermed gør mere skade end gavn.
More Articles
Sådan mindsker du deltagernes forudindtagethed
Som jeg allerede har nævnt, er deltagernes forudindtagethed ret svær at mindske. Det skyldes, at du ikke rigtig ved, om deltageren er oprigtig over for dig eller ej.
Men to taktikker kan hjælpe dig med at mindske risikoen for at få dårlige svar.
Stil spørgsmål om deres tidligere erfaringer
Hvis du stiller spørgsmål om en teoretisk begivenhed i fremtiden, vil interviewpersonerne højst sandsynligt sige ting, som de aldrig rent faktisk vil gøre i virkeligheden.
Hvis du den 2. januar spørger nogen, om de ville være villige til at gå i fitnesscenter i 12 måneder i træk, vil de sige ja. Men vi ved alle, at de fleste ender med at opsige deres medlemskab efter blot et par besøg.
For at undgå dette foretrækker produktchefer at stille spørgsmål om ting, der er sket tidligere. På den måde kan produktchefen lære om brugernes adfærd ud fra det, brugerne har gjort, og ikke ud fra det, de ville ønske, de havde gjort.
Skab de rette forventninger
Nogle gange tillader spørgsmålets eller undersøgelsens karakter dig ikke at spørge ind til dine brugeres fortid. Det kan for eksempel være, at du gerne vil vide, hvordan de ville have det, hvis du hævede prisen på dit produkt.
I dette tilfælde kan du gøre det klart, at det er helt i orden for dig at høre negative svar, og at deres ærlige feedback er den eneste måde, de kan “gøre sig fortjent til deres betaling” på.
At indrømme sin egen forudindtagethed er 80 % af kampen
Det er rigtigt. Det værste ved at være forudindtaget er, at de fleste af os oprigtigt tror, at vi har ret. Derfor er det vigtigste enkeltstående skridt, du kan tage for at mindske din egen forudindtagethed, at erkende den.
I det øjeblik du gør det, vil du naturligt begynde at bekæmpe den og til sidst nå frem til en tilstand uden forudindtagethed. (Eller i det mindste en tilstand, hvor forudindtagetheden er håndteret!)
Glem ikke at tilmelde dig vores nyhedsbrev for at få flere ressourcer og vejledninger om produktledelse samt de seneste podcasts, interviews og andre indsigter fra brancheledere og eksperter.
