5 snedvridningar i produktundersökningar & hur du undviker dem

Vad är bias i produktforskning och vilka är riskerna?

Termen bias syftar på den uppsättning fel som produkt- och marknadsföringsteam gör när de genomför forskning. Resultatet av dessa fel är vanligtvis en felaktig analys som leder till beslut som inte återspeglar det verkliga läget för deras produkt, marknad och användare.

En produktchefs beslutsfattande har en enorm påverkan. Ett enda beslut kan styra om hela produktlinjen mot en ny marknad eller målperson. Det finns också dagliga beslut kopplade till genomförandet som påverkar effektiviteten i ingenjörs-, marknadsförings-, AI- och andra teams insatser.

Därför är det särskilt farligt att fatta beslut utifrån snedvridna data, eftersom du kan leda människor i fel riktning och misslyckas kapitalt som produktchef.

Som tur är är det inte så svårt att begränsa forskningsbias som det kan verka. Den svåra delen är att erkänna att dina data är snedvridna. Själva begränsningen är relativt enkel.

Typer av forskningsbias i kvantitativ dataanalys

Låt oss börja med de vanligaste typerna av bias som du stöter på när du arbetar med data. De är vanligtvis relaterade till fel i hur du samlar in, analyserar och agerar utifrån kvantitativa data.

Klassisk vetenskaplig forskning identifierar en mängd olika forskningsbias, inklusive:

• Publiceringsbias
• Mätbias
• Analysbias
• Designbias
• Observatörsbias
• Återkallningsbias
• Social önskvärdhetsbias
• Demografisk och kulturell bias
• Svarsbias med flera.

Men dessa är lite för teoretiska för att vi ska prata om dem. Därför fokuserar jag på de tre typer av bias som du kommer att stöta på i verkligheten som produktchef.

#1: Urvals- och selektionsbias

Som namnet antyder handlar urvalsbias om att få felaktiga data på grund av det urval du har gjort.

Om ditt urval innehåller data som är snedfördelade mot en viss egenskap kommer analysen du gör inte att vara representativ för den allmänna befolkningen. Du kommer till slut att extrapolera beteendet hos det snedfördelade urvalet på ett felaktigt sätt och tillämpa det på hela datamängden.

Netflix är ett av de stora teknikföretag som har gjort sig skyldigt till urvalsbias. Människor i USA älskade deras rekommendationsalgoritm eftersom den kunde föreslå program som var relevanta för deras intressen. Resten av världen hatade den däremot. Förslagen var helt enkelt fruktansvärda.

Vad var orsaken? Tydligen använde AI-modellen som tränats för att skapa dessa förslag endast data från tittare i USA och föreslog sådant som var relevant för amerikaner.

Så begränsar du urvalsbias

I Netflix fall började de helt enkelt mata sina modeller med internationella data och tränade om dem baserat på en mindre snedfördelad studiepopulation.

Men om du vill ha ett mer systematiskt tillvägagångssätt för att begränsa den här typen av bias kan jag föreslå en något okonventionell metod som har fungerat för mig tidigare: att genomföra det som statistiker kallar en klusteranalys.

En klusteranalys kan hitta gemensamma egenskaper i din urvalspopulation och gruppera dem utifrån dessa egenskaper.

I bilden ovan kan du se att populationen tydligt är uppdelad i tre olika kluster baserat på de valda egenskaperna.

Det du gör är att välja en bred variation av egenskaper och skapa sådana här diagram för var och en av dem. Dina data kommer att vara snedfördelade och benägna att drabbas av urvalsbias om du ser att du för vissa egenskaper bara har ett enda kluster. I exemplet med Netflix hade egenskapen tittarens land ett enda kluster: USA.

Men var försiktig! Ibland är det naturligt att hela din population har ett enda kluster för ett attribut om det beskriver deras persona. Om vi till exempel genomförde en klusteranalys av läsarna på theproductmanager.com skulle majoriteten av dem vara produktchefer. Det är naturligt eftersom produktchefer är den persona som webbplatsen riktar sig till. Därför bör du alltid ta bort den här typen av attribut från din analys.

#2: Procedurbias

Den här typen av bias syftar på de fel du har gjort i din studiedesign och forskningsprocess. Det kan bero på att du använder felaktiga verktyg eller statistiska formler, eller till och med på dina metoder för datainsamling.

Enligt min erfarenhet är procedurbias särskilt vanligt i användarundersökningar. Om du har några ledande frågor i undersökningen kommer respondenterna sannolikt att påverkas av din ”påtryckning” mot en viss typ av svar.

Så här kan en typisk ledande enkätfråga se ut:

Hur mycket älskar du vår produkt?

Genom hur du formulerar frågan antyder du att användarna ska ge ett mer positivt svar, även om de hatar det du gör.

En mer neutral variant av samma fråga skulle se ut så här:

Hur skulle du bedöma vår produkt?

I det här fallet visar vi tydligt att negativa svar är helt okej.

Get Free Access to the Product Vault

We’ve collected the goods — AI prompts, exclusive deals, and a library of resources for product leaders. Unlock your account for access.

Create Free Account

Have an account? Log In

Så motverkar du procedurbias

Det bästa sättet att se till att din forskning är fri från procedurbias är att välja rätt verktyg och metoder för den specifika typ av analys du genomför.

Slumpa svaren

Om du genomför undersökningar behöver du, förutom att undvika ledande frågor, också slumpa frågornas ordning eftersom det finns en risk att människor tröttnar halvvägs genom frågeformuläret och börjar ge meningslösa svar. Utan slumpning kommer de sista frågorna att få nästintill inga användbara svar.

Var uppmärksam på statistisk signifikans

Tänk dessutom på att undersökningar till sin natur är delvis kvantitativa. Förlita dig därför inte för mycket på den statistiska analysen av dessa data. Om du till exempel förbättrade en viss funktion och din NPS-poäng ökade med 2 % är skillnaden för liten för att betraktas som ett statistiskt signifikant resultat. En fördubbling skulle däremot vara tillförlitlig.

Välj rätt verktyg

Nu ska vi även prata om att välja fel verktyg. Om du mäter konverteringsgraden på din kassasida skulle användning av ett värmekartverktyg skapa procedurbias, eftersom data från det verktyget är otillförlitliga.

I sådana fall är det bäst att använda programvara för värmekartor för att felsöka det beteendemässiga problemet och A/B-testa beteendeförändringen. För att mäta CR bör du däremot förlita dig på produktanalysverktyg som Amplitude eller GA4.

#3: Överlevnadsbias

Partiska forskningsmetoder har funnits med oss länge. Det finns en intressant berättelse om amerikanska bombplan under andra världskriget. Varje gång bombplanen återvände till basen undersökte ingenjörerna hålen efter luftvärnseld i deras skrov och markerade dem så här:

Det naturliga tillvägagångssättet var att förstärka de områden som hade träffats av flest kulor med tjockare pansarplåtar. Men denna förstärkning hade nästan ingen effekt på de amerikanska bombplanens överlevnadsförmåga.

Efter att noggrant ha undersökt fallet insåg ingenjörerna att de bara hade att göra med de plan som hade överlevt och lyckats återvända till basen. De delar som de skulle ha förstärkt var alltså egentligen de delar där planen inte hade några kulhål.

Så motverkar du överlevnadsbias

Vi lämnar planen från andra världskriget och går över till digitala produkter. Som produktchef kommer du, när du hanterar din datainsamlingsprocess, sannolikt att stöta på de här två potentiella situationerna där bias smyger sig in:

Filtrera data för analys

När du analyserar användarbeteende kan det hända att du filtrerar bort användare som har utfört vissa åtgärder som inte är relevanta för din analys.

Jag stötte på det här fallet för ganska nyligen. Vi försökte förbättra aktiveringsgraden för vår produkt för influencer-marknadsföring. Dataanalysteamet byggde en tratt-rapport där konverteringsgraderna från ett aktiveringssteg till nästa var ganska höga (någonstans kring 50–70 %).

De här uppgifterna förbryllade oss eftersom vi såg en övergripande låg andel personer som interagerade med produkten jämfört med antalet registreringar. Efter att noggrant ha analyserat data förstod vi att datateamet hade tillämpat ett filter och bara behållit data för våra mest aktiva användare.

Självklart var det sannolikt avancerade användare som enkelt hade tagit sig igenom aktiveringsflödet. Därför var konverteringsgraden i tratten inte riktigt representativ för den verkliga situationen. När vi tittade på trattarna och tog hänsyn till alla våra registreringar sjönk nivåerna avsevärt.

Lärdom:

• Ta alltid hänsyn till analysens kontext och mål när du filtrerar dina data.

Analysera förhandsgranskade enkätsvar

Ett annat intressant fall inom forskningsdesign som jag nyligen behövde hantera handlade om en enkät vi genomförde för att förstå behoven och problemen hos influencer-marknadsförare. Återigen var studieresultaten något förbryllande för oss, eftersom respondenternas behov inte stämde överens med de insikter vi hade fått från våra användarintervjuer.

Problemet här var vår förhandsgranskningsprocess för användare som besvarade enkäten. Förutom att fråga om de var influencers (för att undvika svar från irrelevanta personer) frågade vi också om storleken på deras publik/följarantal.

Av någon anledning hade vi diskvalificerat influencers med färre än 50 000 följare och bara tagit hänsyn till svaren från de relativt större aktörerna. Vår produkt skulle även rikta sig till mindre influencers. Därför var uppgifterna vi fick från enkäten inte korrekta för oss.

Lärdomar:

• Kontrollera dina forskningsresultat mot kvalitativa data. Om det är stor skillnad mellan resultaten från dessa två kan du ha gjort något fel.
• Var försiktig med din förhandsgranskningsprocess; du kan även råka diskvalificera relevanta användare.

Typer av bias i kvalitativ forskning 

När vi nu har gått igenom systematiska fel kopplade till kvantitativ forskning går vi vidare till en annan viktig kategori inom forskning – kvalitativa studier.

För produktchefer är den enskilt viktigaste typen av kvalitativ forskning att intervjua användare. Därför fokuserar jag på de två huvudsakliga typerna av bias som du vanligtvis stöter på när du pratar med dina kunder och användare.

Obs! Detta är också de två typer av bias som du kan hantera och minska med hjälp av ett lämpligt verktyg för produktidéer.

#4: Bekräftelsebias

En av produktchefers främsta egenskaper är att starkt tro på något när andra inte gör det. Det är så man skapar innovativa produkter och revolutionerar sin bransch. Att däremot ha en tendens att hålla fast vid sina åsikter är också en stor svaghet hos PM:er.

Anledningen är att PM:er ofta drabbas av bekräftelsebias. Det beskriver en situation där du aktivt försöker höra de delar av samtalet som stämmer överens med dina övertygelser och avfärdar resten.

Detta är ganska farligt för personer som sedan fattar strategiska beslut om hur produkten ska se ut och hur den ska lanseras på marknaden. När bekräftelsebias är verksam blir dina användarintervjuer helt meningslösa, och du slutar med att fatta beslut i blindo (och du kan glömma användarcentrering).

Så minskar du bekräftelsebias

Jag måste erkänna att även jag gör mig skyldig till att ”praktisera” bekräftelsebias. Men det finns en lösning som har hjälpt mig att minska den ganska effektivt.

Du kan kalla det en ”kodgranskning” av användarintervjuer. Det är en process där produktpersoner granskar några av sina kollegors intervjuer tillsammans och föreslår att insikter läggs till eller tas bort.

Om du är den enda produktchefen på företaget (vilket är vanligt i små nystartade företag), gör då denna övning tillsammans med din grundare. Glöm inte att grundare i grunden också är produktpersoner.

#5: Deltagarbias

Även om bekräftelsebias är ett farligt fenomen är det en av de enklaste formerna av bias att åtgärda. Nästa typ som jag vill tala om är däremot mycket svårare att minska.

Deltagarbias uppstår när dina respondenter säger saker utifrån vad de tror att du vill höra, i stället för vad de faktiskt tycker om det aktuella ämnet.

När du till exempel genomför en intervju kan du fråga forskningsdeltagarna om de skulle köpa din produkt, förutsatt att du lade till den funktion de just hade efterfrågat. Kan du gissa vad svaret skulle bli? Enligt min erfarenhet kommer den stora majoriteten att svara ja.

Betyder det att du ska springa till utvecklingsteamet och be dem bygga funktionen så snart som möjligt? Nej! Frågan du ställde är felaktigt formulerad och får människor att naturligt säga något som gör dig nöjd.

Jag håller med om att din funktion kommer att kunna lösa ett stort problem för vissa av dessa intervjupersoner och att de till slut kommer att betala för den. Men majoriteten kommer helt enkelt att använda funktionen gratis eller inte använda den alls.

Förutom att ställa bristfälliga forskningsfrågor kommer studiedeltagare också att ge dig partiska svar om du betalar dem för att delta i forskningsstudien. De tenderar vanligtvis att ”göra sig förtjänta av lönen” genom att ge fördelaktiga svar och göra dig nöjd, utan att inse att de därigenom gör mer skada än nytta.

More Articles

• 10 UX-researchkonferenser att delta i världen över 2026

Så minskar du deltagarnas partiskhet

Som jag redan nämnde är det ganska svårt att minska deltagarnas partiskhet. Det beror på att du egentligen inte vet om deltagaren är uppriktig mot dig eller inte.

Men två metoder kan hjälpa dig att minska risken för att få dåliga svar.

Ställ frågor om deras tidigare erfarenheter

Om du ställer frågor om en teoretisk händelse i framtiden kommer intervjupersonerna sannolikt att säga saker som de aldrig faktiskt kommer att göra i verkligheten.

Om du frågar någon den 2 januari om de skulle vara villiga att gå till gymmet i 12 månader i sträck kommer de att säga ja. Men vi vet alla att de flesta till slut säger upp sitt medlemskap efter bara ett par besök.

För att undvika detta föredrar PM:er att ställa frågor om saker som har hänt tidigare. På så sätt kan PM:en lära sig om användarnas beteende utifrån vad användarna har gjort, och inte utifrån vad de önskar att de hade gjort.

Skapa rätt förväntningar

Ibland gör frågans eller studiens karaktär att du inte kan fråga om dina användares tidigare erfarenheter. Du kanske till exempel vill veta hur de skulle känna om du höjde priset på din produkt.

I det här fallet kan du tydliggöra att det är okej för dig att höra negativa svar och att deras ärliga feedback är det enda sättet för dem att ”göra rätt för sig”.

Att erkänna sin partiskhet är 80 % av kampen

Precis. Det värsta med att vara partisk är att de flesta av oss verkligen tror att vi har rätt. Därför är det viktigaste steget du kan ta för att minska din egen partiskhet att erkänna den.

Så fort du gör det kommer du naturligt att börja bekämpa den och så småningom nå ett tillstånd utan partiskhet. (Eller åtminstone ett tillstånd där partiskheten är ”hanterad”!)

Glöm inte att prenumerera på vårt nyhetsbrev för fler resurser och guider om produktledning, samt de senaste poddarna, intervjuerna och andra insikter från branschledare och experter.