5 pregiudizi nella ricerca di prodotto e come evitarli
Quando è stata l’ultima volta che i clienti ti hanno chiesto di sviluppare una funzionalità durante un’intervista, ma poi nessuno di loro l’ha effettivamente utilizzata? Sono sicuro che ogni singolo Product Manager abbia avuto almeno un ciclo di interviste agli utenti conclusosi in un colossale fallimento.
La domanda naturale successiva è: cosa è andato storto durante l’intervista? Molto probabilmente, ci siamo imbattuti in uno dei tanti bias di ricerca che ci hanno portato a prendere decisioni sbagliate sul prodotto.
Guidare lo sviluppo di un prodotto basandosi su dati distorti è pericoloso. Fortunatamente, puoi evitarlo imparando che cos’è il bias, perché è rischioso e traendo spunto da questi cinque esempi di bias nella ricerca che hanno portato a risultati indesiderati.
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
Che cos’è il bias nella ricerca di prodotto e quali sono i rischi?
Il termine bias si riferisce all’insieme di errori che i team di prodotto e marketing commettono quando conducono una ricerca. Il risultato di questi errori è solitamente un’analisi errata che porta a decisioni che non riflettono la reale situazione del prodotto, del mercato e degli utenti.
Le decisioni prese da un product manager hanno un impatto enorme. Una singola scelta può orientare l’intera linea di prodotto verso un nuovo mercato o una nuova persona target. Ci sono anche decisioni operative quotidiane che influenzano l’efficacia dei team di ingegneria, marketing, AI e altri.
Pertanto, prendere decisioni su dati distorti è particolarmente pericoloso, soprattutto considerando che puoi condurre le persone nella direzione sbagliata e fallire miseramente come PM.
Per fortuna, mitigare il bias nella ricerca non è così difficile come potrebbe sembrare. La parte più difficile è ammettere che i tuoi dati sono distorti. La mitigazione in sé è relativamente semplice.
Tipi di bias nella ricerca nell’analisi dei dati quantitativi
Iniziamo dai tipi più comuni di bias che si incontrano lavorando con i dati. Di solito sono legati a errori nel modo in cui raccogli, analizzi e utilizzi i dati quantitativi.
La ricerca scientifica classica identifica un’ampia varietà di bias nella ricerca, tra cui:
- Bias di pubblicazione
- Bias di misurazione
- Bias di analisi
- Bias di progettazione
- Bias dell’osservatore
- Bias di memoria (recall bias)
- Bias di desiderabilità sociale
- Bias demografico e culturale
- Bias di risposta, e altri ancora.
Tuttavia, questi sono un po’ troppo teorici per i nostri discorsi. Quindi mi concentrerò sui tre tipi di bias che incontrerai nella vita reale come product manager.
#1: Bias di campionamento e selezione
Come suggerisce il nome, il bias di campionamento riguarda la raccolta di dati scorretti a causa del campione che hai selezionato.
Se il tuo campione contiene dati sbilanciati verso una certa caratteristica, l’analisi che ne ricaverai non sarà rappresentativa della popolazione generale. Finirai per estrapolare erroneamente il comportamento di quel campione sbilanciato e applicarlo a tutto il set di dati.
Netflix è una delle grandi aziende tech che è inciampata nel bias di campionamento. Le persone negli Stati Uniti amavano il suo algoritmo di raccomandazione, perché era in grado di suggerire spettacoli rilevanti per i loro interessi. Il resto del mondo, però, lo odiava. I suggerimenti erano semplicemente terribili.
Qual è stata la causa? A quanto pare, il modello di AI utilizzato per generare questi suggerimenti era stato addestrato solo sui dati degli spettatori statunitensi e proponeva quindi contenuti rilevanti per gli americani.
Come mitigare il bias di campionamento
Nel caso di Netflix, hanno semplicemente iniziato a fornire ai loro modelli dati internazionali e li hanno riaddestrati sulla base di una popolazione di studio meno sbilanciata.
Ma se vuoi un approccio più sistematico per mitigare questo tipo di bias, posso suggerire una soluzione un po’ fuori dagli schemi che per me ha funzionato in passato: eseguire quella che gli statistici chiamano analisi dei cluster.
Un’analisi dei cluster può individuare tratti comuni nella popolazione campione e raggrupparla in base a queste caratteristiche.
Nell’immagine sopra, puoi vedere che la popolazione è chiaramente divisa in tre cluster diversi in base ai tratti scelti.
Ciò che devi fare è selezionare una vasta gamma di tratti e creare questi grafici per ciascuno di essi. I tuoi dati saranno sbilanciati e soggetti a bias di campionamento se noti che, per alcune caratteristiche, esiste un solo cluster. Nell’esempio di Netflix, il tratto "paese di visualizzazione" aveva un solo cluster: Stati Uniti.
Attenzione, però! A volte è normale che l'intera popolazione presenti un solo cluster per una caratteristica se questa descrive la loro persona. Ad esempio, se eseguissimo un’analisi dei cluster per i lettori di theproductmanager.com, la maggior parte di loro sarebbe composta da product manager. Questo è naturale, poiché i PM sono la persona a cui il sito si rivolge. Quindi, dovresti sempre escludere questo tipo di caratteristiche dalla tua analisi.
#2: Bias Procedurale
Questo tipo di bias si riferisce agli errori commessi nella progettazione dello studio e nel processo di ricerca. Può derivare dall’utilizzo di strumenti errati, formule statistiche sbagliate o anche metodi di raccolta dati inappropriati.
Dalla mia esperienza, il bias procedurale è particolarmente diffuso nei sondaggi agli utenti. Se includi alcune domande tendenziose, i rispondenti cadano facilmente vittima del tuo “indirizzamento” verso un certo tipo di risposta.
Ecco come si presenta una tipica domanda guida di un sondaggio:
Quanto ami il nostro prodotto?
Nel modo in cui l’hai formulata, stai suggerendo agli utenti di dare una risposta più positiva, anche se odiano quello che fai.
La variante più neutra della stessa domanda sarebbe la seguente:
Come valuteresti il nostro prodotto?
In questo caso, indichiamo chiaramente che accetti anche risposte negative.
Come Mitigare il Bias Procedurale
Il modo migliore per assicurarti che la tua ricerca sia libera da bias procedurali è scegliere gli strumenti e le metodologie giuste per il tipo specifico di analisi che stai conducendo.
Randomizza le Risposte
Se conduci sondaggi, oltre ad evitare domande orientate, è necessario anche randomizzare l’ordine delle domande, perché c’è la possibilità che le persone si annoino a metà questionario e inizino a dare risposte prive di significato. Senza randomizzazione, le ultime domande riceveranno quasi nessuna risposta utile.
Presta Attenzione alla Significatività Statistica
Inoltre, considera che i sondaggi sono per natura solo in parte quantitativi. Quindi, non affidarti troppo all’analisi statistica di questi dati. Ad esempio, se migliori una certa funzionalità e il tuo punteggio NPS aumenta del 2%, questa differenza è troppo bassa per essere considerata un risultato statisticamente significativo. Un aumento di 2 volte, invece, sarebbe affidabile.
Scegli gli Strumenti Giusti
Ora parliamo anche della scelta degli strumenti sbagliati. Se stai misurando il tasso di conversione della tua pagina di checkout, utilizzare uno strumento di heatmap creerebbe bias procedurale, poiché i dati ottenuti non sarebbero affidabili.
In questi casi, è meglio utilizzare software di heatmap per identificare problemi comportamentali e condurre A/B test per valutarne la modifica. Per la misurazione del tasso di conversione, invece, dovresti affidarti a strumenti di analisi prodotto come Amplitude o GA4.
#3: Bias di Sopravvivenza
I metodi di ricerca condizionati da bias ci accompagnano da molto tempo. Esiste una storia interessante riguardo ai bombardieri americani della Seconda Guerra Mondiale. Ogni volta che gli aerei tornavano alla base, gli ingegneri esaminavano i fori dei proiettili delle mitragliatrici antiaeree sulla fusoliera e li rappresentavano graficamente così:
L'azione logica era rafforzare le zone con più colpi di proiettile aggiungendo piastre di armatura più spesse. Ma questo rinforzo ebbe quasi nessun effetto sulla sopravvivenza dei bombardieri americani.
Analizzando attentamente il caso, gli ingegneri si resero conto che stavano esaminando solo i velivoli che erano riusciti a sopravvivere e tornare alla base. Quindi, le parti da rinforzare erano in realtà quelle dove non c’erano fori di proiettile.
Come Mitigare il Bias di Sopravvivenza
Spostiamoci dai velivoli della Seconda Guerra Mondiale ai prodotti digitali. Come PM, nella gestione del processo di raccolta dati, ti troverai probabilmente di fronte a due casi in cui il bias può introdursi:
Filtrare i Dati per l'Analisi
Analizzando il comportamento degli utenti, potresti finire per escludere dalla tua analisi quegli utenti che hanno svolto azioni non rilevanti per il tuo scopo.
Mi sono trovato in questa situazione abbastanza recentemente. Stavamo cercando di migliorare il tasso di attivazione per il nostro prodotto di influencer marketing. Il team di data analytics aveva costruito un report a funnel in cui i tassi di conversione da uno step di attivazione all’altro risultavano abbastanza alti (tra il 50% e il 70%).
Questi dati ci hanno confusi, perché osservavamo un tasso complessivo basso di utenti coinvolti rispetto al numero di registrazioni. Dopo un’attenta analisi, abbiamo compreso che il team dati aveva applicato un filtro, lasciando solo i dati dei nostri power user.
Certo, gli utenti esperti erano probabilmente quelli che avevano superato facilmente il flusso di attivazione. Quindi, i tassi di conversione nella canalizzazione non rappresentavano davvero la situazione reale. Quando abbiamo osservato i funnel considerando tutte le nostre iscrizioni, i tassi sono calati notevolmente.
Lezione appresa:
- Considera sempre il contesto e l’obiettivo dell’analisi quando filtri i tuoi dati.
Analisi dei dati di sondaggi pre-selezionati
Un altro caso interessante nel design della ricerca con cui mi sono dovuto confrontare recentemente era legato a un sondaggio che abbiamo condotto per comprendere i bisogni e le difficoltà dei marketer influencer. Anche in questo caso, i risultati dello studio ci avevano un po’ sconcertato perché le necessità degli intervistati non combaciavano con le intuizioni raccolte nelle interviste con i nostri utenti.
Il problema qui era il processo di pre-selezione degli utenti che hanno partecipato al sondaggio. Oltre a chiedere se erano influencer (per evitare risposte da persone non pertinenti), abbiamo chiesto anche la dimensione del loro pubblico/follower.
Per qualche motivo, abbiamo squalificato gli influencer con meno di 50.000 follower e abbiamo considerato solo le risposte di quelli relativamente più grandi. Il nostro prodotto però avrebbe dovuto indirizzarsi anche ai micro-influencer. Pertanto, i dati emersi dal sondaggio non erano accurati per noi.
Lezioni apprese:
- Verifica incrociata i risultati delle ricerche con dati qualitativi. Se c’è una grande differenza tra le evidenze di questi due approcci, potresti aver commesso un errore.
- Fai attenzione ai criteri di pre-selezione; potresti finire per escludere utenti rilevanti, anche.
Tipi Di Bias Nella Ricerca Qualitativa
Trattati gli errori sistematici relativi alla ricerca quantitativa, passiamo ora a un’altra importante categoria di ricerca—gli studi qualitativi.
Per i product manager, il tipo di ricerca qualitativa più importante è l’intervista agli utenti. Quindi, mi concentrerò sui due principali bias che di solito emergono quando si parla con clienti e utenti.
Nota: Questi sono anche i due tipi di bias che puoi gestire e mitigare usando un appropriato strumento di ideazione prodotto.
#4: Bias di Conferma
Una delle doti maggiori dei product manager è credere fermamente in qualcosa quando altri non lo fanno. È così che si creano prodotti innovativi e si rivoluziona un settore. Tuttavia, la tendenza a restare ancorati alle proprie opinioni è anche una grande debolezza per i PM.
Il motivo è che spesso i PM soffrono di bias di conferma. Questo descrive la situazione in cui si tende ad ascoltare solo le parti della conversazione che confermano le proprie convinzioni, scartando il resto.
Questo è particolarmente rischioso per chi prende decisioni strategiche su come sarà il prodotto e su come portarlo sul mercato. Quando è presente il bias di conferma, le tue interviste con gli utenti perdono completamente di valore, portando a decisioni alla cieca (e puoi scordarti la centralità dell’utente).
Come Mitigare il Bias di Conferma
Devo ammettere che anch’io tendo a "praticare" il bias di conferma. Ma c’è una soluzione che mi ha aiutato a ridurlo notevolmente.
Si può definire come il “code review” delle interviste agli utenti. È un processo in cui i product manager rivedono incrociato alcune delle interviste dei colleghi, suggerendo se aggiungere o rimuovere elementi di apprendimento.
Se sei l’unico product manager in azienda (cosa frequente nelle startup), esegui questo esercizio con il fondatore. Ricorda che anche i founder sono a tutti gli effetti degli esperti di prodotto.
#5: Bias del Partecipante
Il bias di conferma può essere insidioso, ma è tra i più facili da correggere. Il prossimo di cui voglio parlare, invece, è molto più difficile da mitigare.
Il bias del partecipante si verifica quando gli intervistati dicono quello che pensano tu voglia sentire, invece di ciò che pensano davvero sull’argomento in questione.
Ad esempio, durante un’intervista puoi chiedere ai partecipanti se comprerebbero il tuo prodotto qualora aggiungessi la funzionalità che hanno appena richiesto. Indovina qual è la risposta? Per la mia esperienza, la stragrande maggioranza risponderà Sì.
Significa che devi correre dal team di ingegneria per chiedere subito lo sviluppo di quella funzionalità? No! La domanda che hai posto è viziata e naturalmente spinge le persone a risponderti in modo da compiacerti.
Sono d’accordo, la tua funzionalità potrebbe realmente risolvere un problema importante per alcuni di questi intervistati e magari pagheranno per averla. Ma la maggior parte la userà gratuitamente o non la utilizzerà affatto.
Oltre a porre domande di ricerca errate, i partecipanti allo studio ti daranno anche risposte distorte se vengono pagati per prendere parte alla ricerca. Di solito tendono a "guadagnarsi il compenso" dando risposte favorevoli e cercando di farti contento, senza rendersi conto che stanno facendo più danno che beneficio.
Come mitigare il bias dei partecipanti
Come già accennato, il bias dei partecipanti è abbastanza difficile da mitigare. Questo perché non puoi veramente sapere se il partecipante sia sincero o meno con te.
Tuttavia, due tattiche possono aiutarti a ridurre la probabilità di ricevere risposte errate.
Porre domande sulla loro esperienza passata
Se poni domande su un evento teorico futuro, gli intervistati molto probabilmente diranno cose che nella realtà non faranno mai.
Se chiedi a qualcuno il 2 gennaio se sarebbe disposto ad andare in palestra per 12 mesi di fila, ti dirà di sì. Ma sappiamo tutti che la maggior parte delle persone finisce per abbandonare l’abbonamento dopo solo un paio di visite.
Per evitare questo, i PM preferiscono fare domande su situazioni effettivamente accadute in passato. In questo modo, il PM può imparare dai comportamenti degli utenti basandosi su ciò che hanno effettivamente fatto, e non su ciò che avrebbero voluto fare.
Impostare le giuste aspettative
A volte, la natura della tua domanda o dello studio non ti permette di chiedere informazioni sul passato degli utenti. Ad esempio, vuoi sapere come si sentirebbero se aumentassi il prezzo del tuo prodotto.
In questo caso, puoi chiarire che per te va bene ricevere risposte negative, e che il loro feedback sincero è l’unico modo per "guadagnarsi la ricompensa".
Riconoscere i propri bias è l’80% della battaglia
È proprio così. La parte peggiore del bias è che la maggior parte di noi crede sinceramente di avere ragione. Quindi, il passo più importante che puoi fare per contrastare i tuoi stessi bias è riconoscerli.
Nel momento in cui lo fai, inizierai naturalmente ad affrontarli e arriverai progressivamente a uno stato privo di bias. (O almeno a uno stato in cui il bias è gestito!)
Non dimenticare di iscriverti alla nostra newsletter per ricevere altre risorse e guide sul product management, oltre ai podcast più recenti, interviste e altri approfondimenti da leader e esperti del settore.
