Pregiudizio nella Ricerca: Sei il Tuo Peggior Nemico?
Come professionisti del prodotto, ci piace pensare di alzarci ogni mattina con l'obiettivo di cercare la verità, per servire al meglio i nostri utenti e raggiungere i nostri KPI. Spesso sfruttiamo le metodologie di ricerca per arrivare al nocciolo delle questioni e guidare le decisioni di prodotto. Ecco il punto: per quanto ci sforziamo, siamo suscettibili ad alterare la validità dei nostri risultati con il bias di ricerca.
È una storia vecchia quanto il mondo, e che tu sia un ricercatore accademico o un product manager, è fondamentale comprendere a fondo i bias che potrebbero trarti in inganno. Vediamo esattamente quali bias esistono e come mitigare il loro impatto sul tuo lavoro.
Che cos’è il bias di ricerca?
Il bias di ricerca, in parole semplici, è qualsiasi azione o mentalità durante il processo di ricerca che compromette la tua capacità di ottenere risultati oggettivi. È importante sottolineare che il bias di ricerca è estremamente diffuso: può manifestarsi sia nella ricerca qualitativa che in quella quantitativa (sì, è vero—anche i numeri possono essere distorti dalle storie che costruiamo intorno ad essi).
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
Il bias può insinuarsi in qualsiasi fase del processo di ricerca:
- Definizione delle domande di ricerca
- Raccolta dei dati
- Scelta dei partecipanti allo studio
- Analisi dei dati
- Sintesi e comunicazione dei risultati
I bias sono generalmente involontari—non ci rendiamo conto che il nostro modo di pensare, o come conduciamo il nostro studio, influenza la validità dei risultati. Il primo passo per prevenire il bias di ricerca è ammettere a noi stessi che, indipendentemente dalle nostre migliori intenzioni, ogni singola persona nell’universo che fa ricerca è suscettibile al bias. Le buone intenzioni sono positive, ma non bastano a proteggere completamente la validità dei risultati dei nostri studi.
Continua a leggere per saperne di più sui bias che influenzano il nostro lavoro e su come limitarne gli effetti.
Tipi di bias di ricerca che possono far deragliare il tuo lavoro
Sarò di parte (gioco di parole solo un po’ voluto), ma questa è la parte più interessante e divertente. Ora esploreremo tutti i modi in cui possiamo generare inavvertitamente risultati di ricerca distorti grazie ai "trucchi" del nostro cervello e di quello dei partecipanti al nostro studio. (Non preoccuparti: continuando a leggere scoprirai anche come evitarli.)
Bias di ricordo
È strano avere un bias preferito? Strano o no, questo è il mio. È il mio preferito perché rimanda ai misteri della mente: ciò che ricordiamo di un evento o di una serie di eventi non è sempre completo o accurato.
Il bias di ricordo si riferisce alla nostra tendenza a ricordare inconsciamente eventi passati con alcune imprecisioni, come dettagli omessi. Questo è più probabile che accada quando si affrontano eventi spiacevoli o cose accadute molto tempo fa—ma in realtà può succedere in qualsiasi momento.
Esempio di bias di ricordo
Per esempio, se stai conducendo un’intervista con un utente sulle sue abitudini di fitness e chiedi di un’app che non usa da un anno—beh, la sua capacità di ricordare esattamente cosa ha fatto nell’app e come sono andate le cose è limitata. Oppure, se stai chiedendo dell’esperienza di qualcuno dal medico dopo un infortunio, la sua mente potrebbe avergli fatto un favore, rendendo alcuni dettagli spiacevoli più sfocati per ridurre il disagio psicologico.
Gli esempi sono infiniti, ma in sostanza il nostro cervello è un narratore. Per molti motivi, sia legati al passare del tempo che a come vogliamo percepire certi eventi rispetto a come sono accaduti realmente, quello che ricordiamo non è sempre esattamente ciò che è successo—e questo può influenzare i risultati della ricerca quando i partecipanti soffrono inconsapevolmente di bias di ricordo.
Bias di selezione
Se pensi che i bias siano solo colpa dei tuoi partecipanti allo studio, questo riguarda te, la persona che conduce la ricerca. Probabilmente già sai che il modo in cui definisci chi può partecipare allo studio influisce molto sui tuoi risultati. Se stai studiando comportamenti legati al sonno e intervisti o sottoponi un sondaggio solo a genitori di neonati, i tuoi risultati non saranno necessariamente validi per la popolazione generale (yawn).
Nel bias di selezione, alcune convinzioni preconcette o attaccamenti alle ipotesi ci portano a definire il campione della ricerca in modo da ottenere i risultati che ci aspettiamo o desideriamo.
Esempio di bias di selezione
Ipotizziamo che la tua azienda abbia uno strumento di marketing automation e tu stia cercando di capire perché i concorrenti ti stiano superando in termini di fatturato. Tu, come product manager, potresti avere l’ipotesi che a guidare la crescita dei tuoi competitor siano soprattutto le funzionalità di automazione e-mail.
Questo potrebbe portarti a concentrarti sul reclutamento di partecipanti molto focalizzati sull’email nel loro ruolo, facendo sì che tu possa trascurare proposizioni di valore e criticità in altre aree della marketing automation, semplicemente perché non hai reclutato abbastanza persone attive in altre aree del prodotto.
Bias di conferma
Se hai mai fatto parte di un progetto in cui chi guidava la ricerca sembrava interessato solo ai feedback degli utenti che confermavano le proprie ipotesi, hai assistito in prima persona al bias di conferma. Quando analizziamo qualsiasi tipo di dato, qualitativo o quantitativo, la nostra tendenza umana è quella di favorire o esagerare l'importanza delle informazioni che confermano le nostre ipotesi o convinzioni. Questo si chiama bias di conferma, ed è molto diffuso. Infatti, sono arrivato a credere che il modo in cui lavorano i team di prodotto renda il bias di conferma estremamente probabile se non adottiamo misure per combatterlo direttamente.
Nel prodotto, spesso siamo chiamati a prendere decisioni importanti e correre grandi rischi — e farlo velocemente. È raro incontrare un designer o un product manager che non abbia un’opinione ben precisa su quali iterazioni di funzionalità o cambi di rotta porteranno il team più vicino agli obiettivi generali. Proprio per questo, la ricerca sugli utenti a volte diventa solo una casella da spuntare, e i risultati vengono raccontati in una narrazione piena di bias di conferma.
Com’è possibile? Molto probabilmente, il tuo studio di ricerca utente includerà molteplici insight diversi. Durante l’analisi dei dati, un processo che di solito ha poca supervisione all’interno delle aziende, potresti inconsciamente escludere dati che contraddicono ciò in cui credi e presentare una narrazione che non riflette la realtà. Aiuto!
Esempio di Bias di Conferma
Immagina che un ricercatore stia conducendo interviste utente riguardo una funzionalità che utilizza l’IA per generare risposte ai messaggi email. In questo contesto, se il ricercatore ponesse domande tendenziose come: "non pensi che questa funzionalità sarebbe utile?" oppure "quanto sarebbe bello risparmiare tempo nella scrittura delle email?", starebbe creando bias di conferma perché influenza i risultati della ricerca con le proprie opinioni sul valore della funzionalità.
Bias di Misurazione
Che tu stia svolgendo ricerca qualitativa o quantitativa, è importante che le modalità di misurazione dei tuoi dati abbiano senso e siano coerenti. Quando c’è un problema fondamentale nel modo in cui misuriamo, introduciamo potenzialmente risultati falsati: questo è il bias di misurazione.
Esempio di Bias di Misurazione
Poniamo che tu stia conducendo uno studio quantitativo di usabilità su una funzionalità che dovrebbe ridurre gli abbandoni in un dato punto del flusso principale del tuo prodotto. Quello che misuri in centinaia di test è la capacità degli utenti di completare con successo il flusso nella nuova iterazione, cercando miglioramenti rispetto alla vecchia versione della funzionalità. Il team deve spendere un po’ di tempo per definire esattamente cosa significhi completare con successo il flusso: vuol dire solo superare la nuova iterazione? O significa completare tutto? Include anche ottenere un risultato soddisfacente?
Come puoi vedere, il modo in cui definiamo la metrica può influenzare enormemente i risultati!
Bias dell’Intervistatore
Quando si conducono interviste qualitative con gli utenti, le domande che un intervistatore pone e il modo in cui lo fa possono generare terreno fertile per potenziali bias.
Esempi di Bias dell’Intervistatore
Ecco alcuni esempi di come il bias dell’intervistatore può insinuarsi in qualsiasi ricerca:
- L’intervistatore pone domande basate sulle proprie supposizioni su ciascun partecipante, invece di utilizzare un set uniforme di domande per tutti.
- L’intervistatore fa domande tendenziose che inducono i partecipanti a rispondere in modo da confermare le ipotesi del ricercatore.
- L’intervistatore lascia trapelare la propria opinione o un giudizio di valore nel modo in cui formula la domanda, incoraggiando il partecipante a rispondere in modo favorevole (questo è noto anche come bias di desiderabilità sociale da parte del partecipante).
Bias di Pubblicazione
Cosa fai, come professionista di prodotto, quando i risultati della tua ricerca non corrispondono a ciò che speravi di trovare? Forse non ci crederai, ma molti ricercatori e professionisti del prodotto spesso razionalizzano e scelgono di non condividere i risultati con il team quando ciò accade, ed è questo il cosiddetto bias di pubblicazione.
Esempio di Bias di Pubblicazione
A cosa assomiglia questo fenomeno? Assomiglia a te o a qualcuno del tuo team che dice: “Beh, lo abbiamo testato solo con 15 utenti—non credo significhi nulla. Per ora lasciamo perdere.”
Il rischio qui è che tu tenga informazioni preziose lontane dal team solo perché sono in conflitto con le tue speranze e credenze. Così facendo, l’omissione di informazioni può far prendere al team una direzione del tutto sbagliata.
Bias di Campionamento
Chi stai reclutando esattamente per il tuo studio? Che ci creda o no, questa spesso è una delle variabili più determinanti per la solidità e l’affidabilità dei risultati che otterrai. Si parla di bias di campionamento quando i dati vengono raccolti su un campione poco rappresentativo o poco differenziato, e di conseguenza i risultati possono essere soggetti a bias e portarti fuori strada.
Esempio di Bias di Campionamento
In questo esempio, stai conducendo un'indagine sulle abitudini culinarie per aiutarti a ideare nuove funzionalità per la tua app di ricette. Se i partecipanti al questionario provengono da un gruppo reclutato all'interno di un campus universitario, stai essenzialmente osservando le abitudini culinarie di giovani che studiano a tempo pieno. E le famiglie? I pensionati?
Una delle cose più importanti che puoi fare nel processo di progettazione della ricerca è assicurarti di osservare un campione rappresentativo.
Bias nell'Analisi
Dopo aver eseguito i tuoi metodi di raccolta dati, entri nella fase di analisi. Qui prenderai ogni tipo di decisione: quali dati sono importanti? Quali sono i più importanti? Cosa significa tutto questo qualitativamente? E statisticamente? Spesso, prendiamo queste decisioni in modo che favoriscano le nostre ipotesi iniziali o i risultati desiderati.
Esempio di Bias nell'Analisi
Un esempio di bias nell'analisi è se ti ritrovi a dire cose come, “Non è importante. È emerso solo poche volte. Sono solo casi isolati.” Anche se ciò potrebbe essere vero a seconda dello studio, potrebbe anche essere un bias nell'analisi che si insinua e ti porta a ignorare una sfumatura importante nei risultati della tua ricerca.
Questi sono solo alcuni esempi di bias nella ricerca—in realtà ci sono innumerevoli modi in cui il bias si manifesta nei progetti di ricerca. Quindi, la prossima domanda è, cosa possiamo fare al riguardo?
Evitare il Bias nella Progettazione degli Studi di Ricerca
A questo punto, probabilmente stai iniziando a sentire un po' di ansia, chiedendoti se la ricerca abbia senso dati i nostri (molto umani) proclami a cadere vittima di pratiche di parte. Fortunatamente, non è così. Ora che sei consapevole dei potenziali bias che possono annidarsi in ogni angolo, anche nei processi meglio intenzionati, puoi intraprendere delle azioni per ridurre il bias nella tua ricerca utente e guidare il team di prodotto nella direzione corretta. Vediamo insieme alcune modalità per farlo.
Approccia con attenzione la progettazione del tuo studio di ricerca
Questa è la versione della ricerca utente dello "partire con il piede giusto". Quando progetti il tuo studio, prendi una serie di decisioni che, se fatte correttamente, possono ridurre la possibilità che si creino bias.
Ecco alcuni suggerimenti:
- Definisci i tuoi gruppi di utenti nel modo più ampio possibile, pur continuando a considerare la popolazione target
- Scegli con cura i tuoi metodi di ricerca: assicurati che la metodologia rifletta ciò che vuoi apprendere
- Se stai conducendo interviste agli utenti, scrivi una guida all'intervista prima di iniziare e cerca di assicurarti di porre le stesse domande a tutti
Evita i conflitti di interesse in tutte le fasi della ricerca utente
Quel product manager che insiste da tutto l'anno sulla necessità di una specifica svolta? Idealmente, non dovrebbe essere quella la persona a guidare lo studio di ricerca. Anche se l'obiettività resta possibile in questi casi, conflitti di interesse come questo spesso rendono estremamente difficile raccogliere dati e analizzare i risultati della ricerca in modo imparziale.
Un'alternativa potrebbe essere che qualcun altro—magari un designer o un ricercatore utente del team—progetti e coordini lo studio, consultandosi comunque con il suddetto product manager nel corso del lavoro. In generale, esiste una regola basata sull'evidenza: meno una persona è legata a un determinato risultato, più probabile è che restituisca risultati di ricerca affidabili.
Riconosci che il bias nella ricerca riguarda tutti gli esseri umani che fanno ricerca
Lo dico con il massimo rispetto possibile: anche se probabilmente hai doti speciali in tanti ambiti, quando si tratta di introdurre bias in uno studio—non sei un'eccezione.
Tutti i bias che abbiamo esaminato sono tendenze basate su prove che tutte le persone hanno. Una volta che adotti questo punto di vista—ovvero che anche tu potresti, almeno in teoria, essere soggetto a diversi bias—sei già sulla buona strada per prevenirli!
Conduci sempre una retrospettiva di ricerca
Sbagliare nella vita è normale, e lo stesso vale nella ricerca utente. Ogni volta che completi uno studio, assicurati di sederti con il tuo team e rivedere tutta la metodologia dall'inizio alla fine—cosa avreste potuto fare diversamente? È possibile che qualche bias si sia comunque insinuato?
Di solito, non scoprirai che il tuo studio è del tutto inaffidabile, piuttosto emergeranno piccoli accorgimenti utili per rendere ancora più solide e affidabili le ricerche utenti che svolgerai in futuro.
Il bias nella ricerca esiste, ma può essere gestito.
Ora che sei consapevole di ciò che può trarti in inganno quando si tratta di ricerca utente affidabile, sei pronto a metterti in gioco e fare un buon lavoro. Rischiando di sembrare un po' ridicolo, ti confido un ultimo segreto: ho un piccolo post-it sulla mia scrivania con scritto semplicemente "bias!". Trovo che mi aiuti a tenere sempre a mente tutto ciò di cui abbiamo parlato.
Anche se un post-it allarmante non è la tua metodologia preferita, trova un modo per tenere l'eliminazione del bias sempre in primo piano durante la ricerca utente, e sarai sulla buona strada per fornire insight che aiutano il tuo team a raggiungere i propri obiettivi.
Non dimenticare di iscriverti alla nostra newsletter per ulteriori risorse e guide sul product management, oltre agli ultimi podcast, interviste e altre idee da leader ed esperti del settore.
