5 biais courants dans la recherche produit et comment les éviter
Quand avez-vous pour la dernière fois construit une fonctionnalité à la demande de clients lors d'un entretien, mais qu'aucun d'entre eux ne l'a finalement utilisée ? Je suis certain que chaque chef de produit (PM) a au moins vécu une série d'entretiens utilisateurs qui s'est soldée par un fiasco monumental.
La question qui vient naturellement est : qu’est-ce qui a mal tourné pendant l’entretien ? Il y a fort à parier que l’un des nombreux biais de recherche nous a menés à prendre de mauvaises décisions produit.
Diriger un produit en se basant sur des données biaisées est dangereux. Heureusement, vous pouvez l’éviter en comprenant ce qu’est un biais, pourquoi il est risqué, et en apprenant de ces cinq exemples de biais en recherche qui ont conduit à des issues indésirables.
Vous voulez plus de The CPO Club ?
Inscrivez-vous gratuitement pour terminer la lecture de cet article :
Have an account? Log In
Qu’est-ce que le biais dans la recherche produit et quels sont les risques ?
Le terme biais désigne l’ensemble des erreurs commises par les équipes produit et marketing lors de la recherche. Ces erreurs aboutissent généralement à une analyse incorrecte qui donne lieu à des décisions qui ne reflètent pas la réalité du produit, du marché ou des utilisateurs.
Les choix d’un chef de produit ont un impact considérable. Une seule décision peut faire pivoter l’ensemble de la gamme vers un nouveau marché ou une nouvelle cible. Il y a aussi les décisions d’exécution quotidiennes qui influencent l’efficacité des équipes ingénierie, marketing, IA et autres.
Par conséquent, baser ses choix sur des données biaisées est particulièrement dangereux, car vous pouvez emmener les équipes dans une mauvaise direction et échouer lamentablement en tant que PM.
Heureusement, limiter les biais de recherche n’est pas aussi difficile qu’il n’y paraît. Le plus difficile est d’admettre que vos données sont biaisées. L’atténuation en elle-même est relativement facile.
Types de biais de recherche en analyse de données quantitatives
Commençons par les types de biais les plus courants que l’on rencontre en travaillant avec des données. Ils sont généralement liés à des erreurs dans la manière dont vous collectez, analysez et exploitez les données quantitatives.
La recherche scientifique classique identifie une grande variété de biais de recherche tels que :
- Biais de publication
- Biais de mesure
- Biais d’analyse
- Biais de conception
- Biais de l’observateur
- Biais de rappel
- Biais de désirabilité sociale
- Biais démographique et culturel
- Biais de réponse, et bien d’autres.
Mais ces biais sont un peu trop théoriques pour nous. Je vais donc me concentrer sur les trois types de biais que vous risquez réellement de rencontrer en tant que chef de produit.
#1 : Biais de l’échantillonnage et de la sélection
Comme son nom l’indique, ce biais est lié à une collecte de données erronée à cause de l’échantillon choisi.
Si votre échantillon contient principalement des données présentant une caractéristique particulière, l’analyse que vous en tirerez ne sera pas représentative de la population générale. Au final, vous extrapolerez à tort le comportement de cet échantillon biaisé à l’ensemble de vos données.
Netflix fait partie des géants de la tech qui ont souffert d’un biais d’échantillonnage. Les utilisateurs américains adoraient son algorithme de recommandation, capable de proposer des séries adaptées à leurs intérêts. En revanche, le reste du monde le détestait : les suggestions étaient tout simplement mauvaises.
Quelle en était la raison ? Il s’avère que le modèle d’IA utilisé pour générer ces recommandations n’a analysé que les données des spectateurs américains, proposant ainsi des contenus uniquement pertinents pour les États-Unis.
Comment limiter le biais d’échantillonnage
Dans le cas de Netflix, ils ont simplement commencé à alimenter leurs modèles avec des données internationales, puis les ont réentraînés à partir d’une population d’étude moins biaisée.
Mais si vous souhaitez une méthode plus systématique pour limiter ce biais, je vous propose une technique un peu atypique qui a fonctionné pour moi dans le passé : réaliser ce que les statisticiens appellent une analyse en grappes.
Une analyse en grappes permet d’identifier les points communs entre les membres de l’échantillon et de regrouper les individus selon leurs caractéristiques.
Sur l’image ci-dessus, vous pouvez voir que la population est clairement subdivisée en trois grappes différentes selon les caractéristiques sélectionnées.
La méthode consiste à choisir une grande variété de caractéristiques et à établir de tels graphiques pour chacune d’elles. Vos données seront biaisées et sujettes au biais d’échantillonnage si, pour certaines caractéristiques, vous n’avez qu’une seule grappe. Dans l’exemple de Netflix, la caractéristique « pays du spectateur » ne comportait qu’une seule grappe : États-Unis.
Attention toutefois ! Parfois, il est naturel que l'ensemble de votre population ne présente qu'un seul cluster pour un trait, surtout si ce trait décrit leur persona. Par exemple, si nous faisions une analyse de cluster pour les lecteurs de theproductmanager.com, la majorité seraient des chefs de produit. C'est normal puisque les PM sont la cible principale du site web. Il faut donc toujours éliminer ce type de caractéristiques de votre analyse.
#2 : Biais procédural
Ce type de biais fait référence aux erreurs que vous avez commises dans la conception de votre étude et dans le processus de recherche. Elles peuvent provenir de l'utilisation d'outils inadaptés, de formules statistiques incorrectes ou même de vos méthodes de collecte de données.
D'après mon expérience, le biais procédural est particulièrement fréquent dans les enquêtes utilisateurs. Si vos questions induisent une réponse, vos répondants seront probablement influencés par votre « incitation » à donner un certain type de réponse.
Voici à quoi ressemble une question typique orientée dans une enquête :
À quel point aimez-vous notre produit ?
La formulation suggère aux utilisateurs de donner une réponse plus positive, même s'ils n'aiment pas vraiment ce que vous proposez.
La version plus neutre de cette même question serait :
Comment évalueriez-vous notre produit ?
Dans ce cas, on indique clairement que les réponses négatives sont acceptées.
Comment éviter le biais procédural
La meilleure façon de s'assurer que votre recherche soit débarrassée du biais procédural est de choisir les outils et les méthodologies adaptés au type d'analyse que vous souhaitez mener.
Randomisez les réponses
Si vous réalisez des enquêtes, en plus d’éviter les questions orientées, il faut aussi randomiser l’ordre des questions, car il existe un risque que les répondants s’ennuient en cours de route, ce qui pourrait les conduire à fournir des réponses peu pertinentes. Sans randomisation, les dernières questions obtiendront presque aucune réponse utile.
Faites attention à la signification statistique
De plus, sachez que les enquêtes possèdent une dimension partiellement quantitative. Ainsi, ne vous fiez pas excessivement à l’analyse statistique de ces données. Par exemple, si vous améliorez une fonctionnalité et que votre score NPS augmente de 2 %, c’est trop faible pour être considéré comme une différence statistiquement significative. En revanche, un doublement du score serait fiable.
Choisissez les bons outils
Abordons aussi la question du choix d’outils inadaptés. Si vous mesurez le taux de conversion de votre page de paiement, l’utilisation d’un outil de heatmap générera un biais procédural, car les données récoltées ne sont pas fiables.
Dans ces cas-là, il est préférable d’utiliser un logiciel de heatmap pour diagnostiquer les problèmes de comportement, puis de mettre en place des A/B tests pour tester l’impact du changement de comportement. Pour la mesure du taux de conversion, en revanche, il convient de s’appuyer sur des outils d’analyse produit comme Amplitude ou GA4.
#3 : Biais de survivance
Les méthodes de recherche biaisées existent depuis longtemps. Voici une histoire intéressante concernant les bombardiers américains de la Seconde Guerre mondiale. À chaque retour à la base, les ingénieurs inspectaient les impacts de tirs anti-aériens sur leurs carlingues et les représentaient ainsi :
La réaction logique était de renforcer les parties qui présentaient le plus d’impacts en ajoutant du blindage. Mais ce renforcement n’a eu quasiment aucun effet sur la survivabilité des bombardiers américains.
Après avoir étudié la question de près, les ingénieurs se sont rendu compte qu’ils n’analysaient que les avions ayant survécu et réussi à rentrer à la base. Ainsi, les parties qu'ils devaient réellement renforcer étaient justement celles n’ayant pas d’impacts de balles.
Comment éviter le biais de survivance
Passons des avions de la Seconde Guerre mondiale aux produits numériques. En tant que chef de produit, lorsque vous gérez vos processus de collecte de données, vous serez probablement confronté à deux situations où le biais peut s’introduire :
Filtrage des données pour l’analyse
Lors de l’analyse du comportement utilisateur, vous pouvez finir par exclure des utilisateurs ayant effectué certaines actions qui ne sont pas pertinentes pour votre analyse.
J’ai été confronté à ce cas assez récemment. Nous cherchions à améliorer le taux d’activation de notre produit de marketing d’influence. L’équipe data analytics avait établi un rapport de conversion dans l’entonnoir, où les taux de conversion d’une étape d’activation à l’autre étaient relativement élevés (de l’ordre de 50 à 70 %).
Ces données nous ont surpris, car nous constations un faible taux global d’engagement par rapport au nombre d’inscriptions. Après analyse, nous avons compris que l’équipe data avait appliqué un filtre, ne conservant que les données de nos power users.
Bien entendu, les utilisateurs avancés étaient probablement ceux qui avaient passé le processus d’activation sans difficulté. Ainsi, les taux de conversion dans l'entonnoir n’étaient pas vraiment représentatifs de la réalité. Lorsque nous avons examiné les entonnoirs en prenant en compte tous nos inscrits, les taux ont chuté de manière significative.
Leçon retenue :
- Pensez toujours au contexte et à l'objectif de l’analyse lorsque vous filtrez vos données.
Analyse de données d’enquête présélectionnées
Un autre cas intéressant dans la conception de recherches auquel j’ai récemment été confronté concernait une enquête que nous avons menée pour comprendre les besoins et les difficultés des spécialistes du marketing d’influence. Là encore, les résultats de l’étude étaient quelque peu déroutants, car les besoins des répondants ne correspondaient pas aux enseignements issus de nos entretiens utilisateurs.
Le problème venait de notre processus de présélection pour les utilisateurs ayant répondu à l’enquête. En plus de demander s’ils étaient influenceurs (pour éviter de recueillir des réponses de personnes non concernées), nous avons aussi posé des questions sur la taille de leur audience ou leur nombre d’abonnés.
Pour une raison ou une autre, nous avions disqualifié les influenceurs ayant moins de 50 000 abonnés et n’avions donc considéré que les réponses des influenceurs ayant un public relativement important. Or, notre produit était supposé aussi cibler les petits influenceurs. Par conséquent, les données obtenues de cette enquête n’étaient pas pertinentes pour nous.
Leçons retenues :
- Recoupez vos résultats de recherche avec des données qualitatives. S’il existe une grande différence entre les enseignements tirés de ces deux approches, il est possible que vous ayez commis une erreur.
- Soyez vigilant dans votre processus de présélection ; vous pourriez également disqualifier des utilisateurs pertinents.
Types de biais dans la recherche qualitative
Après avoir évoqué les erreurs systématiques liées à la recherche quantitative, passons à une autre catégorie importante d’étude : les recherches qualitatives.
Pour les chefs de produit, le type de recherche qualitative le plus important est l’entretien avec les utilisateurs. Je vais donc me concentrer sur les deux biais majeurs auxquels vous êtes généralement confronté lors de vos échanges avec vos clients et utilisateurs.
Note : Ce sont aussi les deux types de biais que vous pouvez gérer et réduire à l’aide d’un outil d’idéation produit adapté.
#4 : Biais de confirmation
L’une des plus grandes qualités des chefs de produit est de croire fermement en une idée alors que les autres n’y croient pas. C’est ainsi que l’on parvient à créer des produits innovants et à révolutionner un secteur. Cependant, cette tendance à s’en tenir à leur opinion constitue également une faiblesse majeure pour les PM.
La raison en est que les PM souffrent souvent du biais de confirmation. Il s’agit d’une situation où l’on cherche activement à entendre les parties de la conversation qui confirment nos convictions et l’on écarte le reste.
Cela devient très dangereux lorsque ces personnes prennent ensuite des décisions stratégiques sur la conception du produit et sa mise sur le marché. Lorsque le biais de confirmation entre en jeu, vos entretiens utilisateurs deviennent complètement inutiles, et vous prenez des décisions à l’aveugle (en oubliant toute notion de centrage utilisateur).
Comment réduire le biais de confirmation
Je dois l’admettre, moi aussi il m’est arrivé de « pratiquer » le biais de confirmation. Mais il existe une solution qui m’a aidé à l’atténuer efficacement.
On peut l’appeler le « code review » des entretiens utilisateurs. Cela consiste pour les membres de l’équipe produit à relire et croiser certains entretiens réalisés par leurs pairs, en suggérant d’ajouter ou de supprimer certains enseignements.
Si vous êtes le seul chef de produit dans l’entreprise (ce qui est souvent le cas dans les petites startups), faites cet exercice avec votre fondateur. N’oubliez pas que les fondateurs sont eux aussi des « product people ».
#5 : Biais de participant
Si le biais de confirmation est un fléau, il fait néanmoins partie des biais les plus faciles à corriger. Le prochain biais dont je souhaite parler est toutefois nettement plus difficile à atténuer.
Le biais de participant survient lorsque vos répondants expriment ce qu’ils pensent que vous voulez entendre, plutôt que ce qu’ils pensent réellement du sujet abordé.
Par exemple, lors d’un entretien, vous pouvez demander aux participants s’ils achèteraient votre produit à condition que vous ajoutiez la fonctionnalité qu’ils viennent de suggérer. Devinez la réponse que vous obtiendrez ? D’après mon expérience, la grande majorité répondra Oui.
Faut-il pour autant aller voir directement l’équipe technique pour leur demander de développer cette fonctionnalité au plus vite ? Non ! La question posée est biaisée et incite naturellement les personnes à dire ce que vous souhaitez entendre.
Je suis d’accord sur le fait que votre fonctionnalité peut répondre à un problème important pour certains de ces utilisateurs interviewés, et qu’ils pourraient finir par l’acheter. Mais la majorité se contentera d’utiliser cette fonctionnalité gratuitement ou ne l’utilisera pas du tout.
En plus de poser des questions de recherche mal formulées, les participants à l'étude donneront également des réponses biaisées si vous les payez pour participer à l’étude. Généralement, ils cherchent à « gagner leur rémunération » en donnant des réponses favorables et en vous satisfaisant, sans réaliser qu’ils nuisent plus qu’ils n’aident.
Comment atténuer le biais des participants
Comme je l’ai déjà mentionné, il est assez difficile de limiter le biais des participants. Cela s’explique par le fait que vous ne savez jamais vraiment si le participant est sincère avec vous ou non.
Cependant, deux tactiques peuvent vous aider à diminuer les chances de recevoir de mauvaises réponses.
Poser des questions sur leurs expériences passées
Si vous posez des questions sur un événement hypothétique dans le futur, les personnes interrogées vont très probablement dire des choses qu’elles ne feront jamais réellement dans la vie réelle.
Si vous demandez à quelqu’un le 2 janvier s’il serait prêt à aller à la salle de sport pendant 12 mois d’affilée, il dira oui. Mais nous savons tous que la plupart des gens finissent par abandonner leur abonnement après seulement quelques visites.
Pour éviter cela, les chefs de produit préfèrent poser des questions sur ce qui s’est déjà passé. Ainsi, ils peuvent en apprendre davantage sur le comportement des utilisateurs en fonction de ce qu’ils ont réellement fait, et non pas sur ce qu’ils auraient aimé réaliser.
Établir les bonnes attentes
Parfois, la nature de votre question ou de votre étude ne vous permet pas de demander aux utilisateurs ce qu’ils ont fait par le passé. Par exemple, vous souhaitez savoir comment ils réagiraient si vous augmentiez le prix de votre produit.
Dans ce cas, vous pouvez préciser qu’il est tout à fait acceptable de recevoir des réponses négatives, et que leur retour honnête est la seule façon pour eux de « mériter leur rémunération ».
Admettre ses propres biais, c’est 80 % du combat
C’est exact. Le pire avec les biais, c’est que la plupart d’entre nous croyons sincèrement avoir raison. Donc, la chose la plus importante que vous puissiez faire pour atténuer vos propres biais est de les reconnaître.
Dès que vous faites cela, vous commencerez naturellement à les combattre et finirez par atteindre un état sans biais. (Ou du moins un état de gestion des biais !)
N'oubliez pas de vous abonner à notre newsletter pour plus de ressources et guides sur le management de produit, ainsi que les derniers podcasts, interviews et autres analyses des leaders et experts du secteur.
