Biais dans la recherche : êtes-vous votre propre pire ennemi ?
En tant que professionnels du produit, nous aimons tous croire que chaque matin, nous partons à la recherche de la vérité afin de mieux servir nos utilisateurs et d’atteindre nos KPIs. Souvent, nous utilisons des méthodologies de recherche pour nous aider à aller au fond des choses et à éclairer nos décisions produit. Mais voilà : quoi que nous fassions, nous sommes susceptibles de compromettre la validité de nos résultats à cause du biais de recherche.
C’est une histoire vieille comme le monde et que vous soyez chercheur académique ou chef de produit, il est crucial de comprendre les rouages des biais qui pourraient vous induire en erreur. Jetons un œil précis sur les biais existants et comment atténuer leur effet sur votre travail.
Qu’est-ce que le biais de recherche ?
Le biais de recherche, en termes simples, désigne toute action ou état d’esprit au cours du processus de recherche qui affecte votre capacité à obtenir des résultats objectifs. Il est important de noter que le biais de recherche est extrêmement répandu : il peut avoir lieu dans la recherche qualitative comme quantitative (oui, même les chiffres peuvent être déformés par les histoires que l’on se raconte à leur sujet).
Vous voulez plus de The CPO Club ?
Inscrivez-vous gratuitement pour terminer la lecture de cet article :
Have an account? Log In
Le biais peut s’insinuer à tous les niveaux du processus de recherche :
- Définir les questions de recherche
- Collecte de données
- Choix des participants à l’étude
- Analyse des données
- Résumer et communiquer les résultats
Les biais sont généralement involontaires – nous ne sommes pas conscients que notre état d’esprit, ou la manière dont nous menons notre étude, influence la validité de nos résultats. La première étape pour prévenir le biais de recherche est de reconnaître que, quelles que soient nos meilleures intentions, chaque personne dans l’univers qui mène une recherche est susceptible au biais. Les bonnes intentions sont appréciables, mais ne suffisent pas à elles seules à garantir la validité de nos résultats.
Poursuivez votre lecture pour mieux comprendre les biais qui impactent nos travaux et comment en limiter les effets.
Types de biais de recherche qui peuvent compromettre votre travail
J’admets – avec un petit jeu de mots un peu intentionnel –, c’est la partie la plus fun et intéressante. Nous allons maintenant explorer toutes les façons dont, parfois sans le vouloir, nous générons des résultats biaisés à cause des drôles de tours de notre cerveau... et de celui de nos participants à l’étude. (Pas d’inquiétude : si vous continuez à lire, vous apprendrez aussi comment les éviter.)
Biais de rappel
Est-ce étrange d’avoir un biais préféré ? Bizarre ou non, c’est le mien. Je l’apprécie car il fait référence aux mystères de l’esprit : ce dont nous nous souvenons d’un événement ou d’une suite d’événements n’est pas toujours complet ni exact.
Le biais de rappel décrit notre tendance à nous souvenir inconsciemment du passé avec certaines inexactitudes, comme oublier des détails. Cela survient plus souvent pour des événements désagréables ou éloignés dans le temps – mais en réalité, cela peut arriver n’importe quand.
Exemple de biais de rappel
Par exemple, si vous menez un entretien utilisateur sur les habitudes sportives et que vous demandez à une personne de parler d’une application qu’elle n’a pas utilisée depuis un an, sa capacité à se souvenir précisément de ses actions et de la façon dont tout s’est passé sera limitée. Ou, si vous interrogez quelqu’un sur son expérience chez le médecin après une blessure, son esprit aura peut-être atténué certains détails désagréables pour lui éviter une détresse psychologique.
Les exemples sont innombrables, mais le fond du problème est que notre cerveau aime raconter des histoires. Pour de nombreuses raisons, qu’il s’agisse du temps qui passe ou de la façon dont nous préférons percevoir certains événements par rapport à ce qui s’est vraiment passé, ce dont nous nous souvenons n’est pas toujours exactement ce qui s’est produit – et cela peut fausser nos résultats si nos participants présentent inconsciemment un biais de rappel.
Biais de sélection
Si vous pensiez que le biais ne concerne que les participants, celui-ci vous concerne, vous, le chercheur. Vous savez probablement déjà que la façon dont vous définissez les critères de participation à votre étude influence fortement vos résultats. Si vous étudiez les habitudes de sommeil et que vous interrogez uniquement des parents de nourrissons, vos conclusions ne vont pas vraiment s’appliquer à la population générale (bâillement).
Le biais de sélection survient lorsque des idées préconçues ou des hypothèses tenaces nous poussent à définir notre échantillon de recherche de façon à favoriser les résultats que nous attendons ou espérons obtenir.
Exemple de biais de sélection
Admettons que votre entreprise propose un outil d’automatisation marketing, et que vous essayiez de comprendre pourquoi vos concurrents vous dépassent en matière de revenus. Vous, chef de produit, pouvez avoir l’hypothèse selon laquelle ce sont les fonctions d’automatisation des emails, en particulier, qui expliquent la croissance des concurrents.
Cela peut vous amener à cibler le recrutement de participants très axés sur l’email dans leurs fonctions – ce qui risque de vous faire passer à côté d’autres arguments de valeur et points douloureux dans le reste de l’automatisation marketing, simplement parce que vous n’avez pas recruté assez de personnes actives dans d’autres parties du produit.
Biais de confirmation
Si vous avez déjà participé à un projet dans lequel la personne dirigeant la recherche semblait uniquement s'intéresser aux retours utilisateurs confirmant ses propres suppositions, vous avez été témoin du biais de confirmation. Lorsque nous examinons n'importe quel type de données, qualitatives ou quantitatives, notre tendance naturelle est de favoriser ou d'exagérer l'importance des informations qui confirment nos hypothèses ou croyances. C'est ce qu'on appelle le biais de confirmation, et il est omniprésent. En fait, j'en suis venu à croire que la manière dont les équipes produit travaillent rend le biais de confirmation incroyablement fréquent, sauf si nous prenons des mesures pour le combattre de front.
Dans le domaine du produit, on nous demande souvent de prendre d’énormes décisions et de prendre des risques importants, rapidement. Il est rare de rencontrer un designer ou un chef de produit qui n’a pas d’avis tranché sur les itérations ou les pivots qui permettront à l’équipe de se rapprocher de ses objectifs globaux. Pour cette raison, la recherche utilisateur devient parfois une simple formalité, et les résultats sont présentés dans un récit imprégné de biais de confirmation.
Comment est-ce possible ? Il est fort probable que votre étude de recherche utilisateur contienne de nombreuses observations différentes. Lors de l’analyse de vos données, une phase qui manque généralement de supervision dans les entreprises, vous pouvez inconsciemment écarter des points de données allant à l’encontre de vos convictions et proposer un récit qui ne reflète pas la réalité. Aïe !
Exemple de biais de confirmation
Imaginez qu’un chercheur mène des entretiens utilisateurs sur une fonctionnalité qui utilise l’IA pour générer des réponses à des messages électroniques. Dans ce contexte, si le chercheur utilise des questions orientées, comme « Ne trouveriez-vous pas cette fonctionnalité utile ? » ou « À quel point serait-ce formidable d’économiser du temps sur la rédaction de vos emails ? », il crée un biais de confirmation car il influence les résultats en projetant sa propre opinion sur la valeur de la fonctionnalité.
Biais de mesure
Que vous meniez une étude qualitative ou quantitative, il est important que la manière dont vous mesurez vos données soit pertinente et cohérente tout au long du processus. Lorsqu’il existe un problème fondamental avec les mesures utilisées, on introduit des résultats potentiellement erronés : c’est le biais de mesure.
Exemple de biais de mesure
Supposons que vous réalisiez une étude d’utilisabilité quantitative pour une fonctionnalité censée réduire l’abandon à un certain point clé du parcours utilisateur dans votre produit. Ce que vous mesurez, sur des centaines de tests, c’est la capacité d’un utilisateur à terminer avec succès le parcours sur la nouvelle version, et vous cherchez une amélioration par rapport à l’ancienne version de la fonctionnalité. Il est alors essentiel que votre équipe réfléchisse à ce que signifie exactement terminer avec succès le parcours : s’agit-il simplement de passer l’étape de l’itération ? Faut-il accomplir l’ensemble du processus ? Est-ce que cela suppose d'obtenir un résultat satisfaisant ?
Comme vous pouvez le constater, la façon de définir la métrique elle-même peut largement influencer vos résultats !
Biais de l’intervieweur
Lors de la conduite d’entretiens utilisateurs dans le cadre d’une étude qualitative, les questions posées par l’intervieweur et la façon de les poser peuvent créer un terrain propice au biais.
Exemples de biais de l’intervieweur
Voici quelques exemples de la manière dont le biais de l’intervieweur peut s’immiscer dans n’importe quelle étude :
- L’intervieweur pose des questions basées sur ses propres suppositions concernant chaque participant, au lieu d’un ensemble uniforme de questions pour chaque personne de l’étude.
- L’intervieweur pose des questions orientées qui incitent le participant à répondre d’une façon qui confirme les hypothèses du chercheur.
- L’intervieweur laisse entendre, dans la formulation de la question, un avis ou un jugement de valeur, ce qui encourage le participant à répondre de manière favorable (on parle alors aussi de biais de désirabilité sociale de la part du participant).
Biais de publication
Que faites-vous, en tant que professionnel du produit, lorsque les résultats de votre recherche ne correspondent pas à ce que vous espériez ? Croyez-le ou non, il arrive fréquemment que des chercheurs ou professionnels du produit choisissent sciemment de ne pas partager leurs résultats avec leurs équipes dans ces cas-là, en le justifiant d’une façon ou d’une autre : c’est ce qu’on appelle le biais de publication.
Exemple de biais de publication
À quoi cela ressemble-t-il ? Cela ressemble à vous, ou à un membre de votre équipe, déclarant : « Eh bien, nous ne l’avons testé qu’avec 15 utilisateurs – je ne pense pas que cela veuille dire grand-chose. Laissons tomber pour le moment. »
Le danger ici, c’est que vous privez votre équipe d’informations précieuses dès lors qu’elles vont à l’encontre de vos espoirs ou convictions. Ce faisant, l’omission de ces informations peut rapidement envoyer votre équipe dans la mauvaise direction.
Biais d'échantillonnage
Qui recrutez-vous exactement pour votre étude ? Croyez-le ou non, il s’agit souvent de l’un des facteurs ayant le plus d’incidence sur la qualité et la fiabilité de vos résultats. Le biais d’échantillonnage survient lorsque les données collectées proviennent d’un échantillon qui n’est ni représentatif ni nuancé, rendant les résultats sujets à caution et potentiellement trompeurs.
Exemple de biais d'échantillonnage
Dans cet exemple, vous réalisez une enquête sur les habitudes culinaires afin de vous aider à imaginer de nouvelles fonctionnalités pour votre application de recettes. Si les répondants à votre questionnaire proviennent d’un groupe recruté sur un campus universitaire, vous observez essentiellement les habitudes culinaires de jeunes étudiants à plein temps. Et les familles ? Les retraités ?
L’une des choses les plus importantes à faire lors de la conception de votre recherche est de vous assurer que vous travaillez avec un échantillon représentatif.
Biais d’analyse
Après avoir mis en œuvre vos méthodes de collecte de données, vous entrez dans la phase d’analyse. Ici, vous devrez prendre toutes sortes de décisions : quelles données sont importantes ? Quelles sont les plus importantes ? Que signifient-elles qualitativement ? Statistiquement ? Souvent, nous prenons ces décisions d'une manière qui privilégie nos hypothèses initiales ou les résultats souhaités.
Exemple de biais d’analyse
Un exemple de biais d’analyse serait si vous vous surpreniez à dire des choses comme : « Ce n’est pas important. Cela n’a été mentionné que quelques fois. Ce ne sont que des cas isolés. » Bien que cela puisse être vrai selon l’étude, il se peut aussi qu’il s’agisse d’un biais d’analyse qui vous amène à ignorer une nuance importante de vos résultats de recherche.
Ceci n’est qu’un exemple de biais de recherche parmi tant d’autres — il existe véritablement d’innombrables façons dont le biais se manifeste dans les projets de recherche. Donc, la prochaine question est : que pouvons-nous faire à ce sujet ?
Éviter les biais dans la conception des études de recherche
À ce stade, vous commencez probablement à transpirer un peu, en vous demandant si la recherche est vaine en raison de notre tendance très humaine à adopter des pratiques biaisées. Heureusement, ce n’est pas le cas. Maintenant que vous êtes conscient des biais potentiels qui peuvent apparaître à chaque étape, vous pouvez prendre des mesures pour réduire les biais dans votre recherche utilisateur et guider votre équipe produit dans la bonne direction. Voyons comment y parvenir.
Abordez la conception de votre étude de manière rigoureuse
C’est la version "recherche utilisateur" du célèbre dicton : bien commencer, c’est déjà réussir. Lorsque vous concevez votre étude, vous prenez une série de décisions qui, si elles sont effectuées correctement, peuvent réduire la probabilité de biais potentiels.
Voici quelques conseils :
- Définissez vos groupes d'utilisateurs de la manière la plus large possible tout en restant pertinent pour votre population cible
- Choisissez judicieusement vos méthodes de recherche : assurez-vous que la méthodologie reflète ce que vous souhaitez apprendre
- Si vous réalisez des entretiens utilisateurs, rédigez un guide d’entretien avant de commencer et assurez-vous de poser les mêmes questions à tout le monde
Évitez les conflits d’intérêts à toutes les étapes de la recherche utilisateur
Ce chef de produit qui ne cesse de marteler la nécessité d’un pivot spécifique depuis des mois ? Idéalement, ce n’est pas cette personne qui devrait diriger l’étude de recherche. Même si l’objectivité reste possible dans ce cas, de tels conflits d’intérêts rendent souvent extrêmement difficile la collecte de données et l’analyse des résultats de recherche de manière impartiale.
Une alternative serait de confier la conception et la direction de l’étude à quelqu’un d’autre — peut-être un designer ou un chercheur utilisateur de l’équipe — tout en consultant le chef de produit concerné au fil du processus. D’une manière générale, la règle fondée sur des preuves est la suivante : moins une personne est attachée à un résultat souhaité, plus elle a de chances de fournir des résultats de recherche fiables.
Reconnaissez que les biais de recherche concernent tous les humains menant une étude
Je le dis avec tout le respect possible : même si vous êtes sans doute une personne remarquable à de nombreux égards, en ce qui concerne le risque d’introduire des biais dans une étude — vous n’y échappez pas.
Tous les biais que nous avons évoqués sont des tendances fondées scientifiquement que toutes les personnes partagent. Dès que vous acceptez que même vous pouvez, en théorie, être sujet à divers biais, vous êtes déjà sur la bonne voie pour les prévenir !
Réalisez toujours une rétrospective de recherche
Il est normal de faire des erreurs dans la vie, et il en va de même pour la recherche utilisateur. À chaque étude, assurez-vous de vous réunir avec votre équipe pour revoir votre méthodologie du début à la fin — qu’auriez-vous pu faire différemment ? Est-il possible que certains biais se soient insidieusement glissés ?
En général, vous ne découvrirez pas que votre étude manque totalement de fiabilité, mais vous mettrez en évidence de légères modifications à apporter à votre prochaine recherche utilisateur pour améliorer la fiabilité de vos études à l’avenir.
Le biais de recherche existe, mais il peut être géré.
Maintenant que vous connaissez les pièges à éviter pour garantir la fiabilité de votre recherche utilisateur, vous êtes prêt à vous lancer et à faire du bon travail. Au risque de sembler un peu ridicule, je vais vous confier un dernier secret : j’ai un petit post-it sur mon bureau qui dit simplement « biais ! ». Je trouve que cela m’aide à garder à l’esprit tout ce dont nous avons parlé.
Même si un post-it d’alerte n’est pas votre méthode de prédilection, trouvez un moyen de garder l’élimination des biais à l’esprit lorsque vous menez des recherches utilisateur, et vous serez bien parti pour fournir des analyses qui aideront votre équipe à atteindre ses objectifs.
N'oubliez pas de vous abonner à notre newsletter pour plus de ressources et de guides sur la gestion de produit, ainsi que pour les derniers podcasts, interviews et autres analyses d’experts et de leaders du secteur.
