Comment S’Amuser Avec La Recherche UX

Lisez la transcription :

Nous essayons de transcrire nos podcasts avec un programme informatique. Merci de pardonner d'éventuelles fautes de frappe car le bot n'est pas exact à 100 % du temps.

Hannah Clark : Êtes-vous plutôt un penseur du cerveau gauche ou du cerveau droit ? Si vous ne voyez pas de quoi je parle, sachez que les personnes "cerveau gauche" ont tendance à être plus analytiques et axées sur les chiffres, tandis que les personnes "cerveau droit" sont plus susceptibles d'utiliser la narration pour donner un sens au monde. Donc, quand on pense à la recherche qualitative et quantitative, vous pouvez probablement deviner quels profils gravitent vers quelles méthodes. Et c’est parfait — nous avons besoin des deux, mais, il s’avère que les combiner est bien plus facile à dire qu’à faire. Comment mélanger chiffres et récits pour dessiner un tableau fidèle ? Et peu importe la méthode, comment s'assurer de la qualité de vos données ?

Mon invitée aujourd'hui est l’incroyable Laura Klein, Principal chez Users Know et autrice de "Build Better Products" et "UX for Lean Startups". Depuis plus de vingt ans, Laura travaille avec de nombreuses équipes produit et a vu beaucoup d'entre elles buter sur les mêmes défis en matière de recherche utilisateur. Elle s'apprête à partager certaines de ses observations les plus utiles et ses conseils pour les équipes produit, notamment lorsque nous aborderons, plus tard dans l'épisode, le rôle clé de la segmentation et de la recherche. Il vous faudra utiliser vos deux hémisphères cérébraux pour cet épisode, alors c'est parti.

Bienvenue à nouveau dans The CPO Club Podcast.

Laura, merci beaucoup d'avoir trouvé du temps dans ton agenda pour nous parler.

Laura Klein : Oh, merci beaucoup de m’accueillir.

Hannah Clark : On va commencer par parler un peu de toi et de la création de Users Know.

Laura Klein : Oui. Comme tu l’as dit, je suis spécialisée en UX et produit. Je suis une ingénieure repentie. Je suis dans la tech depuis les années 90. Ça fait un bail. J’ai fait tout un tas de métiers différents. J’ai fondé Users Know au début des années 2010. Je ne me souviens plus de la date, je la connaissais avant. J’ai appris le design dans une excellente agence de design boutique où l’on faisait du design et de la recherche pour des clients.

J’y ai beaucoup appris. C’était génial. Cela a suivi plusieurs années en tant qu’ingénieure, surtout dans des startups. Au final, je suis partie parce que je voulais pouvoir virer mes clients. Honnêtement, c’est la pure vérité. Quand tu bosses pour une agence, je plaisante souvent, tu dois rendre beaucoup de monde content.

Tu dois satisfaire tes patrons, tes clients. Et surtout, si tu es designer UX, tu dois aussi satisfaire tes clients/utilisateurs finaux. Et parfois, ces objectifs sont conflictuels. J’ai réalisé que je travaillais mieux avec les clients qui étaient vraiment en phase avec ma façon de fonctionner.

Et j’ai vraiment aimé travailler avec des gens qui adhèrent à ma méthode. Ce n’est pas que j’impose quoi que ce soit, mais j’ai une manière précise de faire les choses et si ça colle, alors on travaille super bien ensemble.

Hannah Clark : Oui, j’ai aussi travaillé en agence et je comprends tout à fait : les choses fonctionnent tellement mieux quand il y a un vrai fit. Impossible de le forcer parfois.

Laura Klein : Oui, tu veux une prestation que je ne t’ai pas vendue et je ne suis pas sûre de pouvoir t’offrir ça. Et souvent, quand je fais du biz dev pour Users Know — c’est pas systématique, parce que parfois j’ai un job à temps plein, ou alors je suis surbookée —

Mais quand je fais du biz dev, je passe beaucoup de temps à dire aux gens : « Je ne fais pas ça. Il faut voir avec Untel ou Unetelle, qui maîtrise vraiment ce domaine, vous serez bien plus satisfait. » Donc je refuse la moitié des demandes.

Parce qu’il n’y a qu’une seule Laura et on a besoin de peu de projets pour vraiment s’investir. Il faut trouver ceux sur lesquels il est vraiment possible d’apporter sa valeur.

Hannah Clark : Oui, je crois que c’est presque un signe de réussite de pouvoir choisir les projets qui vont permettre à toi et à ton client d’arriver là où vous voulez aller tous les deux. Je respecte beaucoup cela.

Aujourd’hui, on se concentre sur la façon de combiner recherche qualitative et quantitative pour de meilleures prises de décisions produit. Que peux-tu nous dire, d’après ton expérience, sur les difficultés des équipes à ce sujet ?

Laura Klein : Sur tout ! C’est une des facettes de ma méthode, très spécifique. Je pense sincèrement que… voilà le problème : les gens galèrent énormément avec les deux aspects. Beaucoup de personnes ont du mal avec la recherche utilisateur qualitative. Beaucoup ont du mal avec la recherche quantitative.

Et au moment de combiner les deux, on est à la chasse à la licorne : c’est vraiment difficile parce qu’il faut tout maîtriser. Je ne plaisante pas : ils galèrent sur chaque point. Beaucoup ne savent pas comment mener une bonne recherche qualitative.

Ils ne savent pas quand la pratiquer. Ils ne savent pas quand il est temps d’engager les formidables professionnels qui font ça tous les jours, avec expertise et brio. Côté quantitatif… les maths, c’est dur. Ce n’est pas seulement du calcul : les statistiques, ce n’est intuitif pour personne réellement.

Et en plus, il est difficile d'instrumenter correctement un produit pour obtenir de bonnes données. Tant d'entreprises collectent toutes les données… mais aucune n’est utilisable. C’est le bazar des deux côtés. Et si on prend de la recherche qualitative mal faite — qui n’aborde pas vraiment les vrais problèmes ou n’a pas posé la bonne question — et qu’on la combine à des données recueillies à la va-vite et potentiellement fausses…

On obtient ce qu’on obtient, et ça ne mène à rien de bon — ce n’est pas le cas de tout le monde, attention, c’est le pire scénario —. Je vois souvent des sociétés avec, par exemple, une formidable équipe qualitative, excellente dans la collecte d’information… mais mauvaise pour intégrer ces résultats aux décisions produit. Ou alors des PM complètement obsédés par la data et qui négligent le côté qualitatif. Donc ils ne comprennent pas pourquoi les choses arrivent. Ils ne voient que les chiffres…

Et ils se disent : c’est peut-être ça, ou peut-être ceci. C’est une tendance très répandue : le PM « orienté data ». Je suis pour la prise de décision informée par la data, mais la donnée ne t’explique jamais pourquoi il se passe telle chose. Elle t’informe juste de ce qui se passe.

Et parfois, même ça c’est imprécis. Bref, tout ça est compliqué. Voilà pourquoi il ne faudrait pas se fatiguer et suivre uniquement son instinct. Non, ce n’est pas vrai. Désolée.

Hannah Clark : Non, c’est absolument à ne pas retenir !

Laura Klein : Ne lâchez rien, vraiment.

Hannah Clark : On avance, coûte que coûte. Le spectacle doit continuer !

Laura Klein : Oui, il faut reconnaître que ce que nous faisons est difficile, et se laisser la marge d’apprendre, d’être humble et de travailler avec des experts de chaque discipline, pour faire de notre mieux.

Hannah Clark : J’ai hâte d’approfondir cela, et aussi d’aborder les méthodes pour fiabiliser un peu plus nos données et obtenir de meilleurs insights.

Mais pour l’instant, admettons que nous ayons de bonnes données qualitatives et quantitatives, juste pour l’exemple.

Laura Klein : Oui, on est au top. Oui.

Hannah Clark : Admettons, on a les meilleurs du secteur sur le coup. Comment réunir efficacement ces deux types de recherches dans la prise de décision produit ?

Laura Klein : Imaginons que vous avez, non pas nécessairement de super données, mais au moins les bonnes équipes et des processus permettant d’aller chercher la bonne information. Car tout commence par définir la question à laquelle on veut répondre. Aussi dur que le reste ! Beaucoup croient avoir tout mis en place — dashboards, tests d’utilisabilité, plein de mesures — mais l’enjeu, c’est de prendre des décisions concrètes : « Veut-on faire X ? Quelle nouvelle fonctionnalité doit-on créer ? Quelle doit être ma priorité ? Comment améliorer l’activation ou l’acquisition ? »

Ce sont ces questions que nous devons nous poser tous les jours. Laquelle traitons-nous là maintenant ? Quelle est la priorité ? Quelle fonctionnalité va permettre d’atteindre mon objectif principal ? Tout revient à : quels sont mes KPIs, et qu’est-ce que je veux vraiment en faire ? Il faut commencer par une bonne question, exploitable. Et éviter celles du genre « Combien serait-on prêt à payer ? ». Une question dure à trancher dans les deux approches ! C’est complexe, mais parfois incontournable. Il s’agit vraiment de cibler la problématique. Ensuite, il faut distinguer : les données quantitatives vont vous dire ce qui se passe avec votre produit. Et par données quantitatives, je pense analytics, chiffres concrets mesurés sur votre produit — pas forcément des études de marché qui interviennent plus tôt dans le développement.

Mais en phase d’avant-produit, la donnée quantitative n’est souvent d’aucune aide. Tant que l’objet n’existe pas, ou qu’il manque d’utilisateurs, il n’y a pas assez de volume… Donc il importe de situer le moment opportun pour recourir à la data. Mais en substance, les chiffres disent ce que font les gens : où ils cliquent, ce qu’ils achètent, si tel clic entraîne tel achat… Ils vous révèlent beaucoup de « quoi ».

La recherche qualitative, on parle ici d’études utilisateurs ou de tests d’ergonomie — ce qui n’est pas la même chose —, permet de comprendre pourquoi les choses arrivent. La recherche utilisateur, au sens large, c’est décoder vos utilisateurs : leurs modèles mentaux, contextes, objectifs, blocages généraux et face à votre produit. C’est ça qui éclaire les raisons des comportements observés.

Ça ne dira pas ce qui se passe. Et comme ces études se font sur un échantillon restreint — c’est itératif, on ne fait pas 5 entretiens puis terminé —, on base certaines décisions sur quelques entretiens. On interroge des gens, puis d’autres, etc. On ne peut parler qu’à un nombre limité, sur la durée. Et il est possible d’obtenir un portrait assez fidèle de qui sont vos utilisateurs et ce qu’ils font, mais jamais une vision complète de ce qui se passe juste à travers des discussions.

Le vrai avantage : comprendre le « pourquoi ». Par exemple : vous avez un tunnel d’achat, quelque chose de familier à tous (et que beaucoup auront déjà conçu !). C’est très commun. Typiquement, ce tunnel est assez linéaire, décliné en plusieurs étapes. Certaines informations essentielles sont requises par la société. Si vos outils de suivi sont bien paramétrés, vous voyez où les utilisateurs abandonnent le tunnel. Et c’est garanti : certains abandonnent !

On appelle ça entonnoir (funnel), mais c’est plutôt une passoire ! Dans le meilleur des cas, c’est un entonnoir ; en réalité, plein de gens décrochent. Le data vous dit exactement où ils s’arrêtent. Jusqu’ici, parfait. Beaucoup de PM voient alors que « tout le monde bloque sur la saisie de carte bancaire » et partent directement sur des idées de solutions. On pourrait rendre ceci plus visible, ou changer telle chose etc. Ou alors, regarder concrètement des utilisateurs utiliser ce **du tunnel d’achat** pour comprendre si un problème saute aux yeux. Les raisons sont multiples — j’en ai vu des dizaines — qui font que les gens arrêtent leur parcours d’achat, d’onboarding ou de renseignement d’informations.

Et c’est crucial : la bonne solution dépend du vrai problème. Le problème n’est pas “les gens lâchent l’achat” (ça c’est VOTRE problème) ; le leur, c’est “je n’ai pas compris cette étape”, ou “il y avait un bug bloquant”, ou “le mode de paiement ne convenait pas”, ou mille autres raisons. Parfois le souci est très simple à repérer et à corriger en observant quelqu’un. J’ai vu des ingénieurs, assistant à mes tests utilisateurs, corriger le bug en live pendant la séance, et déployer la solution à la volée. On reteste vingt minutes après, tout est résolu. La solution peut être toute simple… et la data quantitative seule ne le montre pas !

Hannah Clark : Qu’est-ce qui nous empêche d’aller tout de suite vers la vraie cause plutôt que de "solutionner" à l’avance ? Pourquoi cette démarche n’est-elle pas spontanée selon toi ?

Laura Klein : La recherche qualitative est ardue. On la perçoit souvent comme chronophage, et, à raison, elle l’est parfois. Dans certaines organisations, y accéder est très difficile, surtout en grand compte (enterprise) où on ne peut quasiment pas parler aux utilisateurs finaux ou où le recrutement est compliqué, ou faute de process research ops pour trouver les bons profils.

C’est du travail. Beaucoup n’ont simplement pas les compétences pour aller interroger des gens. De plus, "brainstormer" en salle est facile et amusant ; c’est humain, on adore générer des idées. Pas seulement pour les produits… même pour décider du dîner, on brainstorme ! Le cerveau humain est fait pour inventer.

Mais ce ne sont pas toujours de bonnes idées. Et souvent, les responsables produit ont des avis très arrêtés sur les faiblesses de leur outil. On connaît les défauts de ce qu’on crée, on a tendance à croire qu’un problème vient forcément d’une piste qu’on voulait déjà creuser. On bascule alors sur des solutions qui n’ont peut-être rien à voir avec l’obstacle principal. Autre phénomène : la mode des features, IA incluse. Beaucoup non, la majorité des problèmes ne sont PAS liés à un manque d’IA !

Hannah Clark : Dis-le haut et fort pour tout le monde. On pourrait faire tout un épisode dédié.

Laura Klein : Moi aussi. Certes, il existe des problèmes que l’IA pourrait très bien résoudre, parfois mieux que nous. Mais, en général, le souci n’est pas l’absence de features « fashion ». Le problème c’est de ne pas résoudre les VRAIS problèmes de vos utilisateurs.

Hannah Clark : Je voudrais en faire un tatouage.

Laura Klein : Ou broder sur un coussin, c’est plus long à graver !

Hannah Clark : C’est vrai. Ça passe moins bien sur la peau.

Bref, parlons des cas où il est opportun d’appliquer l’un ou l’autre — qualitatif ou quantitatif. Tu viens très bien d’illustrer comment l’un éclaire l’autre, mais il existe des contextes où l’un prime sur l’autre, ou inversement. Parle-nous un peu des cas particuliers.

Laura Klein : Oui. D’abord, il faut se rappeler : parfois, un des deux types de données est simplement indisponible.

Dans ce cas, on fait avec ce qu’on a. Comme dit plus tôt, parfois il est quasi impossible d’obtenir du qualitatif, surtout en enterprise où il y a plusieurs types d’usagers : l’acheteur, l’utilisateur, qui peuvent avoir des besoins totalement opposés. Parfois, l’un des profils est bien plus facile à solliciter. Et ne me lance pas sur les administrateurs ! Cela dit, étudier les admins, c’est super instructif… mais difficile à recruter. Donc, quand c’est le cas, je conseille vivement de mettre en place un process pour dénicher ces profils difficiles.

Quant au quantitatif, là aussi, en enterprise, il arrive que la donnée manque. Surtout pour de l’A/B testing, qui est parfait dans certains contextes et mal utilisé la plupart du temps. Le split test est idéal si on a vraiment assez de trafic. Mais en early stage B2C ou en segmentant trop, ou avec peu de clients, vous n’aurez jamais assez de données pour que l’analyse soit valide. Il faut donc se rabattre sur du qualitatif, et faire au mieux.

Hannah Clark : Voilà une question qui m’intrigue : comment détermine-t-on la taille d’échantillon nécessaire avant de se lancer et de fixer nos objectifs ?

Laura Klein : Côté quantitatif, il faut consulter un vrai data scientist — c’est hyper complexe. Cette branche des maths est très dure. Beaucoup se trompent, pleins de pièges inattendus (par exemple le problème du « peeking », c’est-à-dire regarder les résultats avant la fin du test)… Il y a beaucoup à dire. Je ne suis pas celle qui expliquera ce calcul, et ça dépend de plein de facteurs (taille des branches de test, variance, outliers…). Par exemple, si vous avez des utilisateurs qui dépensent dix mille dollars pendant que la majorité paie un dollar, ça fausse très fort les mesures.
C’est pourquoi il faut des experts.

En qualitatif, là aussi il faut des spécialistes, mais pour d’autres raisons. Sur la taille d’échantillon, on n’attend PAS la significativité statistique. Ce n’est pas le but. Si quelqu’un vous dit « On a du qualitatif statistiquement valide », non — ce n’est pas possible. Ce qu’on cherche, ce sont des motifs récurrents, prévisibles. D’après la vieille étude remontant aux années 90, la majorité des obstacles d’ergonomie sont détectés après 5 entretiens. C’est vrai, mais c’est très limité à l’utilisabilité pure, et seulement si tout le monde utilise le système de la même façon (ce qui est rare !). Sur un tunnel de paiement très homogène, c’est possible, mais attention : souvent, on repère un bug en parlant à une ou deux personnes, et si cela arrive, il y a des chances que ce soit fréquent, donc à corriger d’urgence. En revanche, l’important est de parler à assez de profils différents pour anticiper les grands motifs. D’où l’importance, à mon sens, d’une synthèse continue : après chaque entretien, extraire observations, besoins, objectifs… Puis, à mesure, prédire les patterns. Parfois avec personas, orgsonas, etc. À force, vous anticipez les comportements et problèmes avant de parler au prochain participant. Ça veut dire que les motifs se répètent. Le qualitatif devrait être une pratique continue. Inutile de trop psychoter sur la taille d’échantillon : si trois personnes peinent sur une étape, il y a de fortes chances qu’elles ne soient pas seules. Si, en revanche, chaque personne a des obstacles différents, peut-être qu’il vous manque une bonne segmentation ! Tous les utilisateurs ne se ressemblent pas, et si vous comparez un power user à un débutant, vous n’aurez pas du tout les mêmes retours. De même entre acheteurs pro et particuliers… Il faut comprendre LA cause des différences — font-ils partie de groupes différents ?

Hannah Clark : Merci d’avoir abordé la segmentation. C’est un aspect souvent oublié dans la constitution de jeux de données exploitables.

Quels conseils donnerais-tu pour bien aborder la segmentation, si on sait d’avance que c’est clé quel que soit le type d’étude ?

Laura Klein : La segmentation est presque toujours capitale. Et je vais le dire… ça dépend !

Cela dépend de beaucoup de choses. Exemple : une fonctionnalité IA que j’ai vue récemment, dans un produit qui aide des recruteurs à contacter des profils. (Quand vous recevez un message qui vous dit "Nous avons lu votre CV"…) Voici la réalité : beaucoup de gens sont NULS pour rédiger ce type de message, même ceux dont c’est le métier. Les mails de prise de contact sont difficiles à écrire ! Donc la société a décidé d’utiliser un peu d’IA pour aider à transformer les modèles de mails. Et ça marche : l’IA aide à intégrer les bons éléments à partir des annonces, clarifie, rend moins "spammy"… On obtient globalement plus de réponses, c’est super !

Mais il existe un petit groupe d’experts qui passent leur temps à écrire ces mails. Les recruteurs pro, avec des normes internes très strictes, qui A/B testent tout, souvent avec des data scientists. Pour eux, l’IA n’apporte RIEN, elle dérange même. Ils ne souhaitent surtout pas voir leurs templates — souvent soumis à des exigences légales — être modifiés, ils ont optimisé leur workflow. Et, bien sûr, ce sont ces clients-là qui payent le plus cher !

On se retrouve donc avec une masse d’utilisateurs peu rentables, améliorés par l’IA, et un petit groupe très rentable, pour qui l’IA pose problème. Il faut donc décider quoi faire : la solution, c’est de proposer l’option IA sans jamais la rendre obligatoire. Si tu te contentes de regarder la data globale, tu risques de croire que "tous nos utilisateurs performent mieux avec l’IA". Mais non, seuls la majorité y gagnent, la minorité précieuse y perd ! Retenez donc que certains groupes sont plus stratégiques que d’autres pour la business.

Hannah Clark : Un exemple parfait de la façon dont la segmentation ne concerne pas uniquement les profils, mais aussi leur valeur commerciale et stratégique. C’est important, y compris pour toutes les features IA !

Laura Klein : Ce raisonnement vaut pour toutes les fonctionnalités, mais surtout l’IA oui !

Hannah Clark : C’est un vrai sujet ! Mais bon. Puisque nous arrivons au bout de notre épisode…

J’aimerais parler un peu de la dimension ludique dans la recherche, parce qu’on la considère trop souvent comme ennuyeuse ou chronophage. Pourtant, c’est incroyablement riche, et il y a beaucoup de plaisir à parler aux gens et découvrir de l’insight — toi-même l’as souligné. Quel est ton meilleur souvenir d’un projet de recherche ?

Laura Klein : Parfois, ça devient du bricolage, et moi j’adore ça ! Tout le monde n’aime pas les tableaux croisés dans Excel ou les données, mais moi si — ça c’est fun pour moi. Le côté qualitatif peut être très créatif. Quand on aime créer, trouver des moyens astucieux de résoudre les problèmes, c’est hyper satisfaisant. Parfois, on fait de la « recherche immersive » : dans le design hospitalier, on monte des faux hôpitaux pour tester la circulation, la taille des chariots, où intégrer la technologie… Plutôt que de perturber les vrais patients ! J’ai souvent suivi des gens dans leur travail (ça paraît louche, mais j’adore observer leur quotidien). Voir les vendeurs, ou n’importe qui sur son job, c’est passionnant. Tu observes, tu comprends comment ils pensent, comment ils s’organisent. Peut-être que j’aurais dû être anthropologue !

On peut aussi faire du co-design très amusant, avec des Lego, des dessins, des cartes… Il existe beaucoup de méthodes, ce n’est pas seulement ludique, c’est une vraie plongée dans la psychologie des utilisateurs, dans leur « modèle mental ». Si t’es comme moi… enfin j’espère pour toi que non, mais c’est génial. Tu entres dans la tête des gens. Certains aspects sont moins drôles, comme lorsque le test révèle que ce que tu as conçu ne fonctionne pas du tout — j’ai connu un ingénieur qui appelait ça des « vidéos d’otage » tellement il était douloureux de voir l’utilisateur souffrir ! C’est difficile de constater l’échec de sa solution. Mais la vraie satisfaction : c’est de corriger, tester à nouveau et voir les gens y arriver facilement. C’est ça qui me plaît. Et puis bon, les tableaux croisés, j’adore ! Chacun son truc.

Hannah Clark : Personnellement, j’adore discuter et écouter les gens. C’est aussi pour ça que j’aime faire ce podcast. Et vraiment, j’ai adoré cette conversation. Je suis certaine que tout le monde aura apprécié t’écouter. Où peut-on te suivre en ligne ?

Laura Klein : Aujourd’hui, le seul endroit pour suivre un peu (rarement) mes activités publiques est LinkedIn. Je suis aussi sur Blue Sky, mais je parle peu boulot là-bas, peut-être que ça viendra. Sinon, LinkedIn ! J’espère lancer cette année un cours sur Maven sur la recherche qualitative et quantitative et leur combinaison. Si vous voulez apprendre avec moi, ce sera bien plus long, détaillé, avec des exercices, templates, etc. J’ai aussi écrit deux livres (un peu anciens). Et je co-anime par moments un podcast qui s’appelle "What is Wrong with Hiring?" sur le recrutement dans le design, la recherche, et le produit.

Hannah Clark : Si tu es aussi fun dans ce podcast qu’ici, je vais foncer !

Laura Klein : J’y jure beaucoup plus, désolée !

Hannah Clark : Parfait, je m’abonne.

En tout cas, merci infiniment Laura, c’était super intéressant et très fun. J’ai vraiment hâte de recevoir les retours des auditeurs sur cet épisode.

Laura Klein : Un grand merci, c’était un plaisir d’être là.

Hannah Clark : Merci à tous d’avoir écouté. Pour encore plus d’insights, de guides pratiques et de tests d’outils, abonnez-vous à notre newsletter sur theproductmanager.com/subscribe. Vous pouvez écouter d’autres conversations comme celle-ci en vous abonnant à The CPO Club, sur toutes vos applis de podcasts.