Les coups les plus trompeurs dans le produit, démasqués

Hannah Clark : Les choses ne sont pas toujours ce qu’elles semblent être. Des abonnements à tarification trompeuse, jusqu’à ceux qui jurent que les bonbons au maïs sont bons, nous avons une infinité de raisons d’être sceptiques sur tout — surtout en ce moment dans le produit. La vitesse des évolutions dans ce secteur est telle que les tendances peuvent paraître être des bonnes pratiques et que les vraies bonnes pratiques peuvent sembler démodées. Mais lorsque notre objectif est de bâtir un produit qui sera évolutif dans le temps, il nous revient de ne pas nous laisser hypnotiser par l’effet de mode.

Mon invité aujourd’hui est Matt Graney, CPO chez Celigo. Matt a passé plus de 20 ans dans le produit B2B, dont près de neuf à faire passer l’équipe produit de Celigo de 4 à plus de 45 personnes. Et bien que l’IA soit une formidable opportunité pour l’entreprise, il constate un fossé entre les attentes et la réalité concernant certaines des nouvelles tactiques tape-à-l’œil qui envahissent notre fil d’actualité LinkedIn. Des prototypes qui se font passer pour du code prêt pour la production à des outils trop beaux pour être vrais, vous entendrez sa vision sur les sujets où il faut marcher sur des œufs, et la sagesse éprouvée dont il se sert pour tirer son épingle du jeu dans cette transformation IA. Allons-y !

Au fait, nous avons ce genre de conversations chaque semaine. Donc si cela vous intéresse, pourquoi ne pas vous abonner ? Allez, c’est parti.

Bienvenue à nouveau dans The Product Manager Podcast. Aujourd’hui, je suis avec Matt Graney, CPO chez Celigo.

Matt, merci beaucoup de nous accorder du temps dans votre agenda pour discuter avec nous.

Matt Graney : Merci, Hannah. Ravi de parler avec vous aujourd’hui.

Hannah Clark : Pouvez-vous nous parler un peu de votre parcours et comment vous êtes devenu CPO chez Celigo ?

Matt Graney : Oui, bien sûr. Je suis dans le produit B2B depuis longtemps maintenant, environ 20 ans. Celigo est une plateforme d’intégration, et j’y travaille depuis huit ans et demi, ayant rejoint juste après la levée de fonds Série A.

Et avant cela, cinq ans et demi dans le domaine de l’intégration également. Ce n’était pas prémédité, c’est juste comme ça que les choses se sont déroulées. Avant cela, j’étais impliqué dans des produits autour du cycle de vie du développement logiciel, y compris des outils de modélisation UML — pour ceux qui s’en souviennent — j’étais à la base ingénieur logiciel en Australie dans les télécoms et la défense.

Je suis venu aux États-Unis pour travailler en tant qu’ingénieur avant-vente, sur un produit dont j’étais devenu expert lorsque j’étais chez Motorola. Donc un parcours assez varié. Et ensuite, j’ai fait un passage par le marketing produit avant d’intégrer pleinement le produit.

Hannah Clark : Un passage par le devoir. Je n’ai jamais entendu cette expression !

C’est drôle. Aujourd’hui, nous allons nous amuser avec une thématique quasi Halloween : nous allons parler des mauvais coups produits déguisés. On commence par creuser le « vibe coding ». Beaucoup d’avis circulent sur ce « vibe coding » dans la communauté produit.

Et je l’admets, les plateformes no-code sont des outils incroyables. Je les utilise tout le temps, mais elles peuvent aussi mener à des moments très Scooby-Doo, des instants « on enlève le masque » où l’on regarde de plus près et ce n’est pas ce que ça paraît être. Quelle est donc ton expérience, Matt, avec le vibe coding dans les équipes produits ?

Dis-nous le bon, le mauvais et le pire.

Matt Graney : Oui. Et on s’en serait sortis, si ce n’était pour ces sales gamins ! Je pense que c’est une démocratisation, ce qui est extraordinaire. Mais il faut aussi penser à l’illusion : ce n’est pas parce qu’on a le pouvoir de faire quelque chose de bien que c’est forcément bien fait.

Je crois qu’il y a beaucoup d’éléments cachés. Il ne faut pas confondre des prototypes rapides avec du code prêt pour la production. Donc, d’accord pour les créateurs citoyens, mais il faut aussi des architectes citoyens. Dans notre domaine, le B2B, nous gérons des logiciels d’infrastructure : on parle de milliards de transactions par mois.

Il n’y a que certaines parties de l’application, peut-être tout au plus sur le front-end, où l’on pourrait se permettre le vibe coding. D’après moi, il faut juste choisir le bon outil, comme ce fut toujours le cas. Il faut aussi garder une culture d’expérimentation, encourager l’équipe à prendre des risques, essayer de nouveaux outils et rester à la pointe de ce qui est une véritable révolution pour le secteur.

Hannah Clark : Pour approfondir : lorsqu’on pense aux différents niveaux de compréhension de la technologie au sein de l’organisation, il est tentant pour ceux qui manquent d’expérience technologique, ou pour de nouveaux fondateurs, de voir du code qui fonctionne et de s’emballer dessus. Cela met une grosse pression sur les équipes d’ingénierie pour qu’elles aillent aussi vite, ou livrent au même niveau, tout aussi brillant et neuf.

Comment aider les parties prenantes à comprendre les vraies contraintes entre le prototype issu du vibe coding et le logiciel réellement prêt à la production ?

Matt Graney : C’est un très bon point car la vitesse de démo ne doit pas être confondue avec la vitesse de mise en production. Surtout avec 5 000 clients B2B, il nous arrive de comparer notre travail à de la plomberie.

L’IA peut peindre la maison, mais ce n’est pas elle qui va installer la plomberie ! Il faut être sûr de certains aspects. Il existe des défis, car il y a une pression sur les équipes techniques, mais aussi parfois de la part des dirigeants. J’ai vu récemment des cadres expérimentés non techniques bricoler des preuves de concepts avec des outils no-code pour prouver de nouvelles capacités demandées par les clients.

Cela stimule l’imagination, mais crée aussi une pression implicite : cela devient presque accessible à tous, donc on pourrait vouloir lancer ça en production à la va-vite. Si je reprends la métaphore de la maison, ce ne sont pas des murs porteurs, ce sont des façades. Ça a l’air joli, certes. Cela dit, la rapidité des POC est incroyable : il faut absolument exploiter ça, que ce soit pour aider un PM à exprimer ses besoins ou pour aider un designer à montrer des parcours alternatifs.

Avant, ils faisaient peut-être plein d’écrans sur leur outil de design favori. La puissance du code exécuté est indéniable, il faut en profiter à chaque occasion, tout en gardant à l’esprit que ce n’est pas le même niveau que du code de production.

Hannah Clark : Autre sujet : ces outils vont inévitablement s’améliorer, et nous aussi dans notre façon de les utiliser. Du coup, on tend vers un coût de développement qui s’approche de zéro.

En tant que responsable produit, qu’est-ce qui t’inquiète dans cette tendance et comment faites-vous chez Celigo pour y remédier ?

Matt Graney : Hannah, c’est vraiment un super modèle mental, c’est un vrai exercice intellectuel : que se passe-t-il si le coût de développement tend vers zéro ?

Peut-être qu’on y arrive vite avec la vitesse d’évolution des outils, la montée en compétence des utilisateurs. On voit la même chose avec ChatGPT, par exemple. On peut alors s’attendre à une baisse radicale des coûts, ça devient presque gratuit de construire.

Mais paradoxalement, cela met encore plus la pression sur les PM pour construire la bonne chose. Ça ne nous dispense pas des bonnes pratiques : analytics produit, recherche utilisateur quantitative et qualitative, entretiens clients, conseils de clients, etc. Preuves de concept, AB tests, partenariat étroit entre PM, design et technique… rien de tout cela ne disparaît.

Il faut s’en méfier, sinon — pour rester avec Halloween — on se retrouve avec des projets zombies, faciles à développer mais qui ne vont nulle part, qui encombrent le produit sans réellement aboutir. Les vieilles disciplines de gestion produit reviennent en force : il faut savoir décider, conduire les bons résultats, tout cela reste indispensable.

Hannah Clark : Je partage ce point de vue. Sur le sujet des idées mal avisées : je vois une explosion d’outils inonder le marché, qui semblent offrir des bénéfices magiques mais cachent d’énormes risques — ou même les affichent sans fard ! J’ai vu des concepts tellement abusés qu’ils ouvrent la porte à des dérives dont on ne veut absolument pas.

Quelles sont les choses que tu vois en ce moment dans le domaine qui t’inquiètent, et quel rôle tient encore le jugement produit — ce que l’IA ne peut pas remplacer ?

Matt Graney : On cherche toujours une boule de cristal du produit, quelle que soit la méthode de scoring, comme RICE.

J’ai aussi vu ces méthodes contournées. Elles laissent une grande latitude aux PM pour influencer les scores, et il ne faut pas longtemps pour comprendre comment faire pencher la balance en sa faveur. Même chose ici.

Certains outils promettent d’agréger toutes les données, toutes les conversations… Mais chacun sait qu’il y a énormément d’évènements hors cadre, des observations qui proviennent parfois d’un replay de session, mais qui ne sont pas écrites sous une forme que les LLM comprennent.

Donc il n’y a pas de substitut au jugement produit sain. Même si on a plus de données, ce sont des données incomplètes. Il faut une vision, une stratégie — et, oui, en gestion produit, il faut prendre des paris, accepter de mesurer les résultats, si on fait du bon travail.

Mais ça reste un processus itératif ; il n’y a pas de réponse magique où l’IA sort une roadmap infaillible !

Hannah Clark : Je suis d’accord. J’ai évoqué un concept récemment avec un futur invité : l’IA est une « technologie irrégulière », il y a des points où elle excelle, mais d’autres où elle semble performante sans vraiment l’être.

C’est donc une question de sens du produit, mais aussi de connaissance technologique suffisante pour rester lucide sur ce qu’on utilise vraiment, et sur ce qu’on délègue peut-être excessivement aux LLM.

Matt Graney : Même avec des interfaces de chat basiques, on a vu des IA très complaisantes. Si on n’y prend pas garde, on pourrait croire qu’on a toujours de bonnes idées !

J’aime bien, sur le plan personnel, demander une analyse très critique à mon IA pour tester mes idées, autrement, j’ai toujours l’impression d’être un génie lorsque je la consulte.

Hannah Clark : Eh oui, ces IA nous adorent ! En parlant d’autres raccourcis séduisants mais peu viables, quels sont les pires travers que tu vois dans les équipes produits aujourd’hui ?

Matt Graney : Un de mes préférés, ce sont les OKR. On a une relation compliquée avec cela : à l’échelle de l’entreprise, ce n’est pas trop mal, mais en produit c’est parfois difficile. C’est ce qui arrive quand on cherche à importer quelque chose tout droit d’un grand nom — un FANG — sans le reste de la culture. On ne peut pas greffer un nouveau membre comme Frankenstein : sans culture adaptée, ça ne prend pas.

On a aussi le « festival des métriques », des métriques de vanité qui n’apportent rien. Cela existe depuis longtemps. On parle aussi de « feature factories » ou maintenant de « feature farming » à grande échelle, car notre capacité de production augmente. Il faut donc s’assurer qu’on produit la bonne chose. Tous ces raccourcis, ces solutions miracles lues sur X ou LinkedIn, sans rigueur, minent la confiance.

Hannah Clark : Sur la thématique de la confiance, j’ai tout de suite en tête la recherche UX. Les UX researchers sont souvent les laissés-pour-compte du processus produit, mais aujourd’hui les LLM brouillent encore plus la façon de conduire correctement ce travail, et le vrai rôle de l’IA dans ce domaine.

C’est une chose sur laquelle j’aimerais insister : on ne peut pas remplacer la recherche utilisateur par un LLM !

Matt Graney : Notre responsable de la recherche utilisateur m’a dit la même chose : les transcriptions IA sont bien, mot à mot, mais les analyses manquent de subtilité, du moins pour l’instant. Ça changera peut-être.

Les technologies progressent, mais pour l’instant il faut bien connaître leurs limites, et s’en prémunir avec l’artisanat de la recherche utilisateur.

Hannah Clark : Autre sujet : l’expérience de scaling d’équipe. Tu l’as fait chez Celigo — de deux PM à dix fois plus. Beaucoup d’expérience sur la mise en place de process. Tu as dû faire des erreurs : quels sont pour toi les enseignements majeurs pour faire grandir une équipe d’une petite structure à plus grande maturité ? Qu’est-ce qui reste vrai même à l’ère de l’IA ?

Matt Graney : Oui, ça a été toute une aventure, comme tu le dis, Hannah.

Quand j’ai rejoint l’entreprise, j’avais deux PM et deux rédacteurs techniques, donc équipe de quatre. On est aujourd’hui à 45-50, avec PMs, designers, chercheurs, documentation technique et opérations produit. Ce que j’ai appris, c’est surtout l’ordre dans lequel faire les choses.

Au début, tout était simple, directement avec le CTO, trois autour d’une table pour prioriser tout le backlog ! Mais ça ne tient pas dans la durée, surtout avec des équipes offshore produit comme technique.

On a ajouté du process au fur et à mesure. Au départ, le design se faisait avec les moyens du bord, des PM qui assemblaient des captures d’écran façon « lettre de rançon ». Presque honteux ! Puis, avec nos premiers designers pros, on a un peu raté le coche : on considérait le design comme une agence pour rendre joli, sans se pencher sur l’expérience utilisateur. La documentation a toujours été sérieuse, et s’est perfectionnée avec le temps. On a ajouté du process selon les besoins. On est loin d’être parfaits, et parfois il manque des rituels, mais globalement, ça fonctionne pour nous. On fait du sur-mesure pour répondre aux besoins du business, offrir de l’espace pour évoluer à chacun. Ça reste un sacré chemin, et il y a eu des premières fois… et quelques cheveux gris pour en témoigner !

Hannah Clark : Ah oui ? Où donc ?

Matt Graney : Je blâmerai mes enfants, tiens !

Hannah Clark : Oui, c’est pratique. Pour finir, toujours en lien avec ce qu’on disait, quels sont, selon toi, les fondamentaux de la gestion produit qu’il faut plus que jamais mettre en avant, même s’ils paraissent old-school ? Des concepts, frameworks ou méthodes que tu utilises toujours ou mets plus que jamais en avant à l’ère de l’IA ?

Matt Graney : Comme je le disais, quand le coût de développement tend vers zéro, il faut encore plus prioriser. Les outils de priorisation sont clés.

Il faut aligner tout le monde sur la vision et la stratégie pour que chacun puisse décider localement. Aucun substitut au contact direct avec l’utilisateur, avec le client. J’ai appris ça dans mes jeunes années, à gérer des clients mécontents, à les récupérer au bord de la crise ; cela donne une connaissance directe du produit, utile pour bien prioriser. La capacité à refuser, à couper, à prioriser, c’est fondamental. Même dans les grandes entreprises, on n’a jamais assez de ressources — tous les PM connaissent ce problème. Donc, toutes les méthodes classiques restent valables. Là où l’IA aide, c’est pour analyser une montagne d’informations, très utile en recherche, ou pour du prototypage rapide. Mais il ne faut pas oublier que les prototypes étaient à l’origine faits pour être jetés ! Pas pour passer en prod. Utilisés à bon escient, ces outils accélèrent notre travail et nous aident à prioriser.

Hannah Clark : Très vrai. Pour finir sur une note positive, où vois-tu les meilleures opportunités pour l’IA d’améliorer le métier de PM ? Et quel conseil donnerais-tu aux leaders qui veulent adopter l’IA sans tomber dans ces pièges dont on a parlé ?

Matt Graney : Un domaine majeur, c’est la recherche. Avoir accès à la concurrence pour un PM aujourd’hui, c’est un outil que j’aurais aimé avoir. Les éditeurs sont bien plus transparents qu’avant, beaucoup de docs produits sont disponibles en ligne, mais il faut vraiment chercher. C’est énorme. Bien sûr, la génération de doc, presse releases ou FAQ, paraissait fastidieuse auparavant, maintenant c’est idéal pour démarrer. Il faut se servir de l’IA pour élargir son imagination, explorer ce qu’on n’aurait pas envisagé. Quand on la sollicite bien, elle identifie des angles morts, et même si elle peut « halluciner », on en retire parfois des idées ou des raisonnements inattendus. Mais c’est aussi un miroir déformant : mal utilisée ou sans rigueur, elle empire la situation. Mais bien faite, elle donne le focus nécessaire au PM.

Hannah Clark : Je partage ce point de vue. Merci beaucoup Matt pour tous tes éclairages et ce grand recul sur ce qu’on voit dans le secteur.

C’était passionnant. Où peut-on te suivre ?

Matt Graney : Le plus simple, c’est LinkedIn. J’y suis beaucoup, donc ravi d’échanger !

Hannah Clark : Super, merci beaucoup !

Prochainement dans The Product Manager Podcast : si vous pensiez qu’on allait déjà loin sur les attentes vs la réalité, le prochain épisode plongera dans la technologie des LLM avec une discussion qui remettra en cause tout ce que vous pensez savoir sur l’IA.

Le potentiel est illimité, mais les limites actuelles sont bien plus complexes que nous l’imaginons, tout comme les impacts sur nous, en tant que concepteurs et utilisateurs de produits IA. Un épisode à ne pas manquer, abonnez-vous pour nous rejoindre la prochaine fois !