Surpromettons-nous et ne tenons-nous pas nos promesses concernant l’IA ?

Hannah Clark : L’innovation est cumulative — et par là, je veux dire que les façons dont nous résolvons des problèmes aujourd’hui ne pourraient pas être efficaces sans les façons dont nous les avons résolus auparavant. Et même si de nos jours, le terme « données d’entraînement » est généralement utilisé dans le contexte du développement de l’IA, il ne faut pas oublier que les utilisateurs sont aussi des consommateurs et des détenteurs d’énormes quantités de données d’entraînement accumulées au fil des années passées à découvrir et adopter chaque logiciel qu’ils ont jamais utilisé. Donc, alors que nous nous concentrons sur des cas d’usage et de nouvelles fonctionnalités pour nos propres produits IA, les utilisateurs suivent un autre schéma. Ils agissent avec des préférences, des habitudes, et surtout, des attentes qu’ils ont absorbées depuis la toute première fois qu’ils ont ouvert un navigateur web.

Mon invité aujourd’hui est Dhruv Batra, cofondateur et Chief Scientist chez Yutori. Comme vous allez l’entendre, l’expérience de Dhruv dans la recherche, le développement, la formation et la direction en IA s’étend sur plus de 20 ans. Vous pouvez donc imaginer qu’il possède des perspectives fascinantes sur la technologie, bien plus que nous ne pourrions en couvrir pendant un seul épisode. Gardez cela à l’esprit lorsque j’ai demandé à Dhruv ce qu’il aimerait le plus communiquer aux responsables produit : il n’a pas hésité. Il m’a dit que les capacités de l’IA sont extrêmement hétérogènes. Et vous allez découvrir exactement ce que cela signifie pour vos utilisateurs, pour votre organisation et pour l’avenir proche des produits. Allons-y.

Au fait, nous tenons ce genre de conversations chaque semaine, donc si cela vous intéresse, pourquoi ne pas vous abonner ? Très bien, lançons-nous.

Bienvenue à nouveau sur le podcast The Product Manager. Je suis aujourd’hui avec Dhruv Batra, qui est le cofondateur et Chief Scientist chez Yutori.

Dhruv, merci beaucoup de nous rejoindre aujourd’hui.

Dhruv Batra : Avec plaisir. Merci de m’avoir invité, Hannah.

Hannah Clark : Commençons donc avec un peu d’informations sur votre parcours. Pouvez-vous nous parler un peu de votre arrière-plan et comment votre parcours en recherche IA, du deep learning à la révolution générative d’aujourd’hui, a façonné votre regard sur l’état actuel de cette technologie ?

Dhruv Batra : Je suis chercheur en IA. Cela fait presque 20 ans que je travaille dans ce domaine. Aujourd’hui, la discussion sur la recherche en IA débute souvent autour de la révolution ChatGPT de 2022. J’ai intégré le secteur en 2005, avant la dernière époque du deep learning. J’ai obtenu mon doctorat à CMU, en travaillant sur des problèmes fondamentaux d’apprentissage automatique appliqués à la vision par ordinateur, comme la détection d’objets dans des images.

Au fil des années, j’ai construit des chatbots, les premiers systèmes capables de répondre à des questions sur des images, de tenir un dialogue sur celles-ci. J’ai été professeur à Georgia Tech pendant de nombreuses années, où j’ai créé le cours de deep learning. J’ai également passé huit ans chez Meta comme directeur principal à la tête de FAIR Embodied AI, la division de recherche fondamentale en IA de Meta.

L’Embodied AI concerne la robotique et les lunettes intelligentes. Par exemple, une de mes équipes chez Meta a construit la première version d’un modèle de questions-réponses sur images, intégré comme assistant multimodal sur la première version des lunettes RayBan Meta. D’autres de mes équipes ont développé le simulateur 3D le plus rapide au monde pour entraîner des robots virtuels en simulation avant leur déploiement sur le robot Boston Dynamics.

J’ai ainsi vu l’éventail allant de la vision par ordinateur à la robotique et je reste fasciné par l’intelligence et la construction de systèmes intelligents, ce qui m’a amené aujourd’hui à Yutori.

Hannah Clark : Il est clair que vous êtes très qualifié pour parler de ce sujet, qui intéresse toutes celles et tous ceux qui cherchent à en savoir plus. Je suis vraiment ravie du thème d’aujourd’hui car nous allons examiner de près le décalage entre attentes et réalité concernant l’état de la technologie IA actuelle, et je pense qu’il faut justement avoir un certain bagage pour s’exprimer rigoureusement sur ces questions.

Nous allons regarder cela sous trois angles : côté utilisateur, côté business, et côté technologique. Commençons par les utilisateurs. Évidemment, nous sommes actuellement au cœur d’un énorme cycle de hype autour de l’IA, mais les utilisateurs font parfois l’expérience de résultats extrêmement incohérents selon les outils et cas d’usage choisis.

Qu’est-ce qui, selon vous, explique aujourd’hui l’écart entre ce que les utilisateurs attendent de l’IA et ce qu’elle peut réellement offrir ?

Dhruv Batra : C’est une excellente question. Cela touche à un problème fondamental, non seulement pour la construction de produits mais aussi pour la recherche sur l’IA, et cela renvoie à ce que l’on appelle la nature hétérogène de l’intelligence.

Comme souvent sur ces sujets, il existe une célèbre BD XKCD où un chef de produit demande à un ingénieur : « Peux-tu me construire une appli ? À chaque fois qu’un utilisateur prend une photo, je veux savoir si elle a été prise dans un parc national. » Et l’ingénieur répond : « Bien sûr, c’est juste une requête GPS dans une base de données, quelques heures suffiront. » Puis le chef de produit ajoute : « Dis-moi si la photo est celle d’un oiseau. » Et l’ingénieur rétorque : « Là, il me faut une équipe de recherche, 50 millions de dollars, cinq ans, et peut-être qu’on pourra répondre. » Le cas précis n’est plus d’actualité – la vision par ordinateur a progressé et détecter des espèces d’oiseaux ou de chiens est aujourd’hui un problème résolu – mais le propos montre qu’on passe d’un problème trivial à un problème extrêmement difficile de façon très abrupte. Et cette brutalité, il est difficile pour les gens de la conceptualiser ou de la prévoir.

Ce n’est pas propre aux utilisateurs de technologies. Cela concerne aussi les créateurs et les chercheurs en IA. Ce n’est pas le diplôme qui compte, mais le temps passé à construire cette technologie : chaque chercheur développe sa vision mentale de ce que les machines peuvent ou ne peuvent pas faire.

De nos jours par exemple, on plaisante sur les chatbots capables de répondre à des problèmes d’examens internationaux de mathématiques, tout en commettant des erreurs qu’aucun humain ne ferait, comme dire que 9,11 est supérieur à 9,9. Voilà typiquement le genre d’erreurs que commettent les chatbots. Alors, d’où cela vient-il et où cela nous mène-t-il ?

Cela s’explique par plusieurs raisons. Nous construisons des systèmes intelligents situés différemment dans le paysage de l’intelligence, et les humains abordent ces systèmes avec leur expérience humaine, acquise avec d’autres humains.

Quand je parle à une personne, elle me dit avoir été au lycée, à l’université, ou avoir un doctorat ; selon elle, j’attends certains niveaux de compétence. Si quelqu’un me dit avoir un doctorat en chimie, je ne m’attends pas à ce qu’il fasse une erreur comme 9,11 supérieur à 9,9. Je m’attends à un certain niveau en mathématiques, d’information générale, etc. Ces attentes ne s’appliquent plus face à l’IA, car nous ne pouvons pas nous reposer sur ces présupposés partagés. Les performances sur une tâche donnée exigent un entraînement spécifique à cette tâche.

Même si nous avons bâti ces dernières années des systèmes généralistes, la généralité désigne une chose très précise, ce qui complique la formation de modèles mentaux pour les utilisateurs. Il en résulte peut-être une expérience frustrante : on arrive sur un produit qui déclare pouvoir faire beaucoup de choses, on le teste sur la promesse du site, et parfois ça marche, parfois même une variation minime échoue. Cela peut vraiment frustrer.

Hannah Clark : Absolument. Et c’est un comportement totalement nouveau pour les consommateurs. Nous avons été formés sur des fonctionnalités très spécifiques, très intuitives, très faciles ; les gens utilisent donc leurs réflexes d’interactions humaines pour une fonctionnalité encore peu définie, sans vraiment comprendre les limites dans différents « domaines de compétence ». Technologie complexe à apprivoiser collectivement ! Si on évoque des tâches quotidiennes que l’IA pourrait automatiser comme la réservation de voyages ou la gestion d’agendas, qu’est-ce qui rend ces tâches plus difficiles à résoudre qu’on ne le pense ?

Dhruv Batra : Je vais prendre l’exemple de ce que nous faisons chez Yutori. Nous construisons des assistants personnels qui automatisent des tâches répétitives sur le web. Notre premier produit s’appelle Scouts : c’est une équipe d’agents qui surveillent pour vous n’importe quoi sur le web. Il était très important de clarifier dès le départ : ce produit surveille des informations, mais ne peut pas réserver, acheter, créer des slides, faire vos devoirs ou programmer pour vous. Il ne fait pas tout ce qu’un navigateur permet, mais il peut, pour un utilisateur individuel, signaler la venue d’un artiste préféré dans sa ville (l’info pouvant être diffusée sur plusieurs sites). Au lieu d’aller vérifier manuellement sur ces sites, vous pouvez demander à l’agent de le faire à la fréquence voulue. Pareil pour une réservation qui demande de remplir un léger formulaire et cliquer sur quelques boutons : l’agent prend le relais et vous informe des disponibilités. Un recruteur, lui, peut suivre l’évolution de postes chez certaines personnes et recevoir une alerte qu’importe si le changement est annoncé sur X, LinkedIn ou un blog.

Pourquoi est-ce difficile ? Cela semble trivial : un humain sait ouvrir un navigateur, aller sur une page, remplir un formulaire… Mais fondamentalement, il s’agit de problèmes de décision séquentielle. On se trouve à un état (sur une page web), il faut poser plusieurs actions ; or les sites sont pensés pour les humains et le code HTML est très variable dans son annotation des boutons selon les sites. C’est donc d’abord un problème de perception : cliquer sur un bouton, lire la page, entrer des données, faire défiler… La moindre erreur se répercute et les erreurs précoces causent des échecs ultérieurs.

La robotique et la conduite autonome connaissent exactement ce type de problème : une faute d’un robot se propage et empire sa situation ; s’il s’écarte d’une voie, il doit corriger sa trajectoire. Nos agents d’automatisation de navigateur, s’ils aboutissent dans une zone d’une page web bloquée ou non prévue, ne trouveront pas la réponse. Il faut donc apprendre à se rétablir d’une erreur dans de tels environnements. Il existe aussi des tâches lecture seule versus écriture : remplir puis valider un formulaire peut devenir irréversible sur certains sites. Or, apprendre à éviter les erreurs irréparables exige des répliques du monde réel. En robotique, cela se traduit par des simulateurs 3D pour entraîner des robots virtuels avant le déploiement. Nous faisons la même chose pour entraîner nos agents de navigateurs web.

Autre complexité : parfois il est difficile de savoir, après l’exécution de la tâche, quelle action a contribué à la réussite ou à l’échec, ce qu’on appelle le « problème d’attribution du crédit ».

Hannah Clark : Toutes ces tâches, que nous effectuons machinalement, paraissent simples pour un humain, mais sont bien plus complexes techniquement. Et cela ne tient même pas compte des préférences personnelles, comme l’heure ou l’emplacement d’une réservation — des éléments impossibles à coder exhaustivement.

Dhruv Batra : Voici un petit exemple pour illustrer ce propos. Les humains sont habitués à certains motifs de design. Par exemple, lors d’une réservation en ligne, si une date ou un créneau est grisé ou barré, on comprend que ce n’est pas disponible, même sans texte explicite. On l’a intégré après s’être souvent confronté à ce motif sur le web ou ailleurs. Mais comment une machine l’intègre-t-elle ? Elle a beau avoir lu beaucoup de textes, il lui faut aussi interagir avec les sites pour assimiler qu’un texte grisé a un sens. Voilà le genre de motifs pensés pour les humains que la machine doit apprendre : cliquer sur tel bouton n’aura aucun effet, même sans texte explicite — il faut l’avoir deviné !

Hannah Clark : C’est passionnant. Cela me rappelle une conversation passée avec Nimrod Priell, fondateur de Cord. Nous avions parlé de l’évolution des comportements utilisateurs et comment les changements progressifs dans notre compréhension des éléments UX et du design des sites constituent aujourd’hui un acquis collectif. C’est une sorte de langage partagé, résultat de nombreuses années de progrès technologique, très difficile à transmettre à une machine. Je trouve ce domaine passionnant et j’aimerais creuser davantage la question du comportement utilisateur. Donc, dans ce prolongement, quels sont les changements que les responsables produit doivent anticiper dans la façon dont les gens interagissent avec la technologie à court terme ?

Dhruv Batra : L’arrivée des produits IA sur le marché grand public a assurément fait évoluer les attentes. Il y a aujourd’hui des enfants qui grandissent en s’attendant tout simplement à pouvoir parler aux machines.

C’est un trope classique de science-fiction : un enfant habitué à des technologies avancées s’étonne devant un appareil ancien — « Pourquoi je ne peux pas parler à ma télévision ? » Nous sommes en train de voir ce changement d’attente dans les comportements, les utilisateurs veulent désormais pouvoir s’exprimer, parler à leur machine, attendre d’elle des capacités généralistes, une mémorisation de leur historique d’usage.

C’est précisément ce qui a motivé notre vision chez Yutori : percevoir l’évolution du web depuis 30 ans comme une succession d’avancées autour du même cœur — connecter contenus et services aux humains. Le web a été conçue pour les humains, car seuls eux étaient destinés à naviguer dessus. Aujourd’hui, les gens veulent que la machine fasse ce qu’ils voudraient faire avec l’ordinateur et le navigateur.

Pourquoi devrais-je, en tant qu’utilisateur, remplir moi-même mes informations, mon adresse, mon numéro de carte, pour acheter ou accéder à une donnée ? Cela devrait pouvoir s’automatiser ! C’est bien ce changement que nous constatons : cette idée que l’assistant doit prendre le relais dès qu’on le demande. La prochaine étape : si on vous informe que votre artiste préféré se produit vendredi, pourquoi ne pas acheter aussi le billet automatiquement ? Pourquoi perdre du temps à remplir des formulaires ? On observe donc une évolution des attentes vers une abstraction plus haute, avec l’attente que le logiciel automatise les tâches ennuyeuses, jusqu’à devenir une sorte de to-do liste suralimentée. Cela amènera une notion de proactivité : il ne suffira plus de mémoriser les préférences, il faudra que le système agisse de son propre chef, sans devoir tout expliquer à chaque fois. À terme, tout le monde aura l’équivalent d’un assistant ou d’un chef de cabinet renforcé.

Hannah Clark : On voit bien le lien avec des technologies déjà connues : pensez par exemple à la « for you page » de TikTok qui apprend vos préférences, adapte le contenu… Et nous transférons cette logique aux outils qui connaissent de plus en plus nos habitudes. Globalement, notre paysage technologique façonne des attentes dont il faut tenir compte pour anticiper ce que les consommateurs exigeront — excellent pont vers la dimension business.

Donc aujourd’hui, sans surprise, on observe une ruée des entreprises vers le marché de l’IA avec des produits et des fonctionnalités se voulant révolutionnaires, avec des résultats variables. Selon vous, quelles erreurs majeures commettent les équipes produit lorsqu’elles conçoivent et positionnent leurs fonctionnalités IA ?

Dhruv Batra : On retrouve ici la question de l’hétérogénéité de l’intelligence. Il faut être très prudent dans les promesses faites, car vous ne pourrez pas tout livrer au premier jour. En même temps, les utilisateurs attendent de la généralité : ChatGPT répond à tout, alors pourquoi pas votre agent ? Il existe donc un piège : concevoir une approche d’entrée par zone de texte sans guider l’utilisateur, promettre la lune — résultat : frustration assurée car l’utilisateur sera face à un canevas blanc. S’il n’est pas bien calibré, il va demander des choses que l’agent ne saura pas faire, et il sera déçu.

Pour notre premier produit, nous avons circonscrit un périmètre de capacités très précis : Scouts surveille tout ce qui est accessible sur le web pour vous, mais ne se connecte pas à des services, n’effectue pas d’actions directes ni d’écriture, c’est un suivi lecture seule. Par contre, il ne s’agit pas d’un outil limité à la surveillance de prix Amazon ou d’événements Ticketmaster — tout contenu numérique accessible sur le web, que vous pouvez voir vous-même, peut être surveillé. Demandez-le en langage naturel et définissez la fréquence voulue, vous recevrez un email à chaque événement.

L’enjeu était d’offrir cette capacité sans erreur irréversible : s’il fallait prendre une décision d’achat à la place de l’utilisateur, la moindre erreur serait fatale. Nous avons donc choisi de débuter par une fonctionnalité lecture seule, puis, une fois la confiance établie, l’utilisateur attendra naturellement plus. Surveiller l’arrivée d’un artiste mène naturellement à acheter un billet, surveiller une réservation à la réserver, suivre un candidat à rédiger un mail de contact, etc. Notre règle de prudence est donc l’hétérogénéité de l’intelligence : certaines tâches sont à notre portée, d’autres pas, et les tâches où l’apprentissage par l’erreur ne coûte pas cher sont à privilégier en premier, avant de monter en complexité.

Hannah Clark : Ce sont des paroles très sages. Je constate souvent que l’on crée beaucoup de frustration en ne rendant pas visibles les limitations du système. L’utilisateur, face à un chatbot, interagira comme avec un agent humain, ce qui peut générer beaucoup de frustration et de défiance envers la technologie.

Dhruv Batra : Et si l’utilisateur ne trouve pas la valeur promise, il vivra une expérience sous-optimale, puis cessera d’utiliser le service.

Hannah Clark : Oui. Plongeons plus précisément sur ce point : la confiance est essentielle. Comment instaurer cette confiance sans promettre des capacités que l’on ne peut pas tenir ?

Dhruv Batra : Cela rejoint la question précédente. Les gens veulent voir la valeur avant de donner accès à leurs identifiants ou informations sensibles comme une carte bancaire. Certains apps proposent d’accéder à votre agenda, à vos emails, à d’autres services dès leur première utilisation, mais c’est une prise de risque immense : imaginez-vous céder votre email professionnel ou votre carte bancaire à une appli sans en connaître la valeur ?

D’où notre démarche : pas d’authentification au départ, pas d’écriture, pas de modification d’état du monde, juste de la lecture passive. Cela veut dire que l’IA ne promet pas 100 % de précision, mais qu’on peut refaire la tentative si une erreur se produit. En lecture seule, c’est faisable ; en écriture, l’erreur peut être irréversible. C’est cette progression étape par étape qui construit la confiance avec nos utilisateurs.

Hannah Clark : Cela me rappelle une anecdote : une amie venue du Brésil au Canada était persuadée que tout y était sûr, puis, dès sa première semaine, il y a eu un vol dans sa rue et elle a immédiatement changé d’avis. C’est la même question de…

Dhruv Batra : Rapidité à générer de la valeur,

Hannah Clark : Rapidité à émerveiller, rapidité à délivrer, mais aussi fragilité de la confiance lors de la première expérience. Un simple incident peut miner cette confiance de fondation.

Ouverture technologique maintenant. De votre point de vue de chercheur, quels problèmes considérez-vous comme résolus aujourd’hui, et lesquels sont encore à l’horizon immédiat ou toujours « à quelques années » (ce qui peut bien sûr changer) ?

Dhruv Batra : Le cas auquel je pense, parce qu’il me tient à cœur, est celui des questions-réponses sur images. J’étais la semaine dernière à la conférence ICCV (Computer Vision). Mes collègues et moi avons reçu le prix Mark Everingham pour le travail mené il y a dix ans : Visual Question Answering. Nous avons introduit un jeu de données, une tâche, un benchmark et une série de méthodes pour créer les premiers agents capables de répondre à n’importe quelle question sur n’importe quelle image naturelle.

Depuis dix ans, nous avons observé les progrès via des compétitions annuelles ; nous avons cessé en 2021 car on atteignait finalement l’accord humain-machine sur le jeu de données initial. En 2015, les résultats étaient encore mauvais ; en 2021, on a atteint la performance humaine. Durant cette décennie, j’ai également dirigé chez FAIR la création de méthodes modernes déployées sur les lunettes RayBan Meta, où l’on peut invoquer un assistant pour qu’il analyse une photo d’un monument. C’est une boucle bouclée avec la situation d’il y a dix ans.

Au départ, d’innombrables problèmes restaient ouverts : la lecture de texte dans la nature, par exemple (que disent les panneaux ?) : la plupart des méthodes n’utilisaient pas d’OCR, donc n’arrivaient pas à lire le texte… Elles répondaient par des probabilités usuelles (« les panneaux disent souvent stop ou go »), ou dans le cas de bananes : si on demandait la couleur d’une banane sur une image, le modèle répondait jaune par défaut, car la plupart des bananes sont jaunes dans les jeux d’entraînement, alors que l’image pouvait montrer une banane verte. Pour les dialogues, la coréférence était aussi problématique (« Y a-t-il une personne ? Oui. Que fait-elle ? » — le modèle ne savait pas que « elle » désignait la personne précédemment identifiée). Aujourd’hui, ces problèmes sont considérés comme résolus. Mais il en reste beaucoup d’autres non résolus, comme le comptage d’objets dans une image. Demandez à un chatbot de compter plus de 10 personnes dans une foule : la réponse sera hasardeuse. Interroger la compréhension spatiale 3D — demander quels objets sont les plus grands dans une scène —, la plupart des chatbots évaluent seulement la taille en pixels, car ils n’ont pas la notion de profondeur.

Autre point crucial pour les agents IA (par exemple les agents web) : la dérive au fil du temps. Chez Yutori, nos agents surveillent certains sujets sur le web pendant des mois. Au fil du temps, il y a une dérive : l’agent finit par suivre quelque chose de légèrement différent que la commande initiale. On ne sait pas encore bien récompenser ou corriger ces erreurs sur de très longues séquences d’action.

Hannah Clark : C’est un point intéressant : comment indiquer à l’agent qu’il a agi correctement ? Si on obtient le bon résultat, on passe à la suite sans feedback positif précis. C’est donc une question de boucles de rétroaction pour la technologie. Faut-il adopter un comportement spécifique pour améliorer les modèles ou est-ce un autre vaste sujet ?

Dhruv Batra : En interne, nous évaluons plusieurs niveaux de rétroaction. Pour les agents de navigation web, nous annotons manuellement chaque clic : était-ce la bonne action ou non à ce moment donné ? Mais c’est trop bas niveau et trop bruité. Parfois, il y a plusieurs manières de réussir une tâche. Après coup, pour une tâche donnée (par exemple savoir si une réservation à 18h30 est disponible), ce qui compte c’est la preuve finale : s’il y a un screenshot, nous pouvons vérifier objectivement.

On construit ainsi notre évaluation. Par ailleurs, côté utilisateur, nous proposons toujours des retours type « pouce en haut/pouce en bas » dans nos emails. Cela va ensuite vers la personnalisation. Parfois, il n’y a pas de bonne ou mauvaise réponse, juste des préférences — par exemple, vouloir moins d’actus d’un genre donné. Idéalement, on exprime ces préférences en langage naturel. Il faut donc intégrer dans les produits la capacité d’écouter ce feedback libre et d’en tenir compte à l’avenir.

Hannah Clark : Je réfléchis à la façon dont les utilisateurs évaluent la sortie d’un ChatGPT sous l’angle d’un service plus qu’en tant que technologie. Par exemple, deux collègues peuvent demander un plan de repas, recevoir la même réponse, et l’un sera satisfait (car le prompt était respecté), l’autre non (car les macros ne conviennent pas). C’est donc extrêmement subjectif, et la catégorisation du feedback s’avère beaucoup plus nuancée, ce qui complique le traitement des données de retour.

Dhruv Batra : Les méthodes d’AB testing traditionnelles (diviser les utilisateurs, comparer des variantes) ne s’appliquent pas toujours, notamment pour les workflows impliquant l’achat ou l’exécution d’une tâche : on ne va pas refaire la procédure deux fois pour un simple test. De plus, le système classique « pouce en haut/pouce en bas » manque de nuances. Donner la capacité à l’utilisateur de surligner une partie d’une réponse, de dire « pas ça », ou d’être plus éditorial dans son retour serait plus proche d’une relecture collaborative sur Google Doc qu’un simple approbation/rejet.

Hannah Clark : Exactement, ce serait horrible de se contenter d’un « pouce en bas » sans précision : quelle partie ne va pas ?

Dhruv Batra : Oui, comme si un éditeur se contentait de dire « Non, corrigez » sans explication.

Hannah Clark : Même avec des outils offrant cette possibilité dans les LLMs, demander à l’utilisateur une telle implication reste beaucoup demander à qui souhaite juste que ça fonctionne. Il est déjà difficile d’obtenir une réponse à un simple sondage, même avec récompense. C’est une tâche de co-auteur exigeante.

Ce que j’en retiens, c’est que nous devons revoir nos attentes à la baisse…

Dhruv Batra : L’utilisateur doit ressentir que son feedback va personnaliser l’assistant selon ses besoins. Ce n’est pas son rôle de devenir votre testeur qualité, mais, en tant qu’assistant, tout feedback devient un investissement dans la personnalisation à ses préférences. C’est la bonne dynamique pour encourager les retours utilisateur.

Hannah Clark : Je remarque effectivement que je suis plus patiente avec un modèle explicite dans l’apprentissage de mes préférences… Dès qu’il pose des questions, cela me pousse à préciser, et me prépare à l’éventualité d’un échec si je ne suis pas claire. C’est une méditation utile pour créer des produits nécessitant ce « va-et-vient » afin d’obtenir le résultat désiré.

Dhruv Batra : Là encore, il s’agit de gravir l’escalier de la confiance.

Si la première chose demandée à l’utilisateur pour découvrir votre produit, c’est un questionnaire en 20 questions, il cherchera surtout le plaisir rapide et une idée des possibilités : la progression dans la découverte doit être graduelle, puis, au fil de la valeur perçue, il sera prêt à préciser ses attentes ou préférences.

Hannah Clark : J’aimerais savoir, pourquoi maintenant ? Pourquoi démarrer Yutori à ce moment précis, qu’est-ce qui a changé pour que ce projet puisse exister aujourd’hui alors que vous êtes dans le domaine depuis si longtemps ?

Dhruv Batra : J’ai sans doute un biais de rétrospective, mais j’estime que c’est un moment unique pour créer certains types de produits tirant parti de l’IA. J’ai fait de la robotique et j’aurais pu créer une start-up dans ce domaine, il n’en manque pas aujourd’hui, mais je pense que ce n’est pas encore le moment du grand public : les grandes percées en robotique restent pour plus tard. Les gens oublient : en 2004, DARPA lançait le Grand Challenge — faire conduire une voiture autonome d’un point A à un point B dans le désert. Aucun véhicule n’a terminé ce challenge la première année. J’étais à CMU en 2005, et cette année-là, les équipes universitaires y sont parvenues. Puis, années 2010, certains chercheurs de Stanford rejoignent Google — projet Waymo, puis, en 2023/2024, des applications accessibles aux consommateurs (à San Francisco notamment) voient le jour. Pourtant, près de 20 ans se sont écoulés entre le premier proto et l’application grand public, qui reste d’ailleurs limitée géographiquement.

C’est la grande différence entre matériel+IA et logiciel+IA : ce dernier évolue plus vite et, aujourd’hui, les systèmes IA savent dialoguer avec les gens, ont des connaissances générales, le web est « lisible » pour eux (disposition des pages, repérage des boutons, etc.), et enfin, l’ouverture récente des modèles open source a permis à de petits acteurs de se lancer. Il y a quelques années, monter une start-up d’agents web aurait imposé de réentraîner tout, avec des investissements énormes. Aujourd’hui, nous faisons du post-entraînement sur des modèles open source, par exemple pour l’automatisation web (remplir des formulaires, cliquer…). Cela n’était pas possible avant.

En résumé : il est inconcevable que les robots arrivent chez les particuliers avant les assistants numériques, car ceux-ci relèvent du 100% numérique, domaine où les cycles d'innovation sont plus courts. L’ensemble du « substrat » du développement des systèmes intelligents est aujourd’hui banalisé, permettant de se concentrer sur la dernière étape.

Hannah Clark : Très belle explication, et bravo pour l’utilisation du mot « substrat » ! Cette discussion était passionnante, il y aurait tant à approfondir… Où peut-on suivre vos travaux ?

Dhruv Batra : Je suis sur dhruvbatra.com pour mes travaux personnels. Sur yutori.com pour nos projets, et notre produit Scouts est à scouts.yutori.com.

Hannah Clark : Parfait, merci beaucoup Dhruv pour cette conversation.

Dhruv Batra : Merci à vous, c’était un plaisir.

Hannah Clark : Prochain épisode sur The Product Manager podcast : Diriger un produit à l’ère de l’IA, c’est résoudre d’anciens problèmes d’une manière totalement nouvelle. Des processus de développement aux tactiques de distribution, quasiment toutes les méthodes valables il y a un an sont déjà dépassées — ce que Rachel Wolan, CPO de Webflow, considère à la fois comme un défi et une opportunité.

Vous aurez enfin des réponses claires à des questions comme l’optimisation pour les moteurs de réponse, le build-versus-buy, et la bonne façon d’entrer sur le marché de l’IA. Abonnez-vous pour ne rien manquer.