Beloven we te veel en leveren we te weinig op het gebied van AI?

Hannah Clark: Innovatie is cumulatief—en daarmee bedoel ik dat de manieren waarop we problemen nu oplossen niet effectief zouden kunnen zijn zonder de manieren waarop we ze eerder hebben opgelost. En hoewel de woorden ‘trainingsdata’ tegenwoordig doorgaans worden gebruikt in de context van AI-ontwikkeling, is het de moeite waard om te onthouden dat gebruikers ook consumenten en beheerders zijn van enorme hoeveelheden trainingsdata uit jaren waarin ze elk stukje software dat ze ooit hebben gebruikt ontdekten en adopteerden. Dus terwijl wij druk bezig zijn met het obsessief onderzoeken van gebruiksscenario’s en nieuwe functies voor onze eigen AI-producten, volgen gebruikers een ander script. Ze werken met voorkeuren, gewoonten en vooral verwachtingen die ze hebben opgedaan vanaf het allereerste moment dat ze een webbrowser openden.

Mijn gast vandaag is Dhruv Batra, medeoprichter en Chief Scientist bij Yutori. Zoals je zo meteen zult horen, omvat Dhruvs ervaring in AI-onderzoek, ontwikkeling, training en leiderschap meer dan 20 jaar. Zoals je je kunt voorstellen, heeft hij fascinerendere inzichten in de technologie dan we mogelijk in één aflevering kunnen behandelen. Met dat in gedachten vroeg ik Dhruv wat hij het liefst aan productleiders wilde meegeven. Hij aarzelde niet. Hij vertelde me dat AI-mogelijkheden extreem grillig zijn. En je gaat precies horen wat dat betekent voor je gebruikers, je organisatie en de nabije toekomst van productontwikkeling. Laten we beginnen.

Oh, trouwens, we voeren elke week gesprekken zoals dit, dus als dit je interessant lijkt, waarom abonneer je je dan niet? Goed, laten we beginnen.

Welkom terug bij de podcast The Product Manager. Ik ben hier vandaag met Dhruv Batra, medeoprichter en Chief Scientist bij Yutori.

Dhruv, heel erg bedankt dat je vandaag bij me bent.

Dhruv Batra: Natuurlijk. Bedankt dat je me hebt uitgenodigd, Hannah.

Hannah Clark: Laten we beginnen met wat achtergrondinformatie. Kun je iets vertellen over je achtergrond en hoe je reis door AI-onderzoek, van deep learning tot de huidige generatieve revolutie, je kijk heeft gevormd op waar we nu staan met deze technologie?

Dhruv Batra: Ik ben AI-onderzoeker. Ik zit inmiddels bijna 20 jaar in dit vakgebied. In moderne discussies lijkt AI-onderzoek te beginnen met de ChatGPT-revolutie van 2022. Ik begon in 2005, vóór het vorige tijdperk van deep learning. Ik heb aan CMU mijn PhD behaald, waar ik werkte aan fundamentele problemen in machine learning, toegepast op problemen in computer vision, zoals het detecteren van objecten in afbeeldingen.

In de loop der jaren heb ik chatbots gebouwd en de eerste systemen gebouwd die vragen over afbeeldingen konden beantwoorden en er een dialoog over konden voeren. Ik was jarenlang professor aan Georgia Tech. Ik heb de cursus deep learning opgezet. Ik heb ook acht jaar bij Meta gewerkt. Ik was senior director en leidde FAIR Embodied AI. FAIR is de afdeling voor fundamenteel AI-onderzoek van Meta.

Embodied AI is AI voor robotica en AI voor slimme brillen. Een van mijn teams bij Meta had de vroegste versie gebouwd van een model voor het beantwoorden van vragen over afbeeldingen, dat als multimodale assistent werd geleverd op de eerste versie van de Ray-Ban Meta-zonnebril. Andere teams van mij bouwden ‘s werelds snelste 3D-simulator voor het trainen van virtuele robots en simulatie, voordat we ze inzetten op de robot van Boston Dynamics.

Ik heb dus ongeveer het hele spectrum gezien: computer vision, chatbots en robotica. Ik ben gewoon gefascineerd door intelligentie en door het bouwen van intelligente systemen, en dat heeft me op mijn huidige reis naar Yutori gebracht.

Hannah Clark: Je bent duidelijk zeer gekwalificeerd om over dit onderwerp te spreken, iets waar volgens mij iedereen zo veel mogelijk over wil weten. Ik ben erg enthousiast over het onderwerp van vandaag, omdat we veel dieper gaan kijken naar verwachtingen versus realiteit als het gaat om de huidige stand van de AI-technologie. Ik heb het gevoel dat je over dit onderwerp en de vragen die ons echt bezighouden alleen goed kunt spreken als je over bepaalde kwalificaties beschikt.

We bekijken het vandaag vanuit drie invalshoeken: de gebruiker, het bedrijfsleven en de technologie van AI. Om te beginnen met de gebruiker: we zitten momenteel duidelijk midden in een enorme hypecyclus rond AI, maar gebruikers kunnen vaak zeer wisselende resultaten ervaren, afhankelijk van de tools en gebruiksscenario’s die ze nastreven.

Wat veroorzaakt volgens jou momenteel de kloof tussen wat mensen aan de gebruikerskant verwachten dat AI kan doen en wat AI daadwerkelijk kan leveren?

Dhruv Batra: Ik denk dat dat een geweldige vraag is. Het raakt aan een probleem dat centraal staat bij niet alleen het bouwen van producten, maar ook bij AI-onderzoek. Het gaat om wat vaak de grillige aard van intelligentie wordt genoemd.

Zoals bij veel van deze onderwerpen bestaat er een beroemde XKCD-strip waarin een figuur die lijkt op een productmanager een figuur die lijkt op een engineer vraagt: hé, kun je een app voor me bouwen? Elke keer dat iemand, een gebruiker, een foto maakt, wil ik weten of die foto in een nationaal park is genomen. De engineer antwoordt: zeker, dat klinkt als een eenvoudige op GPS gebaseerde zoekopdracht in een database.

Geef me een paar uur, dit moet haalbaar zijn. En dan luidt de volgende zin van de productmanager: laat me weten of de foto van een bord is. De reactie van de engineer is: ik heb een onderzoeksteam nodig, 50 miljoen dollar en vijf jaar, en misschien kunnen we die vraag beantwoorden. Het specifieke voorbeeld uit dat verhaal klopt inmiddels niet meer.

Computer vision heeft genoeg vooruitgang geboekt dat we het detecteren van vogel- of hondensoorten nu als een opgelost probleem beschouwen. Maar ik denk dat het punt dat de strip probeert te illustreren is dat er extreem scherpe overgangen bestaan van triviale problemen naar onmogelijk moeilijke problemen. Die scherpte is voor mensen moeilijk te bevatten en te voorspellen.

Dit geldt niet alleen voor gebruikers van technologie. Het geldt ook voor bouwers van technologie, bouwers van producten en AI-onderzoekers. Het zijn niet echt de diploma’s die ertoe doen, maar wanneer je tijd besteedt aan het bouwen van deze technologie, ontwikkelen verschillende onderzoekers mentale modellen van wat machines wel en niet kunnen.

In de wereld van vandaag maken we bijvoorbeeld grappen over het feit dat we chatbots hebben gebouwd die internationale wiskundige vragen kunnen beantwoorden, terwijl ze tegelijkertijd fouten maken zoals zeggen dat 9.11 groter is dan 9.9, iets wat geen mens zou doen. Maar dat is nu eenmaal een soort fout die chatbots maken. Waar laat dat ons?

Allereerst: waarom gebeurt dat? Waar laat dat ons? Dat gebeurt om verschillende redenen. We bouwen intelligente systemen die zich op een ander punt in het intelligentielandschap bevinden, terwijl mensen intelligente systemen benaderen vanuit hun menselijke begrip van de omgang met andere mensen.

Wanneer ik met iemand praat, vertelt die persoon me misschien dat hij of zij naar de middelbare school, hogeschool of universiteit is geweest, of een PhD heeft, op verschillende niveaus van expertise. Ik verwacht verschillende dingen van die persoon. Wanneer iemand zegt een PhD in scheikunde te hebben, verwacht ik niet dat die persoon een fout maakt van het soort dat 9.11 groter is dan 9.9.

Ik verwacht gewoon dat die persoon wiskundig onderlegd is, over het algemeen goed geïnformeerd is over de wereld, enzovoort. Die verwachtingen vallen weg wanneer we met AI-systemen werken, omdat we niet op dezelfde gedeelde aannames kunnen vertrouwen. Prestaties op bepaalde taken vereisen training voor die taken.

En hoewel we de afgelopen jaren algemene systemen hebben gebouwd, bedoelen we met algemeenheid iets heel specifieks. Dat maakt het voor consumenten erg moeilijk om mentale modellen op te bouwen. Daardoor ontstaat mogelijk een frustrerende ervaring waarbij mensen bij een product terechtkomen.

Er staat dat het veel dingen kan. Je vraagt het om iets te doen dat op de website van de fabrikant van dat product staat, en misschien doet het dat ook. Je vraagt een kleine variant van dezelfde vraag en het kan het niet. Dat kan dus een frustrerende ervaring zijn.

Hannah Clark: Absoluut. Ja. Dit is ook zulk nieuw consumentengedrag. We zijn gewend geraakt aan functies die heel specifiek, intuïtief en eenvoudig te gebruiken zijn. Mensen doen dus een beroep op hun bestaande ervaring met chatten of met een ander mens en passen die verwachtingen toe op een functie die grotendeels ongedefinieerd is.

We begrijpen de beperkingen van verschillende, je zou kunnen zeggen, competenties nog niet helemaal. Het is dus zeer complexe technologie die we allemaal samen leren gebruiken. Als we denken aan alledaagse taken die AI zou kunnen automatiseren, zoals reizen boeken en agenda’s beheren, wat maakt zulke taken moeilijker om op te lossen dan mensen aannemen?

Dhruv Batra: Ik zal Yutori en wat we bouwen als voorbeeld gebruiken. Bij Yutori bouwen we persoonlijke assistenten die alledaagse workflows op het web kunnen automatiseren. Ons eerste product heet Scouts. Het is een team van agenten dat alles op het web voor je in de gaten houdt. Het was voor ons uiterst belangrijk om duidelijk te maken dat dit product een stukje informatie monitort.

Je kunt het niet vragen om iets voor je te boeken of te kopen. Het maakt geen dia’s voor je. Het doet je huiswerk niet. Het schrijft geen code voor je. Het kan niet alles wat je in een browser kunt doen. Wat het wel voor individuele consumenten kan doen, is me laten weten wanneer mijn favoriete artiest naar mijn stad komt.

Die artiest kan dat op verschillende websites aankondigen. Ik zou die websites met een bepaalde regelmaat kunnen bezoeken. Ik wil gewoon dat jij ze met die frequentie controleert. Misschien zoek ik reserveringen voor iets waarvoor ik een eenvoudig formulier in een browser moet invullen en op knoppen moet klikken. Ik wil dat deze agent dat voor me doet en me vervolgens vertelt welke informatie beschikbaar is.

Misschien ben ik recruiter en volg ik functiewijzigingen van een bepaalde groep mensen. Als ze dat aankondigen op X, LinkedIn of hun blog, laat me dan weten wanneer dat gebeurt. Waarom is dit moeilijk? Het lijkt triviaal. Mensen gaan zitten, openen hun browser, gaan naar een bepaalde pagina en vullen bepaalde dingen in.

Waarom is dit moeilijk? Fundamenteel zijn deze problemen moeilijk omdat het zogenaamde problemen zijn van opeenvolgende besluitvorming. Je bevindt je in een bepaalde toestand, misschien op een webpagina. Je moet een aantal verschillende acties uitvoeren. Websites zijn ontworpen voor menselijke consumptie. HTML-code lezen is enorm inconsistent wat betreft de manier waarop knoppen op verschillende websites worden gemarkeerd of gelabeld.

Fundamenteel is dit dus een waarnemingsprobleem. Je moet op een knop klikken, waarna er iets gebeurt. Misschien scroll je over de pagina, vul je iets in en gebeurt er iets. Elke fout die je onderweg maakt, werkt eenvoudigweg door; eerdere fouten leiden tot latere mislukkingen.

Dit is een vergelijkbaar soort probleem waarmee de robotica- en zelfrijdende-industrie te maken had. We realiseerden ons dat fouten van robots zich opstapelen. Als je iets van een rijstrook afwijkt, bevind je je niet langer in het midden van de rijstrook. Je moet een koerscorrectie uitvoeren.

Op dezelfde manier geldt voor browserautomatiseringsagenten die we bouwen: als je op een deel van een webpagina terechtkomt dat is vastgelopen of waar je niet hoort te zijn, zul je het juiste antwoord niet vinden. Je moet dus leren hoe je fouten herstelt wanneer je in de echte wereld werkt. Er zijn ook alleen-lezen-taken versus schrijftaken.

Als je een formulier invult en op verzenden klikt, laten sommige websites je niet teruggaan om het opnieuw in te vullen. Dat betekent dat je een onherstelbare fout hebt gemaakt. Trainen op onherstelbare fouten is moeilijk. Daarvoor moet je replica’s van de echte wereld maken. Dat is wat robotici doen door 3D-simulators van de wereld te maken, bijna als virtuele gameplay, virtuele robots in simulatie te trainen en ze vervolgens in de echte wereld in te zetten.

Dat doen we ook met browserautomatiseringsagenten. Wanneer we ze moeten trainen om een formulier in te vullen en op verzenden te klikken, of iets op het web te kopen, zijn dat onherstelbare fouten als ze worden gemaakt. Je moet dus in simulatie trainen. Dat zijn enkele redenen waarom deze problemen moeilijk zijn. Vaak is het moeilijk te weten welke handeling je als AI-agent onderweg hebt verricht die heeft bijgedragen aan succes of mislukking. Dat staat bekend als het credit-assignmentprobleem.

Hannah Clark: Al deze dingen zijn voor ons als mensen inmiddels goed aangeleerde procedures. Het lijkt een eenvoudige taak, maar technisch gezien kijken we naar iets veel complexers. Daar komen zaken als voorkeuren nog niet eens bij. Op welk tijdstip, waar in het restaurant wil je zitten—aan de bar?

Er zijn allerlei andere zaken waarvan ik me kan voorstellen dat ze vanuit codeerperspectief vrijwel onmogelijk zijn.

Dhruv Batra: Ik geef een klein voorbeeld dat dit duidelijk maakt. Mensen zijn gewend aan bepaalde ontwerppatronen. Wanneer je bijvoorbeeld naar een webpagina gaat en een reservering of afspraak probeert te boeken, is er een gebruikelijk ontwerppatroon: als een datum of tijdslot grijs is of doorgestreept, begrijp je dat het niet beschikbaar is, ook al staat er geen tekst boven of eromheen die zegt dat dit slot niet beschikbaar is.

Je begrijpt dat omdat je aan dat ontwerppatroon bent blootgesteld op websites die je hebt gezien of in allerlei teksten die je door de jaren heen hebt gelezen. Hoe begrijpen machines dit? Ze hebben misschien veel boeken gelezen, maar je moet met websites interageren om te begrijpen dat grijze tekst iets betekent.

Dit is slechts één voorbeeld van de soorten ontwerppatronen die voor menselijke consumptie zijn bedoeld en die machines moeten opnemen. Dat het klikken op deze knop niets zal doen, en dat er geen tekst is die het doel ervan beschrijft. Je moet gewoon weten wat het betekent.

Hannah Clark: Dit is zo interessant. Het doet me denken aan een gesprek dat ik lang geleden had met Nimrod Priell, de oprichter van Cord.

We spraken over de evolutie van gebruikersgedrag en hoe deze stapsgewijze veranderingen in ons begrip van UX-elementen en de algemene indeling en het ontwerp van websites en technologie door de jaren heen een soort steeds groter wordend bezit vormen dat we allemaal als vanzelfsprekend beschouwen. En dit is iets wat voor ons heel moeilijk is.

Het is inmiddels een gedeelde taal die we in vele jaren van technologische vooruitgang samen hebben ontwikkeld. Het is erg moeilijk om die aan een machine over te brengen. Ik vind dit dus een bijzonder fascinerend gebied en wil wat dieper ingaan op de kant van consumentengedrag. Als uitbreiding op enkele van de gedragingen en patronen die we in de loop van de tijd hebben geïnternaliseerd: dit is een voortdurend proces. Op welke verschuivingen in de manier waarop mensen met technologie omgaan zouden productleiders zich in de nabije toekomst moeten voorbereiden?

Dhruv Batra: De opkomst van AI-producten op de consumentenmarkt heeft de verwachtingen van mensen zeker veranderd. Er groeien nu kinderen op die simpelweg verwachten dat ze met machines kunnen praten.

Er is altijd wel een aflevering van een futuristisch drama of een sciencefictionverhaal waarin kinderen die opgroeien in technologisch geavanceerde beschavingen in verwondering vragen waarom ze niet met hun tv kunnen praten wanneer ze aan oudere technologie worden blootgesteld. Waarom begrijpt die mij niet? Ik denk dat we die verschuiving in verwachtingen ook in consumentengedrag zien.

Je hebt het gevoel dat je jezelf moet kunnen uitdrukken. Je vindt dat je gewoon met de machine moet kunnen praten. De machine moet over bepaalde algemene mogelijkheden beschikken. Ze moet een samenhangende dialoog kunnen voeren. Ze moet mijn gebruikspatronen begrijpen. Dat heeft ons werk en onze visie bij Yutori mede gemotiveerd.

Wij zien de ontwikkeling van het web in de afgelopen 30 jaar als stapsgewijze vooruitgang op basis van een kerntechnologie die inhoud en diensten met mensen verbindt. Het web is in de eerste plaats ontworpen voor menselijke consumptie, omdat het tot nu toe vooral menselijke ogen op het web waren. Nu verwachten mensen simpelweg dat ze machines kunnen vertellen wat die op hun computer en in hun browser moeten doen.

Waarom zou ik als persoon gaan zitten, op knoppen klikken en mijn naam, adres en creditcardgegevens invullen om iets te kopen of informatie te verkrijgen? Dit zou automatiseerbaar moeten zijn, en ik denk dat we die verschuiving in consumentengedrag zien. Het idee dat ik 30 tabbladen moet openen om naar één item te zoeken, twintig verschillende beoordelingen moet lezen en dat allemaal zelf moet doen, verdwijnt. Mensen willen gewoon een systeem voor diepgaand onderzoek of monitoring vragen: laat me weten wanneer dit gebeurt.

De volgende stap is: als je me hebt verteld dat mijn favoriete artiest naar de stad komt en vrijdag optreedt, waarom koop je de kaartjes dan niet alvast voor me terwijl ik daar zit te worstelen met formulieren en andere zaken?

Ik denk dat de verschuiving in consumentenverwachtingen een abstractieniveau omhoog gaat: praten met software en verwachten dat software de alledaagse onderdelen van het leven automatiseert. Het wordt bijna een takenlijst met superkrachten. Ik denk dat proactiviteit een rol gaat spelen.

We willen niet telkens opnieuw gaan zitten uitleggen wie we zijn en wat onze voorkeuren zijn. Er ontstaat een concept van geheugen. Zodra je geheugen en personalisatie begrijpt, waarom doe je dan niet proactief iets? Waarom moet ik steeds dingen zeggen? Het is alsof iedereen een assistent en een medewerker met superkrachten krijgt, of een stafchef.

Hannah Clark: Je ziet ook hoe sommige technologieën waarmee we dagelijks omgaan daaraan bijdragen. Denk aan de ‘Voor jou’-pagina op TikTok, waar technologie je voorkeuren leert kennen en leert met welke dingen je waarschijnlijk interactie zult hebben. We passen diezelfde logica toe op de technologie die we nu gebruiken, waarvan we weten dat ze veel over ons, onze voorkeuren en onze gewoonten weet.

Het is interessant hoe ons technologielandschap sommige van deze verwachtingen als het ware traint. Dat zijn relaties waaraan we aandacht moeten besteden wanneer we proberen te voorspellen wat consumenten zullen verwachten. Dat is volgens mij een goede overgang naar de zakelijke kant.

We zien momenteel veel bedrijven die zich met AI-producten en AI-functies naar de markt haasten. Ze beloven zeer snel transformerende mogelijkheden, met wisselend succes. Wat zijn volgens jou de grootste fouten die productteams maken bij het afbakenen en positioneren van hun AI-functies?

Dhruv Batra: Dit gaat opnieuw terug naar de grillige aard van intelligentie. Je moet uiterst voorzichtig zijn. Dit beïnvloedt niet alleen consumenten, maar ook bouwers. Je moet oppassen dat je niet de hemel belooft, want je zult dat op dag één niet kunnen leveren. Tegelijkertijd stijgen de verwachtingen van consumenten op het gebied van algemeenheid.

Ze verwachten dat je niet extreem beperkte toepassingen aanbiedt, want ChatGPT beantwoordt elke vraag—dus waarom zou jouw product niet alles kunnen? Daardoor ontstaat de valkuil om een tekstvak als toegangspoort tot alles te gebruiken. Je vertelt je gebruiker niets. Je belooft de wereld.

Mijn agent kan alles. Dat leidt tot frustratie bij gebruikers, omdat ze in de eerste plaats met een leeg canvas zitten. Wat kan ik hier vragen? Als ik niet goed ben afgestemd, vraag ik om dingen die de agent niet kan doen en raak ik gefrustreerd.

Daarom hebben we voor ons eerste product een vrij beperkte reikwijdte van mogelijkheden gekozen. Scouts zijn agenten die alles op het web voor je monitoren. Ze loggen niet in op diensten en voeren daar geen schrijfacties uit. Het is een product voor monitoring in alleen-lezenmodus. We hebben echter niet gezegd: dit is Amazon-prijsmonitoring, of: dit is Ticketmaster-evenementenmonitoring.

Elke digitale informatie die op het web beschikbaar is en waartoe je via een browser toegang kunt krijgen, kunnen deze agenten voor je vinden. Je krijgt een e-mail wanneer dat gebeurt. Vertel ons gewoon in natuurlijke taal wat je wilt volgen en met welke frequentie.

De reden daarvoor was dat het voor ons uiterst belangrijk was om deze mogelijkheid te leveren. Dit is een alleen-lezenmogelijkheid. We maken geen onherstelbare fouten. Als we namens jou een aankoopbeslissing nemen en het verkeerde wordt gekocht, raak je gefrustreerd. Tegelijkertijd is er een bepaalde algemeenheid in de soorten vragen die je kunt stellen en de plaatsen waar je verwacht dat deze informatie verschijnt.

Van daaruit moet je de vertrouwensladder beklimmen. In eerste instantie leverden we waarde zonder om inloggegevens of creditcardinformatie te vragen. Nadat gebruikers die waarde hebben gezien, verwachten ze natuurlijk dat je meer kunt doen. Als ik een artiest volg die naar de stad komt, is de volgende stap: regel een kaartje.

Als ik de beschikbaarheid van een restaurantreservering volg, is de volgende stap: maak die reservering. Als ik recruiter ben en de bewegingen van een bepaalde kandidaat volg, is de volgende stap: stel een benaderingsmail op. Vanuit het perspectief van een bouwer ben ik nog maar net begonnen. Ik ben AI-onderzoeker. Ik heb niet het gevoel dat ik advies kan geven.

Ik kan alleen wijzen op de voorzichtigheid die wij hanteren: er is een grillige aard van intelligentie. Sommige taken kun je oplossen en andere niet. De taken die je kunt oplossen zijn doorgaans de taken waarop je kunt oefenen. Daarom moeten het taken zijn waarbij fouten niet te kostbaar zijn, zodat je van daaruit stapsgewijs kunt opbouwen.

Hannah Clark: Dit zijn zeer wijze woorden. Ik zie dit vaak: gebruikers raken gefrustreerd door beperkingen die ondoorzichtig zijn. Ze stappen een chatbot binnen en zullen er vanzelf mee omgaan zoals ze met een live-agent zouden chatten.

Dat kan tot veel frustratie leiden. Er is een kosten-batenanalyse verbonden aan het niet beperken van wat mogelijk is en het risico dat consumenten afhaken en over de hele linie minder vertrouwen in de technologie krijgen.

Dhruv Batra: En als ze geen waarde vinden in wat je zei dat je kon doen, hebben ze een suboptimale ervaring en haken ze af. Ze komen niet bij je terug.

Hannah Clark: Laten we daar wat dieper op ingaan. Ik denk dat vertrouwen een kernelement is van waarom mensen op dat specifieke kritieke moment afhaken. Hoe moeten productleiders volgens jou vertrouwen opbouwen met consumenten zonder mogelijkheden te veel te beloven die nog niet klaar zijn of niet geleverd kunnen worden?

Dhruv Batra: Mensen moeten waarde zien voordat ze inloggegevens of gevoelige informatie zoals creditcards afstaan. Als je consumenten als eerste stap vraagt om toegang tot hun agenda of inbox, voordat ze überhaupt hebben gezien wat het product kan, is dat een uiterst riskante strategie.

Het kan ervoor zorgen dat je viraal gaat op sociale media, maar verplaats je in de positie van de gebruiker. Wil ik mijn zakelijke e-mail met gevoelige documenten of mijn creditcard echt aan je geven zonder te weten wat je wel en niet kunt leveren?

Daarom begonnen wij zonder authenticatie, zonder schrijfacties en zonder aanvankelijk de toestand van de wereld te veranderen. Het product leest alleen. Dat betekent dat je eigenlijk niet van AI verwacht dat het honderd procent nauwkeurig is. Je kunt het opnieuw proberen als er fouten zijn gemaakt.

Opnieuw proberen is mogelijk in een product voor alleen-lezen. Dat is niet mogelijk in een schrijvend product met onherstelbare fouten. Dat zijn de zaken waarmee we rekening houden wanneer we de vertrouwensladder met onze gebruikers beklimmen.

Hannah Clark: Ik zie hier een soortgelijk idee in. Het is een ongerelateerd voorbeeld, maar volgens mij illustreert het een vergelijkbaar punt.

Ik had een vriendin die vanuit Brazilië naar Canada verhuisde. Ze dacht dat Canada het veiligste land ter wereld was. Overal waar ik kom is het veilig. In haar eerste week in Canada vond er echter een overval plaats in haar straat, en plotseling dacht ze dat overal gevaar was. Het is een vergelijkbaar idee van tijd tot waarde.

Dhruv Batra: Tijd tot waarde,

Hannah Clark: tijd tot verrukking, tijd tot waarde, maar ook hoe kwetsbaar en beladen die eerste periode van vertrouwensopbouw kan zijn wanneer iets je verwachting van wat er geleverd zal worden onderbreekt en dat fundamentele vertrouwen aantast.

Ik wil vervolgens ingaan op de technologische kant. Vanuit jouw perspectief als AI-onderzoeker: welke problemen zou je vandaag grotendeels opgelost noemen? En welke problemen liggen volgens jou op de korte termijn aan de horizon, hoewel dat natuurlijk kan verschuiven? Wat lijkt echt op korte termijn haalbaar, tegenover iets dat voortdurend nog een paar jaar weg lijkt?

Dhruv Batra: Het concrete voorbeeld dat ik hier zal gebruiken, omdat het me bezighoudt, is het beantwoorden van vragen over afbeeldingen. De reden dat dit bij me opkomt, is dat ik vorige week op een conferentie was: ICCV, de International Conference on Computer Vision.

Mijn medewerkers en ik ontvingen een zogenaamde Mark Everingham-prijs voor werk dat we tien jaar geleden hebben gedaan. Dat werk heette Visual Question Answering. We introduceerden bij de gemeenschap een dataset, een taak, een benchmark en een reeks methoden voor het bouwen van de eerste generatie agenten die elke open vraag over elke natuurlijke afbeelding konden beantwoorden.

De afgelopen tien jaar hebben we de gemeenschap geholpen om de vooruitgang bij te houden door jaarlijkse wedstrijden te organiseren. In 2021 stopten we met die wedstrijd, omdat de meeste methoden bij de start in 2015 ongelooflijk slecht waren. Zoals je je kunt voorstellen, was het beantwoorden van vragen over afbeeldingen toen een moeilijke taak.

In 2021 bereikten we op die dataset die we hadden gemaakt in wezen menselijke nauwkeurigheid. We bereikten menselijke overeenstemming bij het beantwoorden van deze vragen en stopten daarom met het organiseren van de wedstrijd. Zoals ik al zei, is het een interessant verloop: in de afgelopen tien jaar leidde ik een team bij FAIR dat moderne methoden bouwde die op Ray-Ban Meta-zonnebrillen werden geleverd. Je kunt een assistent activeren en zeggen: hé Meta, maak een foto. Vertel me meer over dit monument.

Dat probleem is nu opgelost. Toen we begonnen, waren er veel volledig open problemen. Vragen beantwoorden waarvoor je tekst in de echte wereld moest lezen was hopeloos. Als je vroeg wat er op een bord stond, draaiden de meeste methoden geen OCR, oftewel optische tekenherkenning, en konden ze de tekst op het bord niet lezen.

De methoden moesten dus antwoorden op basis van voorkennis: wat staat er meestal op borden? Borden zeggen stop of ga. Ze deden gewoon algemene gissingen. We ontdekten dat dit een veelvoorkomend probleem was: de meeste modellen voor het beantwoorden van vragen over afbeeldingen werden sterk gedomineerd door taalkundige voorkennis. Als je een foto van bananen maakte en vroeg welke kleur de bananen hadden, zou het model waarschijnlijk geel zeggen, omdat de meeste bananen ter wereld geel zijn.

Dat weet het uit de trainingsdataset. Het kan eigenlijk niet goed zien. Je kunt het vergelijken met turen naar de afbeelding. Het kan een afbeelding van een groene banaan zijn, maar het zal zeggen dat de banaan geel is omdat de meeste bananen geel zijn. We breidden het beantwoorden van vragen uit naar dialogen met chatbots, en verwijzingen waren een extreem moeilijk probleem.

Als je vraagt of er een persoon in de afbeelding staat en daarna vraagt wat die persoon doet, verwijs je naar een visuele entiteit waar we het in de vorige beurt over hadden. Dat was een moeilijk probleem. Het model was al in de war en wist niet waar ‘hij’ of ‘zij’ naar verwees.

Die problemen worden vandaag als opgelost beschouwd. Voor zover we ze kunnen meten, zijn het geen open problemen meer. Toch zijn er nog steeds problemen die volledig openstaan. Objecten tellen in afbeeldingen blijft een open probleem. Maak vandaag een foto met meer dan tien mensen in een menigte en vraag je favoriete chatbot hoeveel mensen er op de afbeelding staan. Kijk gewoon welk antwoord je krijgt. Dat is nog altijd een open onderzoeksvraag.

Vraag naar ruimtelijk inzicht in 3D. Maak bijvoorbeeld een foto waarop achteraan een tafel staat en dichter bij de camera een boekenkast. Vraag naar de hoogte van de tafel en de boekenkast. Wat de meeste chatbots vandaag zullen antwoorden zijn pixelhoogtes. Wat dichter bij de camera lijkt, noemen ze hoger, omdat ze geen ruimtelijk inzicht in diepte hebben. Dingen die ver weg staan kunnen daadwerkelijk hoger zijn dan dingen die dichter bij de camera staan, omdat er achter de schermen een 3D-wereld is.

Dat zijn nog steeds open vragen. Dichter bij AI en het bouwen van agenten zien we bijvoorbeeld webagenten. Er is nog steeds sprake van drift bij agenten die na verloop van tijd kan optreden. Onze monitoringagenten draaien maandenlang en volgen bepaalde onderwerpen.

Je kunt vragen om een bepaald nieuwsonderwerp te volgen. Na maanden kan het gebeuren dat agenten langzaam afdwalen naar iets dat afwijkt van je oorspronkelijke verzoek, omdat niemand agenten heeft gebouwd die maandenlang draaien en vervolgens krediet kunnen toewijzen en ze kunnen belonen voor succes of mislukking over zulke lange perioden.

Hannah Clark: Dit is een interessant gebied. Ik had er niet aan gedacht wat het criterium is om een agent te vertellen dat hij iets correct heeft gedaan. Als je een correcte uitvoer krijgt, ga je over het algemeen verder met je leven. Je zegt niet per se: goed gedaan, dat was geweldig, of je geeft details over wat correct was.

Is er gebruikersgedrag dat we zouden moeten aannemen om de modellen waarvan we momenteel afhankelijk zijn beter te trainen? Of is dit iets voor een hele andere uitzending? Hoe sluiten we de feedbacklus?

Dhruv Batra: Intern voeren we evaluaties en feedback uit op meerdere abstractieniveaus. Voor browserautomatiseringsagenten moeten we bijvoorbeeld elke klik handmatig annoteren. Was dat het juiste om te doen op die webpagina, of het verkeerde? Dat is natuurlijk te laag niveau en te veel ruis.

Soms kan een taak op meerdere manieren worden uitgevoerd. Soms typ je misschien een item in een zoekopdracht op een webpagina, en soms klik je rechtstreeks op een tabblad om naar die informatiebron te gaan. Dat is dus te laag niveau en te veel ruis. Nadat een taak is voltooid, kan er echter bewijs van uitvoering zijn. Als je een agent vraagt of er om 18.30 uur een reservering beschikbaar is in een restaurant en hij door een reeks knoppen klikt, een restaurant vindt en ja of nee zegt, is er aan het einde van dat traject bewijs.

Bij veel van deze taken bestaat er een zogenaamde kloof tussen generator en verificateur. Het verifiëren van bewijs van uitvoering is eenvoudiger dan de taak daadwerkelijk oplossen, omdat oplossen betekent dat je veel knoppen moet indrukken, het juiste in het juiste zoekvak moet typen en naar de juiste plek op de website moet gaan.

Maar als een agent terugkomt en zegt dat hij een reservering om 18.30 uur heeft gevonden, is er een schermafbeelding van een webpagina. We kunnen die webpagina lezen en zien of de agent gelijk had. Daarop baseren we evaluaties. Natuurlijk zijn er ook feedbackmechanismen voor consumenten. Elke keer dat onze agenten mensen e-mails sturen, kunnen zij een duim omhoog of omlaag geven.

Dat sluit vanzelf aan op personalisatie. Soms bestaan er geen goede of foute antwoorden. Soms zijn er alleen voorkeuren. Als je een bepaald nieuwsitem volgt en je een bepaalde richting waarin het nieuws zich ontwikkelt zat bent, zou je tegen een persoon zeggen: nee, ik wil hier minder van zien en daar meer van.

Idealiter zeg je dat in natuurlijke taal, omdat dat handig is. Je moet dus feedbackmechanismen bouwen die feedback in natuurlijke taal opnemen en de koers van agenten in de toekomst veranderen.

Hannah Clark: Dit is zo interessant. Ik denk hierbij ook aan de manier waarop mensen de uitvoer van iets als ChatGPT bekijken: vanuit de vraag of we tevreden zijn met de dienst, in plaats van vanuit de vraag of we tevreden zijn over het technologisch functioneren.

Als ik bijvoorbeeld naast een collega zit en we allebei een maaltijdplan voor de week genereren, kan mijn maaltijdplan hetzelfde zijn als dat van mijn collega, maar vind ik dat het niet de juiste macro’s bevat voor mijn doel. Vanuit dienstverlening geef ik een duim omlaag. Mijn collega zegt echter: het heeft precies gedaan wat ik vroeg. De uitvoer is technisch correct volgens de specificaties in de prompt. Dat is een duim omhoog.

Dat klinkt erg verwarrend, en er zit een echte nuance in hoe we begrijpen wat onze rol als feedbackgevers aan deze machines is. Dat is een hele andere dataset die zeer moeilijk te verwerken kan zijn.

Dhruv Batra: De traditionele opvattingen over A/B-testen werken hier niet altijd. Wanneer je een functie bouwt, deel je gebruikers in twee groepen, toon je de ene groep een antwoord of strategie en de andere groep iets anders. Soms toon je parallelle antwoorden aan dezelfde gebruiker en vraag je die om er één te kiezen.

Dat valt in veel gevallen uiteen. Wanneer je bijvoorbeeld een workflow moet uitvoeren en iets moet kopen of doen, is er geen A/B-test, want je gaat niet tweemaal hetzelfde doen. Je gebruiker raakt daar gefrustreerd door. Bovendien zijn duimen omhoog en omlaag of A/B-reacties soms te grof om echt over te brengen wat een gebruiker bedoelt.

Soms wil je gebruikers de mogelijkheid geven om, als je tekstuele antwoorden verstuurt, iets te markeren en te zeggen: niet dit, of om redactioneler feedback te geven, zoals ze dat aan een ander mens zouden doen. Als je iemands Google-document nakijkt, geef je niet simpelweg een duim omhoog of omlaag.

Hannah Clark: Dat zou vreselijk zijn. Een duim omlaag. Welk deel is een duim omlaag?

Dhruv Batra: Precies. Het is alsof je naar je redacteur gaat en alleen hoort: nee, verbeter het. Wat moet ik verbeteren?

Hannah Clark: Ja, doe het hele ding opnieuw. Dat vraagt natuurlijk veel. Zelfs als we de mogelijkheid hadden om feedback te geven op de uitvoer van een groot taalmodel, is dat veel gevraagd van een gebruiker die gewoon wil dat het werkt.

Over het algemeen is het al moeilijk genoeg om mensen enquêtes te laten beantwoorden, zelfs wanneer ze er een verwijzingscode of een bonus voor krijgen. Het wordt dan een zeer moeilijke taak van gezamenlijk auteurschap om mensen te vragen mee te helpen schrijven. Wat ik hieruit opmaak, is dat we veel minder van jou moeten verwachten.

Dhruv Batra: Ik denk dat gebruikers het gevoel moeten hebben dat die feedback een investering is in de personalisatie van de chatbot voor iets wat ze willen kunnen doen. De gebruiker kan niet je kwaliteitsborgingsingenieur zijn. Die kan je niet vertellen wat er allemaal mis is met het product. De ervaring die je wilt creëren is dat dit mijn assistent is. Elke feedback die ik aan deze assistent geef, personaliseert hem, maakt hem beter en stemt hem af op mijn voorkeuren. Dat lijkt de juiste relatie of het juiste mechanisme voor betrokkenheid waardoor mensen tijd willen investeren.

Hannah Clark: Daar ben ik het mee eens. Ik ben veel geduldiger met een model dat duidelijk probeert mijn voorkeuren te leren.

Ik merk vaak dat wanneer ik een vraag stel aan een groot taalmodel en het meteen vragen stelt om die verder te verfijnen, zelfs als die vragen wat onbeduidend lijken, dit mijn verwachting bevestigt dat wat ik vertel veel specifieker moet zijn dan ik denk om de gewenste uitvoer te krijgen.

Het bereidt me ook voor op teleurstelling als ik niet precies goed zit. Dat is dus iets belangrijks om in gedachten te houden bij het ontwikkelen van functies die een vorm van geven en nemen van de gebruiker vereisen om de gewenste uitvoer te krijgen.

Dhruv Batra: Hier komen we terug bij het beklimmen van de vertrouwensladder.

Als je een gebruiker die je product net probeert te ervaren als eerste een vragenlijst van twintig vragen geeft, probeert die gebruiker gewoon snel tot verrukking te komen en een snel beeld te krijgen van wat je kunt doen. Daarna zal hij itereren. Het kan dus niet het eerste zijn waarmee je je gebruiker overlaadt. Naarmate de gebruiker waarde ziet, kun je die vragen en voorkeuren invoegen.

Hannah Clark: Waarom nu? Waarom ben je juist nu met Yutori begonnen? Waarom is dit het moment waarop je dit project hebt gestart en wat is er fundamenteel anders aan het huidige landschap waardoor dit nu mogelijk is, terwijl je al zo lang in dit vak zit? Waarom niet eerder?

Dhruv Batra: Ik ben natuurlijk vatbaar voor de hindsightbias, maar mijn gevoel is dat dit een uniek moment is voor het bouwen van bepaalde soorten AI-producten die we in het verleden niet konden bouwen. Ik werkte eerder aan robotica. Ik had een robotica-start-up kunnen beginnen, en daar is geen gebrek aan. Daar zijn er genoeg van.

Ik denk niet dat dit het juiste moment is om een roboticaonderneming voor consumenten of ongestructureerde omgevingen te beginnen, omdat de problemen die opgelost moeten worden nog tientallen jaren voor ons liggen. Mensen vergeten dat in 2004 een overheidsinstantie genaamd DARPA de DARPA Grand Challenge organiseerde. Universiteiten moesten autonome zelfrijdende auto’s bouwen die van punt A naar punt B in een woestijn konden rijden.

In 2004 werd die wedstrijd voor het eerst georganiseerd. Geen enkele auto finishte. Ik zat in 2005 bij CMU. CMU kwam het verst, en bij de eerste poging in 2005 finishten meerdere universiteitsteams. Aan het einde van de jaren 2000 werden verschillende Stanford-onderzoekers opgenomen in Google. Eerst werd het Google X en vervolgens ontstond halverwege de jaren 2010 het Waymo-project.

Uiteindelijk kregen we in 2023 of 2024 consumentgerichte toepassingen. In San Francisco kun je een Waymo naar je voordeur of naar bepaalde ophaallocaties laten komen. Denk aan die reis van 2004 of 2005, toen het eerste onderzoeksprototype werd gedemonstreerd, naar een product voor consumenten dat op zijn minst in bepaalde geografische gebieden beschikbaar is. Het is nog steeds niet overal uitgerold.

Een universele uitrol ligt misschien nog een decennium voor ons. Dat is de uitdaging van hardware plus AI. Ontwikkelingscycli voor software plus AI zijn veel korter. We bevinden ons eindelijk op een punt waarop AI-systemen met mensen kunnen praten, brede kennis van de wereld hebben en een dialoog kunnen voeren.

Waarnemingssystemen zijn in elk geval op het web volwassen geworden. We kunnen een schermafbeelding van het web maken en weten hoe websites zijn ingedeeld en welke knoppen wat doen. Er is een bepaald breed gemeenschappelijk begrip. Tot slot zijn er de afgelopen jaren open-sourcemodellen uitgebracht, waardoor kleinere spelers zoals wij in elk geval kunnen beginnen.

Een paar jaar geleden zouden we, als we een start-up voor webautomatisering of webagenten wilden bouwen, helemaal vanaf de voortraining moeten beginnen. Voortraining van taalmodellen en visietaalmodellen is een volledig andere onderneming, met een heel andere kapitaalinvestering, rekenbehoefte en hoeveelheid data.

Vandaag trainen we modellen na. Dat betekent dat we beginnen met open-sourcemodellen en die vervolgens trainen voor browserautomatisering, het klikken op knoppen, het invullen van formulieren enzovoort. Dat zou een paar jaar geleden niet mogelijk zijn geweest. Tegelijkertijd is dit geen probleem met lange iteratiecycli dat nog meer dan tien jaar voor ons ligt.

Ik zie het zo: er bestaat geen mogelijke wereld waarin robots onze huizen al zijn binnengekomen, maar wij nog steeds op onze laptops zitten en onze namen in browservelden typen. Digitale assistenten zullen arriveren vóór fysieke assistenten, omdat digitale assistentie zich in een puur digitaal domein bevindt.

De wereld van bits beweegt gewoon sneller. De iteratiecycli zijn korter en een groot deel van de basis waarop we deze intelligente systemen kunnen ontwikkelen is gecommoditiseerd. Daardoor kunnen we ons richten op de problemen van de laatste kilometer.

Hannah Clark: Dat is een zeer welsprekend antwoord. En ik ben dol op het gebruik van het woord substraat. Dit was een buitengewoon fascinerend gesprek. Ik heb het gevoel dat we veel dieper hadden kunnen gaan en dat veel mensen dat graag zouden willen. Waar kunnen mensen je werk online volgen?

Dhruv Batra: Persoonlijk ben ik bereikbaar via dhruvbatra.com. Dat is mijn webpagina. Mijn werk is te vinden op yutori.com en ons product heet Scouts. Dat is beschikbaar via scouts.yutori.com.

Hannah Clark: Geweldig. Heel erg bedankt dat je bij me was, Dhruv. Ik waardeer dit enorm.

Dhruv Batra: Bedankt dat je me hebt uitgenodigd. Dit was geweldig.

Hannah Clark: De volgende keer bij de podcast The Product Manager. Product leiden in het tijdperk van AI betekent veel van dezelfde problemen op zeer verschillende manieren oplossen. Van ontwikkelingsprocessen tot distributietactieken: bijna elk draaiboek dat een jaar geleden werkte, is alweer verouderd—iets wat Webflow CPO Rachel Wolan zowel als een uitdaging als een ongelooflijke kans beschouwt.

Je krijgt de antwoorden en duidelijkheid waarop je hebt gewacht over onderwerpen als optimalisatie voor antwoordmachines, bouwen versus inkopen en de juiste manier om de AI-markt te betreden. Abonneer je nu zodat je niets mist.