Lover vi for meget og leverer for lidt inden for AI?

Hannah Clark: Innovation er kumulativ – og med det mener jeg, at de måder, vi løser problemer på nu, ikke ville være effektive, hvis det ikke var for de måder, vi løste dem på tidligere. Og selvom ordene »træningsdata« i disse dage typisk bruges i forbindelse med AI-udvikling, er det værd at huske, at brugere også er forbrugere og opbevarere af enorme mængder træningsdata fra mange års opdagelse af og anvendelse af hvert eneste stykke software, de nogensinde har brugt. Så mens vi har travlt med at være besatte af anvendelsesområder og nye funktioner til vores egne AI-produkter, følger brugerne et andet manuskript. De arbejder med præferencer, vaner og vigtigst af alt forventninger, som de har tilegnet sig, siden de første gang åbnede en webbrowser.

Min gæst i dag er Dhruv Batra, medstifter og ledende forsker hos Yutori. Som du snart vil høre, strækker Dhruvs erfaring med AI-forskning, udvikling, træning og ledelse sig over mere end 20 år. Så som du kan forestille dig, har han flere fascinerende indsigter i teknologien, end vi overhovedet kan nå at dække i én episode. Med det i tankerne spurgte jeg Dhruv, hvad han helst ville kommunikere til produktledere. Han tøvede ikke. Han fortalte mig, at AI-funktioner er ekstremt ujævne. Og du vil snart høre præcis, hvad det betyder for dine brugere, din organisation og produktets nærmeste fremtid. Lad os komme i gang.

Nå ja, forresten: Vi har samtaler som denne hver uge, så hvis det lyder interessant for dig, hvorfor så ikke abonnere? Okay, lad os komme i gang.

Velkommen tilbage til podcasten The Product Manager. Jeg er her i dag sammen med Dhruv Batra, som er medstifter og ledende forsker hos Yutori.

Dhruv, mange tak fordi du ville være med i dag.

Dhruv Batra: Selvfølgelig. Tak fordi du inviterede mig, Hannah.

Hannah Clark: Lad os begynde med lidt baggrundsinformation. Kan du fortælle lidt om din baggrund, og hvordan din rejse gennem AI-forskning – fra deep learning til dagens generative revolution – har formet dit perspektiv på, hvor vi befinder os med denne teknologi nu?

Dhruv Batra: Jeg er AI-forsker. Jeg har været inden for området i næsten 20 år på dette tidspunkt. I moderne diskussioner synes AI-forskning at begynde omkring ChatGPT-revolutionen i 2022. Jeg trådte ind i feltet i 2005, før deep learnings seneste storhedstid. Jeg tog min ph.d. på CMU, hvor jeg arbejdede med grundlæggende maskinlæringsproblemer anvendt på computer vision-problemer, såsom at registrere objekter i billeder.

Gennem årene har jeg bygget chatrobotter og de første systemer, der kunne besvare spørgsmål om billeder og føre en dialog om billeder. Jeg var professor på Georgia Tech i mange år. Jeg oprettede kurset i deep learning. Jeg tilbragte også otte år hos Meta. Jeg var ledende direktør og stod i spidsen for FAIR Embodied AI. FAIR er Metas afdeling for grundlæggende AI-forskning.

Embodied AI er AI til robotteknologi og intelligente briller. Et af mine teams hos Meta byggede den tidligste version af en model til besvarelse af billedspørgsmål, som blev lanceret som en multimodal assistent i den første version af Ray-Ban Meta-solbrillerne. Andre af mine teams byggede verdens hurtigste 3D-simulator til træning af virtuelle robotter i simulering, før vi implementerede dem på Boston Dynamics-robotten.

Jeg har på en måde set hele spektret fra computer vision, chatrobotter og robotteknologi, og jeg er simpelthen fascineret af intelligens og af at bygge intelligente systemer. Det er det, der har ført mig til Yutori i dag.

Hannah Clark: Du er tydeligvis særdeles kvalificeret til at tale om dette emne, som jeg tror, vi alle gerne vil vide så meget som muligt om. Og jeg glæder mig virkelig til dagens emne, fordi vi kommer til at se meget nærmere på forventninger kontra virkelighed, når det gælder AI-teknologiens tilstand lige nu. Jeg føler, at man skal have et bestemt sæt kvalifikationer for virkelig at kunne tale om dette emne og besvare nogle af de spørgsmål, vi går og tumler med.

Så i dag ser vi på det fra tre vinkler: brugersiden, forretningssiden og teknologisiden af AI. Hvis vi begynder med brugersiden, er vi tydeligvis fanget i en enorm hypecyklus omkring AI lige nu, men brugere kan ofte opleve meget inkonsekvente resultater afhængigt af de værktøjer og anvendelsesområder, de arbejder med.

Hvad tror du lige nu skaber kløften mellem det, folk på brugersiden forventer, at AI skal kunne, og det, den faktisk kan levere?

Dhruv Batra: Jeg synes, det er et rigtig godt spørgsmål. Det rammer et problem, som ligger i centrum for ikke bare produktudvikling, men også AI-forskning, og det handler om det, der ofte kaldes intelligensens ujævne natur.

Som med mange af disse emner findes der en berømt XKCD-tegneserie, hvor en figur, der ligner en produktchef, beder en figur, der ligner en ingeniør, om at bygge en app. Hver gang en bruger tager et billede, vil produktchefen vide, om billedet er taget i en nationalpark, og ingeniøren svarer: »Det lyder som et simpelt GPS-baseret opslag i en database.

Giv mig et par timer, så burde det kunne lade sig gøre.« Den næste sætning fra produktchefen er så: »Fortæl mig, hvis billedet er af en fugl.« Og ingeniøren svarer: »Jeg får brug for et forskerteam, 50 millioner dollars og fem år, og så kan vi måske besvare det spørgsmål.« Det konkrete eksempel i historien er ikke længere gyldigt.

Computer vision har gjort tilstrækkelige fremskridt til, at vi nu kan betragte genkendelse af fugle- eller hundearter som et løst problem. Men jeg tror, pointen er at illustrere, at der findes ekstremt skarpe overgange fra trivielle problemer til umuligt vanskelige problemer. Og den skarphed er vanskelig for mennesker at forstå og forudsige.

Det gælder ikke kun for brugere af teknologi. Det gælder også for dem, der bygger teknologien, produktudviklere og AI-forskere. Når man bruger tid på at bygge denne teknologi, ender forskellige forskere med at opbygge mentale modeller af, hvad maskiner kan og ikke kan.

I dagens verden joker vi for eksempel med, at vi har bygget chatrobotter, der kan besvare avancerede matematiske spørgsmål, men samtidig begår de fejl som at sige, at 9,11 er større end 9,9 – noget intet menneske ville gøre. Men det er ganske enkelt en type fejl, som chatrobotter begår. Så hvor efterlader det os?

For det første: Hvorfor sker det? Det sker af flere forskellige årsager. Vi bygger intelligente systemer, som befinder sig forskellige steder i intelligenslandskabet, og mennesker møder intelligente systemer med deres menneskelige forståelse fra samspillet med andre mennesker.

Når jeg taler med en person, fortæller de mig måske, at de har gået på gymnasiet, universitetet eller har en ph.d. inden for forskellige områder. Jeg forventer forskellige ting af dem. Når nogen siger, at de har en ph.d. i kemi, forventer jeg ikke, at de begår en fejl af typen »9,11 er større end 9,9«.

Jeg forventer blot, at de er matematisk velfunderede, generelt velinformerede om verden og så videre. Disse forventninger bryder sammen, når vi arbejder med AI-systemer, fordi vi ikke kan stole på de samme fælles antagelser. Præstation på bestemte opgaver kræver træning i disse opgaver.

Og selvom vi gennem de seneste år har bygget systemer til generelle formål, er der en meget specifik betydning, når vi siger generalitet. Det gør det meget svært for forbrugere at opbygge mentale modeller. Derfor opstår der måske en frustrerende oplevelse, hvor folk kommer til et produkt.

Der står, at det kan gøre mange ting. Du beder det om at gøre den ting, der står på producentens hjemmeside, og måske gør det det. Så beder du det om en let variation af spørgsmålet, og pludselig kan det ikke gøre det. Det kan være en frustrerende oplevelse.

Hannah Clark: Helt sikkert. Ja. Og det er også en helt ny forbrugeradfærd, hvor vi er vant til funktioner, der er meget specifikke, intuitive og nemme at bruge. Der er helt klart et spørgsmål om, at folk trækker på deres eksisterende erfaring med at interagere med chat eller med et andet menneske og anvender disse forventninger på en funktion, der i høj grad er udefineret.

Vi forstår ikke helt begrænsningerne inden for de forskellige kompetencer. Så ja, det er meget kompleks teknologi, som vi alle på en måde lærer at bruge sammen. Når vi tænker på hverdagsopgaver, som AI kunne automatisere, såsom at bestille rejser og administrere kalendere, hvad gør så den slags opgaver sværere at løse, end folk antager?

Dhruv Batra: Jeg vil bruge Yutori og det, vi bygger, som eksempel. Hos Yutori bygger vi personlige assistenter, der kan automatisere trivielle arbejdsgange på nettet. Vores første produkt hedder Scouts. Det er et team af agenter, der overvåger alt på nettet for dig. Det var meget vigtigt for os tydeligt at angive denne forventning: Produktet overvåger et stykke information.

Du kan ikke bede det om at bestille noget eller købe noget for dig. Det laver ikke præsentationer for dig. Det laver ikke dine lektier. Det skriver ikke kode for dig. Det er ikke alt, hvad du kan gøre i en browser, men det kan for individuelle forbrugere sige til mig, når min yndlingskunstner kommer til byen.

De annoncerer det måske på flere forskellige hjemmesider. Jeg ville normalt besøge disse hjemmesider med en vis frekvens. Jeg vil bare gerne have, at du tjekker dem med den frekvens. Måske leder jeg efter en reservation, der kræver, at man udfylder en simpel formular i en browser og klikker på knapper. Jeg vil gerne have, at agenten gør det for mig og derefter fortæller mig, hvilke oplysninger der er tilgængelige.

Måske er jeg rekrutterer og følger ændringer i stillinger hos en bestemt gruppe mennesker. Hvis de annoncerer det på X, LinkedIn eller i et blogindlæg, skal du fortælle mig, når det sker. Hvorfor er det svært? Det virker som en triviel ting. Mennesker sætter sig ned, åbner browseren, går til en bestemt side og udfylder bestemte ting.

Grundlæggende er disse problemer vanskelige, fordi de er det, man kalder problemer med sekventiel beslutningstagning. Du befinder dig i en bestemt tilstand, måske på en webside. Du skal udføre flere forskellige handlinger. Hjemmesider er udformet til menneskelig brug. HTML-kode er meget inkonsekvent med hensyn til, hvordan knapper er markeret eller navngivet på tværs af hjemmesider.

Grundlæggende er dette derfor et perceptionsproblem. Du skal klikke på en knap, hvorefter der sker noget. Måske ruller du ned på siden, udfylder noget, og der sker noget. Enhver fejl, du begår undervejs, forplanter sig, og tidligere fejl fører til senere fiaskoer.

Det er en lignende type problem, som robot- og selvkørselsindustrien har arbejdet med. Vi indså, at hvis robotter begår en fejl, forplanter fejlene sig. Hvis du afviger en smule fra en vejbane, befinder du dig ikke længere midt i vejbanen. Du er nødt til at foretage en kurskorrektion.

På samme måde gælder det for de browserautomatiseringsagenter, vi bygger: Hvis du ender på en del af en webside, der enten er gået i stå, eller hvor du ikke burde være, finder du ikke det ønskede svar. Derfor skal du lære fejlhåndtering, når du arbejder ude i den virkelige verden. Der findes også skrivebeskyttede opgaver og skriveopgaver.

Hvis du udfylder en formular og klikker på »Indsend«, vil nogle hjemmesider ikke lade dig gå tilbage og udfylde den igen. Det betyder, at du har begået en fejl, der ikke kan gøres om. Det er vanskeligt at træne systemer til fejl, der ikke kan gøres om, og derfor skal man skabe kopier af den virkelige verden. Det er det, robotforskere arbejder med, når de skaber 3D-simulatorer af verden – næsten som et virtuelt spil – træner virtuelle robotter i simulering og derefter implementerer dem i den virkelige verden.

Det gør vi også med browserautomatiseringsagenter. Når vi skal træne dem til at udfylde en formular og klikke på »Indsend« eller måske købe noget på nettet, vil det være fejl, der ikke kan gøres om, hvis de begår dem. Derfor skal de trænes i simulering. Det er nogle af de ting, der gør disse problemer vanskelige, og det er ofte svært at vide, hvad man som AI-agent gjorde undervejs, der bidrog til succes eller fiasko. Det kaldes problemet med kredittildeling.

Hannah Clark: Alt det, vi som mennesker på dette tidspunkt også er veltrænede i at gøre, virker som en simpel opgave. Men teknisk set ser vi på noget langt mere komplekst. Det tager ikke engang højde for ting som præferencer. Hvornår vil du sidde, og hvor i restauranten vil du sidde – ved baren?

Der er alle mulige andre forhold, som jeg kan forestille mig er umulige at håndtere fra et kodningsperspektiv.

Dhruv Batra: Jeg vil give et lille eksempel, der illustrerer det. Mennesker er vant til bestemte designmønstre. Når du går ind på en webside og måske forsøger at bestille en reservation eller aftale en tid, findes der et almindeligt designmønster: Hvis en dato eller et tidsrum er gråt eller gennemstreget, forstår du, at det ikke er tilgængeligt, selvom der ikke står nogen tekst over eller omkring det, der siger, at tidsrummet ikke er tilgængeligt.

Du forstår det, fordi du har mødt dette designmønster på hjemmesider, du har set, eller i forskellige tekster, du har læst. Hvordan forstår maskiner det? De har måske læst mange bøger, men de skal interagere med hjemmesider for at forstå, at grå tekst betyder noget.

Dette er blot ét eksempel på den slags designmønstre, der er beregnet til mennesker, men som maskiner skal tilegne sig. At et klik på denne knap ikke gør noget, og at der ikke står nogen tekst, der beskriver dens formål. Du skal bare vide, hvad det betyder.

Hannah Clark: Det er virkelig interessant. Det minder mig om en samtale for længe siden med Nimrod Priell, som er grundlægger af Cord.

Da vi talte om udviklingen i brugeradfærd, og hvordan disse gradvise ændringer i vores forståelse af UX-elementer samt den generelle opbygning og udformning af hjemmesider og teknologi gennem årene er blevet et slags kumulativt aktiv, som vi alle tager for givet. Det er noget, der er meget vanskeligt for os.

Det er på nuværende tidspunkt nærmest et fælles sprog, som vi har delt gennem mange års teknologiske fremskridt. Det er meget vanskeligt at kommunikere til en maskine. Jeg synes, det er et fascinerende område, og jeg vil gerne gå lidt dybere ned i forbrugeradfærden. Som en forlængelse af nogle af de adfærdsmønstre, vi har internaliseret over tid, er dette en løbende proces. Hvilke ændringer i den måde, mennesker interagerer med teknologi på, bør produktledere forberede sig på i den nærmeste fremtid?

Dhruv Batra: Fremkomsten af AI-produkter på forbrugermarkedet har helt sikkert ændret folks forventninger. Der vokser nu børn op, som ganske enkelt forventer at kunne tale med maskiner.

Der er altid en episode fra en fremtidsserie eller et science fiction-scenarie, hvor børn, der vokser op i teknologisk avancerede civilisationer, undrer sig over ældre teknologi og spørger: »Hvorfor kan jeg ikke tale med mit tv? Hvorfor forstår det mig ikke?« Jeg tror, vi ser det samme skift i forventningerne i forbrugeradfærden. Man føler, at man bør kunne udtrykke sig, at man bare bør kunne tale med maskinen. Den bør have visse generelle funktioner. Den bør kunne føre en sammenhængende dialog. Den bør forstå mine brugsmønstre.

Det var også en del af drivkraften bag vores arbejde og vision hos Yutori. Vi ser internettets udvikling gennem de seneste 30 år som gradvise fremskridt oven på en grundteknologi, der forbinder indhold og tjenester med mennesker. Internettet er primært lagt til rette for menneskelig brug, fordi det hidtil primært har været menneskeøjne, der så på nettet. Nu forventer folk at kunne fortælle maskinerne, hvad de skal gøre på deres computer og i deres browser.

Hvorfor skal jeg som person sætte mig ned, klikke på knapper, udfylde mit navn, min adresse og mine kreditkortoplysninger for at købe noget eller indhente oplysninger? Det bør kunne automatiseres, og det er det, vi ser. Dette er et skift i forbrugeradfærden. Ideen om, at jeg skal have 30 faner åbne for at lede efter én bestemt ting, jeg søger efter, og allerede have læst 20 forskellige anmeldelser. Folk vil bare kunne spørge et system til dybdegående research eller et overvågningssystem: »Hvorfor fortæller du mig ikke, når dette sker?«

Det næste skridt er: Hvis du har fortalt mig, at min yndlingskunstner kommer til byen og optræder på fredag, hvorfor køber du så ikke billetterne for mig, mens jeg sidder og kæmper mig gennem formularer og den slags? Jeg tror, skiftet i forbrugernes forventninger bevæger sig op på et højere abstraktionsniveau: De taler med software og forventer, at software automatiserer de trivielle dele af deres liv. Det bliver næsten som en opgaveliste med superkræfter, og jeg tror, der vil opstå en forventning om proaktivitet.

Vi vil ikke sætte os ned og forklare hver eneste gang: »Her er, hvem jeg er, og her er mine præferencer.« Der er en idé om hukommelse. Når du først forstår hukommelse og personalisering, hvorfor gør du så ikke noget proaktivt? Hvorfor skal jeg sidde og sige tingene? Det bliver næsten, som om alle får en assistent og en superpowered medarbejder eller stabschef.

Hannah Clark: Man kan også se, hvordan nogle af de teknologier, vi interagerer med hver dag, bidrager til dette. Tænk på »Til dig«-siden på TikTok, hvor teknologien lærer dine præferencer og de ting, du sandsynligvis vil interagere med og engagere dig i. Vi anvender den samme logik på den teknologi, vi bruger nu, fordi vi ved, at den ved meget om os og vores præferencer og vaner.

Det er interessant, hvordan vores teknologiske landskab på en måde træner nogle af disse forventninger. Jeg synes, det er nogle interessante sammenhænge, man bør holde øje med, når man forsøger at forudse, hvad forbrugerne vil forvente. Det er en god overgang til forretningssiden.

Lige nu ser vi mange virksomheder, der skynder sig på markedet med AI-produkter og AI-funktioner, og de er meget hurtige til at love transformerende muligheder med varierende grad af succes. Hvad vil du sige er de største fejl, du ser produktteams begå, når de afgrænser og positionerer deres AI-funktioner?

Dhruv Batra: Jeg tror igen, det går tilbage til spørgsmålet om intelligensens ujævne natur. Man skal være ekstremt forsigtig. Det påvirker ikke kun forbrugerne, men også dem, der bygger produkterne. Man skal være meget forsigtig med ikke at love himmel og jord, for man vil ikke kunne levere det fra dag ét. Samtidig vokser forbrugernes forventninger til generalitet.

De forventer, at man ikke kun kan levere ekstremt snævre anvendelser, fordi ChatGPT besvarer ethvert spørgsmål. Så hvorfor kan du ikke gøre alt? Dermed opstår fælden, hvor man falder ind i designmønstret med et tekstfelt som indgang til alt. Man fortæller ikke brugeren noget. Man lover, at agenten kan gøre hvad som helst.

Det fører til frustration, fordi brugerne først og fremmest står over for en tom flade. Hvilke ting kan jeg spørge om her? Hvis jeg ikke er kalibreret, vil jeg bede om ting, agenten ikke kan gøre, og så bliver jeg frustreret.

Det er en af grundene til, at vi valgte et forholdsvis snævert kapabilitetsområde til vores første produkt. Scouts er agenter, der overvåger alt på nettet for dig. De logger ikke ind på tjenester og udfører ikke handlinger, der ændrer noget. Det er et skrivebeskyttet overvågningsprodukt. Vi sagde dog ikke, at det kun var overvågning af Amazon-priser eller Ticketmaster-begivenheder.

Alle digitale oplysninger, der er tilgængelige på nettet, og som du kunne åbne en browser for at få adgang til, kan disse agenter fortælle dig om. Du får en e-mail, når det sker. Du skal blot fortælle os på naturligt sprog, hvad du vil overvåge, og hvor ofte.

Grunden til, at vi gjorde det på den måde, var, at det var ekstremt vigtigt for os at levere denne funktion. Det er en skrivebeskyttet funktion. Vi træffer ikke beslutninger, der ikke kan gøres om. Hvis vi foretog et køb på dine vegne, ville du blive frustreret, hvis der blev købt det forkerte. Samtidig er der en vis generalitet i de typer forespørgsler, du kan stille, og de steder, hvor du forventer at få oplysningerne.

Derfra skal man op ad tillidens trappe. I begyndelsen leverede vi værdi uden at bede om loginoplysninger eller kreditkortoplysninger. Når brugerne har oplevet en vis værdi, vil de naturligt forvente, at man kan gøre mere. Hvis jeg følger en kunstner, der kommer til byen, er næste skridt: »Find en billet til mig.« Hvis jeg følger tilgængeligheden af en restaurantreservation, er næste skridt at foretage reservationen. Hvis jeg er rekrutterer og følger en bestemt kandidats bevægelser, er næste skridt at udarbejde en kontaktmail.

Fra en udviklers perspektiv er jeg nybegynder. Jeg er AI-forsker. Jeg føler ikke, at jeg er i en position, hvor jeg kan give råd. Jeg kan blot pege på den forsigtighed, vi selv følger: intelligens har en ujævn natur. Nogle opgaver vil man kunne løse, andre ikke. Typisk kan man løse de opgaver, hvor man har mulighed for at øve sig, og hvor fejlene ikke er for dyre. Derfra bygger man gradvist videre.

Hannah Clark: Det er meget kloge ord, og jeg forstår fuldstændigt, hvad du mener med at frustrere brugerne med begrænsninger, der er uklare i brugeroplevelsen. De går ind i en chatrobot og vil naturligt interagere med den, som man ville forvente at interagere med en levende agent.

Det kan føre til stor frustration. Der er en cost-benefit-analyse ved ikke at begrænse omfanget af det mulige og ved at løbe risikoen for, at forbrugerne vender sig væk og får mindre tillid til teknologien generelt.

Dhruv Batra: Hvis de ikke finder værdi i det, du sagde, produktet kunne, får de dårlige oplevelser og forlader produktet. De kommer ikke tilbage.

Hannah Clark: Lad os gå lidt dybere ned i det. Jeg tænker, at tillid er et kerneelement i, hvorfor folk vender sig væk på det kritiske tidspunkt. Hvordan bør produktledere tænke på at opbygge tillid hos forbrugerne uden at love funktioner, der endnu ikke er klar, eller som de ikke kan levere?

Dhruv Batra: Det går tilbage til det tidligere spørgsmål. Folk skal se værdi, før de udleverer loginoplysninger eller følsomme oplysninger som kreditkort. Hvis man som det allerførste beder forbrugerne om adgang til kalenderen, e-mailindbakken og et par andre konti, før de overhovedet har set, hvad produktet kan, er det en ekstremt risikabel strategi.

Det kan måske gøre produktet viralt på sociale medier, men forestil dig, at du selv var brugeren. Vil jeg virkelig udlevere min arbejdsmail med følsom dokumentation eller mit kreditkort uden at vide, hvad du kan eller ikke kan levere?

Derfor begyndte vi uden autentificering, uden skrivehandlinger og uden at ændre verdens tilstand. I begyndelsen læser systemet blot. Det betyder, at AI ikke lover dig 100 procent nøjagtighed, og at du kan prøve igen, hvis der er begået fejl.

Det er muligt at prøve igen i et skrivebeskyttet produkt. Det er ikke muligt i et produkt, der foretager handlinger, hvor fejlene ikke kan gøres om. Det er den slags ting, vi har i tankerne, når vi skal op ad tillidens trappe sammen med vores brugere.

Hannah Clark: Jeg kan se, hvordan ideen om dette minder om et andet eksempel, som egentlig ikke har noget med sagen at gøre, men som illustrerer et lignende punkt.

Jeg havde en ven, der flyttede til Canada fra Brasilien. Hun troede, at Canada var det sikreste land i verden, og at alt var sikkert overalt. I hendes første uge i Canada var der et røveri på hendes gade, og pludselig syntes hun, at alt var usikkert. Det er lidt den samme idé.

Dhruv Batra: Tid til værdi.

Hannah Clark: Tid til begejstring, tid til værdi, men også hvor skrøbelig og problemfyldt den indledende tillidsopbygning kan være, når noget forstyrrer ens forventning til det, der bliver leveret, og ryster den grundlæggende tillid.

Lad os gå videre til teknologisiden. Fra dit perspektiv som AI-forsker, hvilke problemer vil du sige i vid udstrækning er løst i dag? Og hvilke vil du sige – og jeg ved, at det er et upræcist sprog, fordi de ligger i den nærmeste fremtid, og det kan altid ændre sig – befinder sig i horisonten på kort sigt, kontra det, der måske altid ligger nogle få år ude i fremtiden?

Dhruv Batra: Det konkrete eksempel, jeg vil bruge, er problemet med at besvare spørgsmål om billeder. Grunden til, at jeg tænker på det, er, at jeg i sidste uge var til konferencen ICCV, International Conference on Computer Vision.

Mine samarbejdspartnere og jeg modtog det, der kaldes en Mark Everingham-pris, for arbejde, vi udførte for et årti siden. Arbejdet hed Visual Question Answering. Vi introducerede et datasæt, en opgave, et benchmark og en række metoder til forskningsmiljøet for at bygge den første generation af agenter, der kunne besvare åbne spørgsmål om naturlige billeder.

I løbet af de seneste ti år har vi hjulpet forskningsmiljøet med at følge fremskridtene ved at arrangere årlige konkurrencer. Vi stoppede med at arrangere konkurrencen i 2021, fordi de fleste metoder var ekstremt dårlige, da vi begyndte i 2015. Som du kan forestille dig, var det en vanskelig opgave at besvare spørgsmål om billeder.

I 2021 havde vi på det datasæt, vi havde skabt, i praksis opnået menneskelig nøjagtighed. Vi havde nået menneskelig enighed i besvarelsen af disse spørgsmål, og derfor stoppede vi konkurrencen. Som jeg nævnte, er det interessant, hvordan jeg i løbet af de seneste ti år endte med at lede et team hos FAIR, der byggede moderne metoder, som blev lanceret på Ray-Ban Meta-solbriller. Her kan man aktivere en assistent og sige: »Hey Meta, tag et billede. Fortæl mig mere om dette monument.«

Det problem er blevet løst på ti år. Da vi begyndte, var der en lang række helt åbne problemer. Spørgsmål, der krævede læsning af tekst i den virkelige verden, var håbløse. Hvis man spurgte: »Hvad står der på skiltet?«, brugte de fleste metoder ikke OCR eller optisk tegngenkendelse, så de kunne ikke læse teksten på skiltet.

Metoderne var derfor nødt til at svare ud fra forudgående antagelser. Hvad plejer der at stå på skilte? Skilte siger »stop« eller »kør«. Derfor lavede de bare almindelige gæt. Vi fandt ud af, at dette var et almindeligt problem, og at de fleste modeller til besvarelse af billedspørgsmål var stærkt domineret af sproglige forudindtagelser. Hvis du tog et billede af bananer og spurgte, hvilken farve bananerne havde, ville modellen sandsynligvis sige gul, fordi de fleste bananer i verden er gule.

Det ved den fra træningsdatasættet. Den kan faktisk ikke se særlig godt. Man kan tænke på det som at knibe øjnene sammen over for billedet. Det kan være et billede af en grøn banan, men den siger, at bananen er gul, fordi de fleste bananer er gule. Vi udvidede besvarelse af spørgsmål til dialog med chatrobotter, og kernereferencer var et ekstremt vanskeligt problem.

Hvis man spørger: »Er der en person på billedet?« og får svaret ja, og derefter spørger: »Hvad laver personen?«, er det en kernereference til en visuel enhed, vi netop talte om. Det var et svært problem. Modellen var allerede forvirret. Den vidste ikke, hvad »han« eller »de« henviste til.

Disse problemer betragtes i dag som løste. I den grad vi kan måle det, er de ikke længere åbne forskningsproblemer. Der findes dog stadig problemer, som er ekstremt åbne. Det er stadig et åbent problem at tælle objekter i billeder. Tag et billede med mere end ti mennesker i en menneskemængde, og spørg din foretrukne chatrobot, hvor mange mennesker der er på billedet. Se blot, hvilket svar du får. Det er stadig et åbent forskningsspørgsmål.

Det samme gælder spørgsmål om rumlig forståelse i 3D. Tag et billede, hvor der står et bord længst væk, og måske en reol tættere på kameraet. Spørg om bordets og reolens højde. De fleste chatrobotter vil svare ud fra billedets pixelhøjder. De siger måske, at det, der er tættest på kameraet, er højest, fordi de ikke har en rumlig forståelse af dybde. Ting langt væk kan faktisk være højere end ting tættere på kameraet, fordi der findes en 3D-verden bag billedet.

Det er stadig åbne spørgsmål. Når det gælder AI og opbygning af agenter, findes der for eksempel webagenter. Her er der stadig et fænomen, hvor agenter gradvist ændrer adfærd over tid. Hos Yutori bygger vi overvågningsagenter, der kører i månedsvis og overvåger bestemte emner.

Du kan bede om et bestemt nyhedsemne og overvåge det over flere måneder. Det, der kan ske, er, at agenterne langsomt begynder at følge noget, der afviger fra din oprindelige anmodning, fordi ingen endnu har bygget agenter, der kører i månedsvis og derefter kan tildele ansvar og belønne dem for succes eller fiasko over så lange tidshorisonter.

Hannah Clark: Det er en virkelig interessant vinkel, for jeg havde ikke tænkt over, hvilke kriterier vi bruger til at fortælle en agent, at den har gjort noget korrekt. Når man får et korrekt output, går man normalt videre med sit liv. Man siger ikke nødvendigvis: »Godt arbejde, det var fremragende«, eller giver detaljer om, hvad den gjorde rigtigt eller forkert.

Det er interessant i forhold til feedbacksløjfer for teknologien. Er der en brugeradfærd, vi bør tage til os for bedre at træne de modeller, vi er afhængige af? Eller er det noget, der kunne være et helt program i sig selv? Hvordan lukker vi feedbacksløjfen?

Dhruv Batra: Internt foretager vi evalueringer og indsamler feedback på flere abstraktionsniveauer. For browserautomatiseringsagenter eller agenter, der bruger browseren, skal vi manuelt annotere hvert klik. Var det det rigtige at gøre på den pågældende webside, eller var det forkert? Det er naturligvis for lavt niveau og for støjfyldt.

Nogle gange kan en opgave løses på flere måder. Måske skriver man nogle gange et emne i et søgefelt på en webside. Andre gange klikker man direkte på en fane for at gå til informationskilden. Det er for lavt niveau og for støjfyldt. Når en opgave er udført, og du eksempelvis har spurgt en agent, om en restaurant har en ledig reservation klokken 18.30, har agenten måske klikket sig gennem en række knapper, fundet en restaurant og sagt ja eller nej.

Ved slutningen af denne handling findes der et arbejdsbevis. I mange af disse opgaver er der det, man kalder et forskel mellem generering og verificering. Det er nemmere at verificere arbejdsbeviset end faktisk at løse opgaven, fordi løsningen kræver, at man klikker på mange knapper, skriver det rigtige i det rigtige søgefelt og går til det rigtige sted på hjemmesiden.

Hvis en agent vender tilbage og siger: »Ja, jeg har fundet en reservation klokken 18.30«, og der er et skærmbillede af en webside, kan vi læse websiden og se, om agenten havde ret. Derfor bygger vi evalueringer på det. Der findes naturligvis også brugerrettede feedbackmekanismer. Hver gang vores agenter sender e-mails, kan folk give en tommel op eller tommel ned.

Det hænger naturligt sammen med personalisering. Nogle gange findes der ikke rigtige eller forkerte svar. Nogle gange handler det blot om præferencer. Hvis du følger en bestemt nyhed, men er blevet træt af den retning, nyheden bevæger sig i, ville du sige til et menneske: »Jeg vil se mindre af dette og mere af det.«

Ideelt set vil du kunne sige det på naturligt sprog, fordi det er praktisk. Derfor skal man bygge feedbackmekanismer, der modtager feedback på naturligt sprog og ændrer agenternes fremtidige adfærd.

Hannah Clark: Det er meget interessant. Jeg tænker også på, hvordan folk typisk vurderer output fra noget som ChatGPT ud fra, om de er tilfredse med det som en tjeneste, snarere end om de er tilfredse med det fra et teknologisk perspektiv.

Hvis jeg for eksempel sidder ved siden af en kollega, og vi begge genererer madplaner til ugen, kan vi ende med den samme madplan. Jeg synes måske ikke, at den har de rigtige makronæringsstoffer i forhold til det, jeg forsøgte at ramme. Fra et serviceperspektiv er det en tommel ned. Personen ved siden af mig siger måske: »Den gjorde præcis, hvad jeg bad om.« Outputtet er teknisk korrekt i forhold til specifikationerne i prompten. Det er en tommel op.

Det virker meget forvirrende, og der er en vigtig nuance i, hvordan vi forstår vores rolle som leverandører af feedback til disse maskiner. Det er et helt andet datasæt, der kan være meget svært at arbejde med.

Dhruv Batra: De traditionelle forestillinger om A/B-testning – hver gang du bygger en funktion, deler du brugerne i to grupper og viser den ene gruppe ét svar eller én strategi – bryder sammen i mange tilfælde. Nogle gange viser man parallelle svar til den samme bruger og beder dem vælge ét.

Hvis man skal udføre en arbejdsgang og købe eller gøre noget, findes der ingen A/B-test, fordi man ikke vil udføre den samme handling to gange. Brugeren bliver frustreret over det. Tommel op, tommel ned eller A/B-reaktioner er desuden nogle gange for grovkornede til, at brugeren virkelig kan forklare, hvad han eller hun forsøger at sige.

Nogle gange vil man give dem mulighed for, hvis man sender tekstsvar, at fremhæve noget og sige: »Ikke dette«, eller give mere redaktionel feedback, sådan som man ville gøre over for et andet menneske. Hvis du gennemgik en andens Google-dokument, ville du ikke bare give en tommel op eller en tommel ned.

Hannah Clark: Det ville være forfærdeligt. En tommel ned. Hvilken del af det er en tommel ned?

Dhruv Batra: Præcis. Det er som at gå til sin redaktør og kun høre: »Nej, ret det.« Ret hvad?

Hannah Clark: Lav det hele om igen. Wow. Og selvfølgelig kræver det meget. Selv hvis vi havde mulighed for at gå ind i outputtet fra en stor sprogmodel eller modellens svar til os og give den slags kritiske feedback, er det meget at bede om fra en bruger, der bare gerne vil have, at det virker.

Dhruv Batra: Brugeren skal føle, at feedbacken er en investering i personaliseringen af chatrobotten, så den bliver bedre til det, brugeren ønsker at kunne gøre. Brugeren kan ikke være din kvalitetssikringsingeniør. Men oplevelsen skal være, at dette er min assistent. Derfor personaliserer enhver feedback, jeg giver assistenten, den og gør den bedre og mere i overensstemmelse med mine præferencer. Det føles som det rigtige forhold og den rigtige måde at engagere sig på.

Hannah Clark: Jeg er enig. Jeg er langt mere tålmodig med en model, der er tydelig omkring, at den forsøger at lære mine præferencer.

Jeg oplever ofte, at når man stiller en forespørgsel til en stor sprogmodel, og den med det samme stiller opklarende spørgsmål, selv hvis de virker lidt trivielle, understøtter det ideen om, at alt det, jeg fortæller den, skal være meget mere specifikt, end jeg forventer, for at få det output, jeg ønsker.

Det forbereder mig på skuffelse, hvis jeg ikke rammer helt rigtigt. Det er noget vigtigt at huske, når vi udvikler funktioner, der kræver en form for give and take fra brugeren for at få det output, vi alle ønsker.

Dhruv Batra: Det er her, vi vender tilbage til tillidens trappe. Hvis det allerførste, du gør over for en bruger, der blot forsøger at opleve dit produkt, er at give dem et spørgeskema med 20 spørgsmål, forsøger de bare at nå frem til begejstring. De vil opbygge en hurtig model af, hvad du kan, og derefter iterere. Det kan derfor ikke være det første, du bombarderer brugeren med. Når de har set en vis værdi, kan du stille spørgsmålene og indsamle præferencer.

Hannah Clark: Hvorfor nu? Hvorfor har du startet Yutori nu? Hvorfor er dette det øjeblik, hvor du har besluttet at starte projektet, og hvad er grundlæggende anderledes ved landskabet lige nu, som gør dette muligt, hvor det ikke var muligt tidligere?

Dhruv Batra: Jeg er naturligvis modtagelig for bagklogskabens bias, men jeg føler, at dette er et unikt tidspunkt til at bygge bestemte typer AI-drevne produkter, som vi ikke kunne bygge tidligere. Jeg arbejdede med robotteknologi, før jeg kunne have startet en robotvirksomhed, og der er ingen mangel på sådanne virksomheder. Jeg tror ikke, det er det rette tidspunkt at starte en forbrugerfokuseret eller ustruktureret robotvirksomhed, fordi de problemer, der skal løses, stadig ligger årtier ude i fremtiden.

Folk glemmer, at det var i 2004, at den amerikanske myndighed DARPA arrangerede DARPA Grand Challenge og bad universiteter bygge selvkørende biler, der kunne køre fra punkt A til punkt B i en ørken. Ingen biler gennemførte. I 2005 var jeg på CMU, som nåede længst, og ved det første forsøg i 2005 gennemførte flere universitetsteams. I slutningen af 00’erne blev en række Stanford-forskere ansat hos Google. Først blev det Google X, og i midten af 00’erne opstod Waymo-projektet.

Først i 2023 eller 2024 fik vi forbrugerrettede applikationer, hvor man i San Francisco kan tilkalde en Waymo til sin hoveddør eller bestemte afhentningssteder. Tænk på rejsen fra 2004 eller 2005, hvor den første forskningsprototype blev demonstreret, til et forbrugerprodukt, der nu er tilgængeligt i bestemte geografiske områder. Det er stadig ikke rullet ud overalt.

En universel udrulning ligger måske stadig et årti ude i fremtiden. Det er udfordringen ved hardware plus AI. Udviklingscyklusserne for software plus AI er meget kortere. Vi er endelig nået til et sted, hvor AI-systemer kan tale med mennesker og har bred viden om verden samt kan føre en dialog.

Perceptionssystemer er modnet, i hvert fald på nettet. Vi kan tage et skærmbillede af nettet og forstå, hvordan hjemmesider er opbygget, og hvilke knapper der gør hvad. Der findes en vis bred almenforståelse. Endelig er open source-modeller blevet udgivet i løbet af de seneste år, hvilket gør det muligt for mindre aktører som os selv at komme i gang.

For nogle år siden skulle vi, hvis vi ville bygge en startup med webautomatisering eller webagenter, begynde med fortræning. Fortræning af sprogmodeller og syns-sprogmodeller er en helt anden virksomhed med helt andre kapitalinvesteringer, beregningskrav og datakrav.

I dag eftertræner vi modeller. Det betyder, at vi begynder med open source-syns-sprogmodeller og eftertræner dem til browserautomatisering, klik på knapper, udfyldning af formularer og så videre. Det havde ikke været muligt for nogle få år siden. Samtidig er dette ikke et problem med lange iterationscyklusser, der stadig ligger mere end et årti ude i fremtiden.

Jeg tænker på det sådan: Der findes ikke en mulig verden, hvor robotter er flyttet ind i vores hjem, men hvor vi stadig sidder ved vores bærbare computere og skriver vores navne i browserfelter. Digitale assistenter vil komme, før fysiske assistenter gør, fordi den digitale verden bevæger sig hurtigere. Den har kortere iterationscyklusser, og meget af det grundlag, vi kan udvikle disse intelligente systemer på, er blevet standardiseret, så vi kan fokusere på de sidste problemer.

Hannah Clark: Det var et meget velformuleret svar. Og jeg elsker brugen af ordet »grundlag«. Det har været en utrolig fascinerende samtale. Jeg føler, at vi kunne være gået meget dybere, og jeg er sikker på, at mange gerne ville gøre netop det. Hvor kan folk følge dit arbejde online?

Dhruv Batra: Personligt kan man finde mig på dhruvbatra.com. Det er min webside. Mit arbejde findes på yutori.com, og vores produkt hedder Scouts. Det findes på scouts.yutori.com.

Hannah Clark: Fantastisk. Mange tak fordi du ville være med, Dhruv. Jeg sætter virkelig pris på det.

Dhruv Batra: Tak fordi du inviterede mig. Det var vidunderligt.

Hannah Clark: Næste gang i podcasten The Product Manager: At lede produktarbejde i AI’s tidsalder betyder, at man løser mange af de samme problemer på meget forskellige måder. Fra udviklingsprocesser til distributionsstrategier er næsten alle de fremgangsmåder, der virkede for et år siden, allerede forældede – noget Webflows produktdirektør Rachel Wolan både betragter som en udfordring og en utrolig mulighed.

Du får de svar og den klarhed, du har ventet på, om emner som optimering til svarmotorer, bygge kontra købe og den rigtige måde at træde ind på AI-markedet. Abonnér nu, så du ikke går glip af det.