Czy zbyt wiele obiecujemy w dziedzinie sztucznej inteligencji i dostarczamy zbyt mało?

Hannah Clark: Innowacje mają charakter kumulatywny — mam przez to na myśli, że sposoby, w jakie rozwiązujemy dziś problemy, nie byłyby skuteczne, gdyby nie sposoby, w jakie rozwiązywaliśmy je wcześniej. Choć obecnie wyrażenie „dane treningowe” jest zazwyczaj używane w kontekście rozwoju sztucznej inteligencji, warto pamiętać, że użytkownicy są również konsumentami i przechowują ogromne ilości danych treningowych zgromadzonych przez lata odkrywania i wdrażania każdego używanego przez nich oprogramowania. Podczas gdy my zajmujemy się obsesyjnym analizowaniem przypadków użycia i nowych funkcji naszych produktów opartych na sztucznej inteligencji, użytkownicy kierują się innym scenariuszem. Działają zgodnie z preferencjami, nawykami i, co najważniejsze, oczekiwaniami, które kształtowały się od momentu, gdy po raz pierwszy otworzyli przeglądarkę internetową.

Moim dzisiejszym gościem jest Dhruv Batra, współzałożyciel i główny naukowiec w firmie Yutori. Jak za chwilę usłyszycie, doświadczenie Dhruva w badaniach nad sztuczną inteligencją, jej rozwoju, trenowaniu i zarządzaniu obejmuje ponad 20 lat. Jak możecie sobie wyobrazić, ma on więcej fascynujących spostrzeżeń na temat tej technologii, niż moglibyśmy omówić w jednym odcinku. Dlatego, gdy zapytałam Dhruva, co najbardziej chciałby przekazać liderom produktów, nie wahał się ani chwili. Powiedział, że możliwości sztucznej inteligencji są niezwykle nierówne. Za chwilę dokładnie wyjaśni, co oznacza to dla użytkowników, organizacji i najbliższej przyszłości produktów. Zaczynajmy.

A tak przy okazji — takie rozmowy prowadzimy co tydzień, więc jeśli brzmi to dla was interesująco, może warto zasubskrybować podcast? Dobrze, zaczynajmy.

Witajcie ponownie w podcaście „Menedżer produktu”. Jest dziś ze mną Dhruv Batra, współzałożyciel i główny naukowiec w firmie Yutori.

Dhruv, bardzo dziękuję, że do mnie dołączyłeś.

Dhruv Batra: Oczywiście. Dziękuję za zaproszenie, Hannah.

Hannah Clark: Zacznijmy od odrobiny informacji wprowadzających. Czy możesz opowiedzieć nam trochę o swoim doświadczeniu i o tym, jak twoja droga przez badania nad sztuczną inteligencją — od głębokiego uczenia się po dzisiejszą rewolucję generatywną — wpłynęła na twoją perspektywę dotyczącą obecnego stanu tej technologii?

Dhruv Batra: Jestem badaczem sztucznej inteligencji. Pracuję w tej dziedzinie od prawie 20 lat. We współczesnych rozmowach badania nad sztuczną inteligencją wydają się zaczynać wraz z rewolucją ChatGPT w 2022 roku. Ja wszedłem do tej dziedziny w 2005 roku, przed poprzednią epoką głębokiego uczenia. Uzyskałem doktorat na CMU, pracując nad podstawowymi problemami uczenia maszynowego stosowanymi do zagadnień widzenia komputerowego, takich jak wykrywanie obiektów na obrazach.

Przez lata budowałem chatboty, a także pierwsze systemy, które potrafiły odpowiadać na pytania dotyczące obrazów i prowadzić dialog na ich temat. Przez wiele lat byłem profesorem w Georgia Tech. Stworzyłem zajęcia z głębokiego uczenia. Spędziłem również osiem lat w firmie Meta. Byłem starszym dyrektorem i kierowałem zespołem FAIR Embodied AI. FAIR to dział firmy Meta zajmujący się podstawowymi badaniami nad sztuczną inteligencją.

Ucieleśniona sztuczna inteligencja dotyczy robotyki i inteligentnych okularów. Jeden z moich zespołów w firmie Meta zbudował wczesną wersję modelu odpowiadającego na pytania dotyczące obrazów, który został wdrożony jako asystent multimodalny w pierwszej wersji okularów Ray-Ban Meta. Inne moje zespoły stworzyły najszybszy na świecie symulator 3D do trenowania wirtualnych robotów, zanim wdrożyliśmy je na robocie firmy Boston Dynamics.

Miałem więc kontakt z całym spektrum zagadnień — od widzenia komputerowego, przez chatboty, po robotykę. Fascynuje mnie inteligencja i budowanie inteligentnych systemów, a ta fascynacja doprowadziła mnie dziś do Yutori.

Hannah Clark: Wyraźnie jesteś bardzo kompetentną osobą, która może wypowiadać się na ten temat, a myślę, że wszyscy chcielibyśmy wiedzieć o nim jak najwięcej. Bardzo cieszę się na dzisiejszy temat, ponieważ przyjrzymy się bliżej oczekiwaniom i rzeczywistości dotyczącej obecnego stanu technologii sztucznej inteligencji.

Omówimy dziś trzy perspektywy: użytkownika, biznesu i technologii. Zacznijmy od użytkowników. Obecnie jesteśmy oczywiście uwikłani w ogromny cykl szumu informacyjnego wokół sztucznej inteligencji, ale użytkownicy często doświadczają bardzo niespójnych rezultatów — zależnie od narzędzi i przypadków użycia, które wybierają.

Co twoim zdaniem powoduje obecnie lukę między tym, czego użytkownicy oczekują od sztucznej inteligencji, a tym, co ta technologia rzeczywiście może dostarczyć?

Dhruv Batra: To świetne pytanie. Dotyka problemu leżącego u podstaw nie tylko budowania produktów, lecz także badań nad sztuczną inteligencją. Chodzi o naturę tego, co często określa się mianem nierównej natury inteligencji.

Podobnie jak w przypadku wielu takich tematów, istnieje słynny komiks XKCD, w którym postać przypominająca menedżera produktu prosi postać przypominającą inżyniera: „Hej, możesz zbudować mi aplikację? Za każdym razem, gdy użytkownik zrobi zdjęcie, chcę wiedzieć, czy zostało ono wykonane w parku narodowym”. Inżynier odpowiada: „Jasne, to brzmi jak proste zapytanie oparte na GPS do bazy danych”.

„Daj mi kilka godzin, powinno się udać”. Następnie menedżer produktu mówi: „Powiadom mnie, jeśli na zdjęciu znajduje się ptak”. Inżynier odpowiada: „Będę potrzebować zespołu badawczego, 50 milionów dolarów, pięciu lat i być może uda nam się odpowiedzieć na to pytanie”.

Konkretny przykład z tej historii nie jest już aktualny. Widzenie komputerowe poczyniło wystarczające postępy, aby wykrywanie gatunków ptaków czy psów uznawać dziś za problem rozwiązany. Myślę jednak, że historia ta pokazuje istnienie niezwykle gwałtownych przejść od problemów banalnych do problemów niewyobrażalnie trudnych. Tę gwałtowność trudno ludziom konceptualizować i przewidywać.

Dotyczy to nie tylko użytkowników technologii. Dotyczy również twórców technologii, twórców produktów, a także badaczy sztucznej inteligencji. Kiedy spędza się czas na budowaniu tej technologii, poszczególni badacze tworzą mentalne modele tego, co maszyny potrafią, a czego nie potrafią.

W dzisiejszym świecie żartujemy na przykład, że zbudowaliśmy chatboty, które potrafią odpowiadać na pytania z zaawansowanej matematyki, a jednocześnie popełniają błędy, takie jak stwierdzenie, że 9,11 jest większe od 9,9 — czego nie zrobiłby żaden człowiek. To po prostu rodzaj błędu, który popełniają chatboty.

Dlaczego tak się dzieje? Wynika to z kilku powodów. Budujemy inteligentne systemy znajdujące się w innym punkcie krajobrazu inteligencji, a ludzie podchodzą do nich z ludzkim rozumieniem wynikającym z kontaktów z innymi ludźmi.

Kiedy rozmawiam z człowiekiem, wiem, czy ukończył szkołę średnią, studia, uniwersytet albo uzyskał doktorat w określonej dziedzinie. Mam wobec niego różne oczekiwania. Jeśli ktoś mówi, że ma doktorat z chemii, nie spodziewam się, że popełni błąd polegający na uznaniu, że 9,11 jest większe od 9,9.

Oczekuję po prostu, że będzie sprawny matematycznie, ogólnie dobrze poinformowany o świecie i tak dalej. Te oczekiwania załamują się w kontakcie z systemami sztucznej inteligencji, ponieważ nie możemy polegać na tych samych wspólnych założeniach. Wydajność w określonych zadaniach wymaga trenowania pod kątem tych zadań.

Mimo że w ciągu ostatnich kilku lat zbudowaliśmy systemy ogólnego przeznaczenia, istnieje bardzo konkretne znaczenie słowa „ogólność”. Użytkownikom trudno jest więc tworzyć mentalne modele tych systemów. Powstaje frustrująca sytuacja: użytkownik trafia na produkt, którego opis sugeruje, że potrafi on robić wiele rzeczy. Prosi go o wykonanie zadania wymienionego na stronie producenta — i być może produkt je wykonuje. Następnie użytkownik zadaje lekko zmodyfikowane pytanie, a system nie potrafi już sobie z nim poradzić.

Hannah Clark: Zdecydowanie. To również zupełnie nowe zachowanie konsumenckie. Jesteśmy przyzwyczajeni do funkcji, które są bardzo konkretne, intuicyjne i łatwe w użyciu. Ludzie odwołują się więc do wcześniejszych doświadczeń związanych z rozmową z chatbotem albo drugim człowiekiem i przenoszą te oczekiwania na funkcję, która jest w dużej mierze niezdefiniowana.

Nie rozumiemy jeszcze ograniczeń poszczególnych kompetencji. To bardzo złożona technologia, której wszyscy uczymy się używać razem. Kiedy myślimy o codziennych zadaniach, które sztuczna inteligencja mogłaby automatyzować — takich jak rezerwowanie podróży czy zarządzanie harmonogramem — co sprawia, że są one trudniejsze, niż zakładają ludzie?

Dhruv Batra: Posłużę się Yutori i tym, co budujemy, jako przykładem. W Yutori tworzymy osobistych asystentów, którzy mogą automatyzować przyziemne przepływy pracy w internecie. Nasz pierwszy produkt nazywa się Scouts. To zespół agentów monitorujących dla ciebie dowolne informacje w sieci. Bardzo ważne było dla nas jasne określenie oczekiwań: produkt monitoruje określony fragment informacji.

Nie możesz poprosić go o zarezerwowanie czegoś ani o dokonanie zakupu. Nie stworzy za ciebie prezentacji. Nie odrobi pracy domowej. Nie napisze za ciebie kodu. Nie potrafi zrobić wszystkiego, co można zrobić w przeglądarce. Może jednak powiadomić cię, gdy twój ulubiony artysta przyjedzie do twojego miasta.

Możesz poprosić go o monitorowanie rezerwacji wymagającej wypełnienia prostego formularza w przeglądarce i kliknięcia przycisków. Możesz poprosić agenta, aby to zrobił, a następnie poinformował cię, jakie informacje są dostępne.

Jeśli jesteś rekruterem i śledzisz zmiany stanowisk określonego zestawu osób, agent może powiadomić cię, gdy dana osoba ogłosi zmianę na platformie X, LinkedInie albo na swoim blogu.

Dlaczego to jest trudne? Wydaje się banalne. Ludzie siadają, otwierają przeglądarkę, przechodzą na określoną stronę i wypełniają odpowiednie pola. Fundamentalnie są to jednak problemy znane jako problemy sekwencyjnego podejmowania decyzji. Znajdujesz się w określonym stanie — być może na stronie internetowej — i musisz wykonać kilka działań.

Strony internetowe są projektowane z myślą o ludziach. Kod HTML jest bardzo niespójny, jeśli chodzi o oznaczanie i opisywanie przycisków w różnych witrynach. To zatem przede wszystkim problem percepcji. Klikasz przycisk, coś się dzieje. Przewijasz stronę, wypełniasz formularz, coś się dzieje. Każdy popełniony po drodze błąd po prostu się propaguje, a wcześniejsze błędy prowadzą do późniejszych niepowodzeń.

To podobny problem do tego, z którym mierzyły się robotyka i branża pojazdów autonomicznych. Zrozumieliśmy, że gdy robot popełnia błąd, błędy te zaczynają się kumulować. Jeśli lekko zjedziesz z pasa ruchu, przestajesz znajdować się na jego środku i musisz wykonać manewr korekty.

Podobnie jest z budowanymi przez nas agentami automatyzującymi przeglądarkę. Jeśli trafisz do części strony, która się zawiesiła albo w której nie powinieneś się znajdować, nie uzyskasz właściwej odpowiedzi. Podczas działania w rzeczywistym świecie trzeba więc nauczyć agenta odzyskiwania po błędach.

Istnieją także zadania tylko do odczytu oraz zadania obejmujące zapis. Jeśli wypełnisz formularz i klikniesz „Wyślij”, niektóre strony nie pozwolą ci wrócić i wypełnić go ponownie. Oznacza to, że popełniłeś błąd nieodwracalny. Trenowanie pod kątem takich błędów jest trudne, dlatego trzeba tworzyć repliki rzeczywistego świata.

To właśnie robią robotycy, tworząc trójwymiarowe symulatory świata, niemal jak wirtualne gry, trenując wirtualne roboty w symulacji, a następnie wdrażając je w świecie rzeczywistym. To samo robimy z agentami automatyzującymi przeglądarkę. Jeśli mają nauczyć się wypełniać formularz i klikać przycisk „Wyślij” albo dokonywać zakupów w internecie, muszą trenować w symulacji, ponieważ popełnienie takiego błędu może być nieodwracalne.

To tylko niektóre czynniki sprawiające, że te problemy są trudne. Często trudno też ustalić, które działania agenta sztucznej inteligencji przyczyniły się do sukcesu albo porażki. Nazywa się to problemem przypisywania zasług.

Hannah Clark: Wszystkie te procedury wydają się nam proste, ponieważ jako ludzie jesteśmy dobrze wytrenowani w ich wykonywaniu. Na poziomie technicznym mamy jednak do czynienia z czymś znacznie bardziej złożonym. Nie uwzględnia to nawet preferencji: o której godzinie, gdzie w restauracji chcesz usiąść, czy przy barze. Można sobie wyobrazić, że z perspektywy kodowania istnieje wiele innych kwestii, które są niezwykle trudne.

Dhruv Batra: Podam mały przykład. Ludzie są przyzwyczajeni do określonych wzorców projektowych. Kiedy wchodzisz na stronę internetową i próbujesz zarezerwować wizytę albo spotkanie, często widzisz, że data lub przedział czasowy jest wyszarzony albo przekreślony. Rozumiesz wtedy, że termin jest niedostępny, nawet jeśli nad nim ani obok niego nie ma tekstu wyjaśniającego tę niedostępność.

Rozumiesz to, ponieważ zetknąłeś się z takim wzorcem projektowym na wielu stronach i w różnych tekstach. Jak maszyna ma to zrozumieć? Mogła przeczytać wiele książek, ale musi również wejść w interakcję ze stronami internetowymi, aby zrozumieć, że wyszarzony tekst coś oznacza.

To tylko jeden przykład wzorców projektowych przeznaczonych dla ludzi, które maszyny muszą przyswoić. Kliknięcie określonego przycisku może niczego nie spowodować, a żaden tekst nie opisuje jego funkcji. Po prostu trzeba wiedzieć, co on oznacza.

Hannah Clark: To bardzo interesujące. Przypomina mi rozmowę sprzed wielu lat z Nimrodem Prielem, założycielem firmy Cord.

Rozmawialiśmy wtedy o ewolucji zachowań użytkowników i o tym, jak stopniowe zmiany w naszym rozumieniu elementów UX, a także ogólny układ i projektowanie stron internetowych oraz technologii, tworzą przez lata pewnego rodzaju kumulujący się zasób, który wszyscy przyjmujemy za oczywisty.

To rodzaj wspólnego języka, który wykształcił się przez wiele lat rozwoju technologii. Bardzo trudno przekazać go maszynie. To fascynujący obszar, dlatego chciałabym dokładniej przyjrzeć się zachowaniom konsumentów. Jakie zmiany w sposobie interakcji ludzi z technologią powinni w najbliższej przyszłości uwzględniać liderzy produktów?

Dhruv Batra: Pojawienie się produktów opartych na sztucznej inteligencji na rynku konsumenckim z pewnością zmieniło oczekiwania ludzi. Dorastają dziś dzieci, które po prostu będą oczekiwać możliwości rozmawiania z maszynami.

W filmach science fiction często pojawia się motyw dzieci dorastających w zaawansowanych technologicznie cywilizacjach, które mają kontakt ze starszą technologią i pytają: „Dlaczego nie mogę rozmawiać z telewizorem? Dlaczego on mnie nie rozumie?”. Myślę, że podobną zmianę oczekiwań widzimy w zachowaniach konsumentów.

Ludzie chcą móc wyrażać siebie i rozmawiać z maszyną. Oczekują pewnych ogólnych możliwości, spójnego dialogu oraz rozumienia wzorców użytkowania. To właśnie zmotywowało naszą pracę i wizję w Yutori.

Widzimy ewolucję internetu w ciągu ostatnich 30 lat jako serię stopniowych usprawnień podstawowej technologii łączącej treści i usługi z ludźmi. Internet był przede wszystkim projektowany z myślą o ludziach, ponieważ to ludzkie oczy przeglądały jego zawartość. Teraz ludzie oczekują, że będą mogli powiedzieć maszynie, co ma zrobić na ich komputerze i w przeglądarce.

Dlaczego jako człowiek mam siadać, klikać przyciski i wpisywać imię, adres oraz dane karty kredytowej, aby coś kupić albo uzyskać informację? To powinno być możliwe do zautomatyzowania. Właśnie taką zmianę obserwujemy w zachowaniach konsumentów. Ludzie nie chcą mieć otwartych 30 kart, aby znaleźć jeden produkt, którego szukają, ani czytać 20 różnych recenzji.

Chcą poprosić system prowadzący pogłębione badania albo system monitorujący: „Powiadom mnie, gdy to się wydarzy”. Kolejnym krokiem jest: jeśli poinformowałeś mnie, że mój ulubiony artysta przyjeżdża do miasta i występuje w piątek, dlaczego nie kupisz za mnie biletów, podczas gdy ja będę przebijać się przez formularze?

Oczekiwania konsumentów przesuwają się o poziom wyżej w abstrakcji. Ludzie rozmawiają z oprogramowaniem i oczekują, że zautomatyzuje ono przyziemne elementy ich życia. Oprogramowanie zaczyna przypominać listę zadań z supermocami. Pojawi się również idea proaktywności.

Nie chcemy za każdym razem wyjaśniać, kim jesteśmy i jakie mamy preferencje. Istnieje pojęcie pamięci. Kiedy system rozumie pamięć i personalizację, dlaczego nie miałby działać proaktywnie? Dlaczego muszę za każdym razem wydawać polecenia? To trochę tak, jakby każdy otrzymał osobistego asystenta, superwydajnego pracownika albo szefa sztabu.

Hannah Clark: Widać, jak przyczyniają się do tego technologie, z którymi codziennie wchodzimy w interakcję. Pomyśl o stronie „Dla ciebie” na TikToku i o technologii, która uczy się twoich preferencji oraz tego, z czym prawdopodobnie będziesz wchodzić w interakcję. Stosujemy tę samą logikę wobec technologii, których obecnie używamy i które wiedzą o nas bardzo dużo — w tym o naszych preferencjach i nawykach.

To interesujące, jak środowisko technologiczne kształtuje te oczekiwania. Warto obserwować te zależności, aby przewidywać, czego będą oczekiwać konsumenci. To świetne przejście do strony biznesowej.

Obecnie wiele firm spieszy się z wprowadzaniem na rynek produktów i funkcji opartych na sztucznej inteligencji. Bardzo szybko obiecują przełomowe możliwości, z różnym powodzeniem. Jakie są największe błędy popełniane przez zespoły produktowe przy określaniu zakresu i pozycjonowaniu funkcji sztucznej inteligencji?

Dhruv Batra: To ponownie wiąże się z nierówną naturą inteligencji. Trzeba zachować ogromną ostrożność. Dotyczy to nie tylko konsumentów, ale również twórców. Nie można obiecywać nieba, ponieważ pierwszego dnia nie będzie się w stanie go dostarczyć. Jednocześnie oczekiwania konsumentów dotyczące ogólności rosną.

Użytkownicy oczekują, że aplikacja nie będzie niezwykle wąska, ponieważ ChatGPT odpowiada na każde pytanie. Pojawia się więc pułapka projektowania wszystkiego jako pola tekstowego będącego wejściem do dowolnej funkcji. Nie informuje się użytkownika o ograniczeniach, tylko obiecuje mu cały świat.

„Mój agent może zrobić wszystko” prowadzi do frustracji, ponieważ użytkownik zostaje sam przed pustym płótnem i nie wie, o co może zapytać. Jeśli jego oczekiwania nie są właściwie skalibrowane, poprosi o rzeczy, których agent nie potrafi zrobić.

Dlatego nasz pierwszy produkt ma dość wąski zakres. Scouts to agenci monitorujący dla ciebie dowolne informacje w internecie. Nie logują się do usług i nie wykonują tam działań zmieniających stan. To produkt służący wyłącznie do odczytu. Nie powiedzieliśmy jednak, że chodzi tylko o monitorowanie cen w Amazonie albo wydarzeń w Ticketmasterze.

Każda cyfrowa informacja dostępna w internecie, do której można uzyskać dostęp po otwarciu przeglądarki, może być monitorowana. Agent poinformuje cię o niej wiadomością e-mail. Wystarczy opisać w języku naturalnym, co ma być monitorowane i z jaką częstotliwością.

Zrobiliśmy to, ponieważ niezwykle ważne było dostarczenie tej możliwości. Jest ona przeznaczona wyłącznie do odczytu — nie popełniamy nieodwracalnych błędów. Jeśli dokonamy zakupu w twoim imieniu, a będzie on niewłaściwy, poczujesz frustrację. Jednocześnie zachowujemy pewną ogólność: możesz zadawać różne pytania, a informacje mogą pojawiać się w różnych miejscach.

Następnie trzeba wspinać się po schodach zaufania. Początkowo dostarczaliśmy wartość bez proszenia o dane logowania ani informacje o karcie kredytowej. Gdy użytkownik zobaczy tę wartość, naturalnie oczekuje większych możliwości. Jeśli śledzi artystę przyjeżdżającego do miasta, kolejnym krokiem będzie prośba o zdobycie biletu.

Jeśli śledzi dostępność rezerwacji w restauracji, następny krok polega na dokonaniu rezerwacji. Jeśli rekruter śledzi ruchy określonego kandydata, kolejnym krokiem może być przygotowanie wiadomości rekrutacyjnej.

Z perspektywy twórcy mogę jedynie wskazać zasadę ostrożności, której przestrzegamy: inteligencja ma nierówną naturę. Niektóre zadania uda się rozwiązać, innych nie. Zwykle można rozwiązać te zadania, w przypadku których istnieje możliwość ćwiczenia, dlatego powinny to być zadania, w których błędy nie są zbyt kosztowne. Od tego można stopniowo zaczynać.

Hannah Clark: To bardzo mądre słowa. Często widzę, że użytkownicy frustrują się ograniczeniami, które są dla nich nieprzejrzyste. Wchodzą do chatbota i naturalnie rozmawiają z nim tak, jak rozmawialiby z żywym agentem.

To może prowadzić do dużej frustracji. Istnieje analiza kosztów i korzyści: można nie ograniczać zakresu możliwości i ryzykować, że konsumenci odejdą, a ich zaufanie do całej technologii spadnie.

Dhruv Batra: Jeśli użytkownicy nie znajdą wartości w tym, co obiecujesz, będą mieli nieoptymalne doświadczenia i odejdą. Nie wrócą do ciebie.

Hannah Clark: Zanurzmy się w to głębiej. Myślę, że zaufanie jest podstawowym elementem decydującym o tym, dlaczego ludzie odchodzą w krytycznym momencie. Jak liderzy produktów powinni budować zaufanie konsumentów bez obiecywania możliwości, które nie są jeszcze gotowe albo których nie mogą dostarczyć?

Dhruv Batra: Ludzie muszą najpierw zobaczyć wartość, zanim przekażą dane uwierzytelniające albo poufne informacje, takie jak dane karty kredytowej. Jeśli już na początku prosisz konsumentów o dostęp do kalendarza, skrzynki e-mailowej i innych kont, zanim zobaczą, co produkt potrafi, jest to niezwykle ryzykowna strategia.

Może sprawić, że produkt stanie się popularny w mediach społecznościowych, ale postaw się na miejscu użytkownika. Czy naprawdę chcę przekazać ci służbową skrzynkę e-mail zawierającą poufną dokumentację albo dane karty kredytowej, nie wiedząc, co możesz, a czego nie możesz dostarczyć?

Dlatego zaczęliśmy od braku uwierzytelniania, braku zapisu i braku zmiany stanu świata. Początkowo system tylko odczytuje informacje. Sztuczna inteligencja nie obiecuje stuprocentowej dokładności, ale w produkcie przeznaczonym wyłącznie do odczytu można ponowić próbę popełnienia błędu. W produkcie wykonującym działania nie jest to możliwe w przypadku błędów nieodwracalnych.

Hannah Clark: Widzę tu podobieństwo do niezwiązanego przykładu. Miałam przyjaciółkę, która przeprowadziła się do Kanady z Brazylii. Uważała, że Kanada jest najbezpieczniejszym krajem na świecie. Wszędzie, gdzie chodziła, było bezpiecznie. W pierwszym tygodniu w Kanadzie na jej ulicy doszło do napadu i nagle uznała, że wszędzie jest niebezpiecznie.

Dhruv Batra: Czas do uzyskania wartości.

Hannah Clark: Czas do zachwytu, czas do uzyskania wartości, ale również kruchość i napięcie tego początkowego okresu budowania zaufania, gdy coś zakłóca oczekiwania dotyczące tego, co zostanie dostarczone.

Przejdźmy do strony technologicznej. Z twojej perspektywy badacza sztucznej inteligencji, które problemy można dziś uznać za w dużej mierze rozwiązane, a które pozostają na horyzoncie najbliższych lat?

Dhruv Batra: Posłużę się konkretnym przykładem problemu odpowiadania na pytania dotyczące obrazów. W zeszłym tygodniu byłem na konferencji ICCV, Międzynarodowej Konferencji Widzenia Komputerowego. Moi współpracownicy i ja otrzymaliśmy nagrodę Marka Everinghama za pracę wykonaną dekadę temu.

Praca ta nosiła nazwę Visual Question Answering. Przedstawiliśmy społeczności badawczej zbiór danych, zadanie, punkt odniesienia i zestaw metod do budowania pierwszej generacji agentów, które potrafiły odpowiadać na dowolne otwarte pytania dotyczące dowolnego naturalnego obrazu.

Przez ostatnie 10 lat pomagaliśmy społeczności śledzić postęp, organizując coroczne konkursy. Przestaliśmy je organizować w 2021 roku, ponieważ na początku, gdy zaczynaliśmy w 2015 roku, większość metod była niezwykle słaba. W 2021 roku na utworzonym przez nas zbiorze danych osiągnęliśmy w zasadzie dokładność na poziomie ludzkim. Osiągnęliśmy zgodność z ludźmi w odpowiadaniu na te pytania, dlatego przestaliśmy organizować konkurs.

To interesujący cykl życia: w ciągu ostatnich 10 lat kierowałem zespołem w FAIR, który stworzył nowoczesne metody wdrożone w okularach Ray-Ban Meta. Można w nich przywołać asystenta i powiedzieć: „Hej, Meta, zrób zdjęcie. Opowiedz mi więcej o tym pomniku”. Problem ten został rozwiązany w ciągu dekady.

Na początku istniało wiele całkowicie otwartych problemów. Odpowiadanie na pytania wymagające odczytywania tekstu w naturalnym środowisku było beznadziejne. Jeśli zapytałeś: „Co jest napisane na znaku?”, większość metod nie korzystała z OCR, czyli optycznego rozpoznawania znaków, i nie potrafiła odczytać tekstu.

Modele odpowiadały więc na podstawie wcześniejszej wiedzy. Co zwykle znajduje się na znakach? „Stop” albo „Jedź”. W efekcie zgadywały. Odkryliśmy, że większość modeli odpowiadających na pytania o obrazy była silnie zdominowana przez uprzedzenia językowe. Jeśli sfotografowałeś banany i zapytałeś, jakiego są koloru, model najprawdopodobniej odpowiedziałby „żółte”, ponieważ większość bananów na świecie jest żółta.

Model zna to ze zbioru danych treningowych, ale w rzeczywistości nie widzi zbyt dobrze. Można powiedzieć, że mruży oczy na obraz. Jeśli więc pokażesz mu zielonego banana, odpowie, że banan jest żółty, ponieważ większość bananów jest żółta.

Rozszerzyliśmy odpowiadanie na pytania do dialogu z chatbotami. Odwołania do wcześniej wspomnianych obiektów były niezwykle trudnym problemem. Jeśli zapytasz: „Czy na obrazie znajduje się człowiek?”, system odpowie „tak”. Następnie pytasz: „Co on robi?”. To odwołanie do obiektu wizualnego, o którym mówiliśmy w poprzedniej wypowiedzi. Model był zdezorientowany i nie wiedział, do czego odnosi się „on” albo „oni”.

Dziś problemy te uznaje się za rozwiązane — w zakresie, w jakim potrafimy je mierzyć. Nadal istnieją jednak niezwykle otwarte problemy. Liczenie obiektów na obrazach pozostaje problemem badawczym. Zrób zdjęcie tłumu liczącego więcej niż 10 osób, prześlij je do ulubionego chatbota i zapytaj, ile osób znajduje się na obrazie. Sprawdź, jaką otrzymasz odpowiedź.

Otwarty pozostaje również problem trójwymiarowego rozumienia przestrzeni. Zrób zdjęcie, na którym na dalszym końcu znajduje się stół, a bliżej aparatu regał. Zapytaj o wysokość stołu i regału. Większość chatbotów poda wysokość w pikselach. Uzna, że obiekt znajdujący się bliżej aparatu jest wyższy, ponieważ nie rozumie głębi przestrzennej i nie wie, że przedmioty znajdujące się dalej mogą być w rzeczywistości wyższe.

W przypadku agentów internetowych również istnieje problem dryfu. Agenci monitorujący mogą działać przez wiele miesięcy. Możesz poprosić ich o monitorowanie określonego tematu wiadomości, ale z czasem mogą zacząć śledzić coś odbiegającego od pierwotnej prośby. Nie zbudowano jeszcze agentów działających przez wiele miesięcy, dla których można byłoby przypisywać zasługi i nagrody za sukcesy lub porażki w tak długim horyzoncie.

Hannah Clark: To bardzo interesujące. Nie zastanawiałam się wcześniej, jakie są kryteria informowania agenta, że wykonał coś prawidłowo. Zazwyczaj, gdy otrzymujemy poprawny wynik, idziemy dalej. Nie mówimy systemowi „dobra robota” ani nie przekazujemy mu szczegółów dotyczących tego, co zrobił dobrze lub źle.

Czy użytkownicy powinni przyjąć jakieś zachowania, aby lepiej trenować modele, od których obecnie zależymy? Jak zamknąć pętlę informacji zwrotnej?

Dhruv Batra: Wewnętrznie przeprowadzamy oceny i zbieramy informacje zwrotne na wielu poziomach abstrakcji. W przypadku agentów automatyzujących przeglądarkę musimy ręcznie oznaczać na przykład każde kliknięcie i sprawdzać, czy było właściwe na danej stronie.

To jednak zbyt niski poziom i zbyt dużo szumu. Czasem zadanie można wykonać na kilka sposobów. Można wpisać element w polu wyszukiwania albo kliknąć kartę prowadzącą bezpośrednio do źródła informacji.

Po zakończeniu zadania pozostaje dowód wykonania. W wielu zadaniach istnieje luka między generowaniem a weryfikacją. Weryfikacja dowodu wykonania jest łatwiejsza niż rozwiązanie zadania, ponieważ rozwiązanie wymaga klikania wielu przycisków, wpisywania właściwych danych w odpowiednim polu i przechodzenia we właściwe miejsce na stronie.

Jeśli agent wróci i powie, że znalazł rezerwację na 18:30, może dołączyć zrzut ekranu strony. Możemy ją odczytać i sprawdzić, czy agent miał rację. Na tej podstawie budujemy oceny.

Istnieją również mechanizmy informacji zwrotnej skierowane do konsumentów. Za każdym razem, gdy agenci wysyłają wiadomości e-mail, użytkownicy mogą kliknąć kciuk w górę albo kciuk w dół. Wiąże się to z personalizacją. Czasem nie ma odpowiedzi poprawnych ani błędnych — są tylko preferencje.

Jeśli monitorujesz określoną wiadomość i znudził ci się kierunek, w którym rozwija się dany temat, możesz powiedzieć: „Chcę mniej takich informacji i więcej innych”. Najlepiej zrobić to w języku naturalnym. Trzeba więc budować mechanizmy informacji zwrotnej, które przyjmują komentarze w języku naturalnym i zmieniają sposób działania agentów w przyszłości.

Hannah Clark: Myślę o tym również w kontekście tego, że ludzie często oceniają wyniki ChatGPT przez pryzmat tego, czy są zadowoleni z usługi, a nie z technologii. Jeśli ja i kolega tworzymy plany posiłków na tydzień i otrzymujemy taki sam plan, ale mój nie ma właściwych proporcji makroskładników, oceniam go negatywnie z perspektywy usługi. Kolega może uznać, że system dokładnie wykonał jego polecenie i ocenić wynik pozytywnie.

To pokazuje, jak trudne jest określenie naszej roli jako osób przekazujących informację zwrotną maszynom.

Dhruv Batra: Tradycyjne metody testów A/B często zawodzą. Gdy budujesz funkcję, dzielisz użytkowników na dwie grupy i pokazujesz każdej inną wersję. Możesz też pokazać temu samemu użytkownikowi dwie odpowiedzi i poprosić go o wybór.

To nie działa w wielu przypadkach. Jeśli trzeba wykonać przepływ pracy i coś kupić, nie można przeprowadzić testu A/B, ponieważ nie wykonasz tego samego działania dwa razy. Użytkownik byłby sfrustrowany.

Kciuk w górę i kciuk w dół również bywają zbyt ogólne. Użytkownik powinien czasem móc zaznaczyć konkretny fragment i powiedzieć: „Nie to”, albo przekazać bardziej redakcyjną informację zwrotną — tak jak robiłby to wobec drugiego człowieka. Gdy sprawdzasz czyjś Dokument Google, nie dajesz po prostu kciuka w górę albo w dół.

Hannah Clark: To byłoby okropne. Kciuk w dół — ale która część jest zła?

Dhruv Batra: Dokładnie. To jak pójście do redaktora i usłyszenie: „Nie. Popraw”. Co mam poprawić?

Hannah Clark: Zrób wszystko od nowa. To oczywiście wiele wymaga od użytkownika, który po prostu chce, żeby produkt działał. Trudno jest skłonić ludzi do wypełniania ankiet, nawet jeśli otrzymują kod polecający albo premię. Proszenie ich o współtworzenie produktu jest jeszcze trudniejsze.

Dhruv Batra: Użytkownicy muszą mieć poczucie, że ich informacja zwrotna jest inwestycją w personalizację chatbota zgodnie z ich potrzebami. Użytkownik nie może być twoim inżynierem kontroli jakości. Nie może wskazywać wszystkich problemów produktu. Powinien jednak mieć poczucie, że korzysta z własnego asystenta, a każda przekazana informacja personalizuje go, ulepsza i dostosowuje do jego preferencji.

Hannah Clark: Zgadzam się. Jestem bardziej cierpliwa wobec modelu, który otwarcie stara się poznać moje preferencje. Gdy model od razu zadaje pytania doprecyzowujące, nawet jeśli wydają się błahe, przypomina mi, że moje polecenia muszą być bardziej szczegółowe, niż zakładałam. Przygotowuje mnie to na rozczarowanie, jeśli nie wyrażę się wystarczająco precyzyjnie.

Dhruv Batra: W tym miejscu wracamy do wspinania się po schodach zaufania. Jeśli pierwszą rzeczą, jaką robisz wobec użytkownika chcącego wypróbować produkt, jest przekazanie mu ankiety z 20 pytaniami, będzie on chciał najpierw szybko zrozumieć, co produkt potrafi. Nie może to być pierwsza rzecz, którą go obciążasz. Gdy zobaczy wartość, możesz stopniowo dodawać pytania i preferencje.

Hannah Clark: Dlaczego teraz? Dlaczego właśnie teraz rozpocząłeś działalność Yutori? Co zasadniczo różni obecny krajobraz technologiczny od sytuacji sprzed lat?

Dhruv Batra: Jestem oczywiście podatny na błąd wynikający z perspektywy czasu, ale uważam, że to wyjątkowy moment do budowania określonych rodzajów produktów opartych na sztucznej inteligencji. W przeszłości zajmowałem się robotyką i mógłbym założyć firmę robotyczną. Nie sądzę jednak, aby był to właściwy moment na rozpoczęcie działalności w obszarze robotyki konsumenckiej, ponieważ problemy, które trzeba rozwiązać, dzielą nas od tego celu o kilka dekad.

W 2004 roku agencja DARPA zorganizowała konkurs DARPA Grand Challenge, prosząc uniwersytety o zbudowanie autonomicznych samochodów, które mogłyby przejechać z punktu A do punktu B przez pustynię. Żaden samochód nie ukończył trasy. W 2005 roku wiele zespołów uniwersyteckich ukończyło pierwszą próbę. Pod koniec lat 2000 badacze ze Stanford dołączyli do Google, początkowo do Google X, a później do projektu Waymo.

Dopiero w 2023 albo 2024 roku pojawiły się aplikacje konsumenckie, dzięki którym w San Francisco można zamówić Waymo pod własny dom albo do określonego punktu odbioru. Pomyśl o drodze od 2004 lub 2005 roku, kiedy pokazano pierwszy prototyp badawczy, do produktu konsumenckiego dostępnego przynajmniej w niektórych lokalizacjach. Powszechne wdrożenie może nastąpić dopiero za kolejną dekadę.

To wyzwanie związane z połączeniem sprzętu i sztucznej inteligencji. Cykl rozwoju oprogramowania i sztucznej inteligencji jest znacznie krótszy. Systemy sztucznej inteligencji potrafią wreszcie rozmawiać z ludźmi, posiadają szeroką wiedzę o świecie i mogą prowadzić dialog.

Systemy percepcji dojrzały, przynajmniej w internecie. Możemy wykonać zrzut ekranu strony i rozpoznać jej układ oraz funkcje poszczególnych przycisków. Istnieje też szeroko zakrojone rozumienie zdroworozsądkowe. Wreszcie w ciągu ostatnich kilku lat udostępniono modele otwartoźródłowe, dzięki którym mniejsze firmy, takie jak nasza, mogą rozpocząć pracę.

Kilka lat temu, aby zbudować firmę zajmującą się automatyzacją internetu albo agentami internetowymi, musielibyśmy zacząć od wstępnego trenowania modeli językowych oraz modeli językowo-wizyjnych. Byłoby to zupełnie inne przedsięwzięcie, wymagające innych inwestycji kapitałowych, mocy obliczeniowej i danych.

Dziś dostrajamy modele po treningu wstępnym. Zaczynamy od modeli otwartoźródłowych i dostosowujemy je do automatyzacji przeglądarki, klikania przycisków, wypełniania formularzy i podobnych zadań. Kilka lat temu nie byłoby to możliwe.

Nie istnieje możliwy świat, w którym roboty pojawiły się już w naszych domach, a my nadal siedzimy przy laptopach i wpisujemy swoje imiona w pola przeglądarki. Asystenci cyfrowi pojawią się przed asystentami fizycznymi, ponieważ świat bitów porusza się szybciej. Ma krótsze cykle iteracji, a wiele elementów potrzebnych do tworzenia inteligentnych systemów stało się towarem powszechnie dostępnym. Możemy więc skupić się na problemach ostatniej mili.

Hannah Clark: To bardzo elokwentna odpowiedź. Podoba mi się również użycie słowa „substrat”. Ta rozmowa była niezwykle fascynująca. Moglibyśmy wejść znacznie głębiej i jestem pewna, że wiele osób chciałoby to zrobić. Gdzie można śledzić twoją pracę w internecie?

Dhruv Batra: Osobiście można znaleźć mnie pod adresem dhruvbatra.com. To moja strona internetowa. Moja praca jest dostępna na yutori.com, a nasz produkt nazywa się Scouts i jest dostępny pod adresem scouts.yutori.com.

Hannah Clark: Wspaniale. Dhruv, bardzo dziękuję za udział w rozmowie.

Dhruv Batra: Dziękuję za zaproszenie. To była wspaniała rozmowa.

Hannah Clark: W następnym odcinku podcastu „Menedżer produktu”: prowadzenie produktu w epoce sztucznej inteligencji oznacza rozwiązywanie wielu tych samych problemów na zupełnie inne sposoby. Od procesów rozwoju po taktyki dystrybucji — niemal każdy schemat działania, który sprawdzał się rok temu, jest już nieaktualny. Rachel Wolan, dyrektor ds. produktu w Webflow, uważa to zarówno za wyzwanie, jak i niezwykłą szansę.

Poznacie odpowiedzi i klarowne wyjaśnienia dotyczące takich tematów jak optymalizacja pod kątem silników odpowiedzi, budowanie czy kupowanie oraz właściwy sposób wejścia na rynek sztucznej inteligencji. Zasubskrybujcie podcast już teraz, aby tego nie przegapić.