Versprechen wir bei KI zu viel und liefern zu wenig?

Hannah Clark: Innovation ist kumulativ – und damit meine ich, dass die Art und Weise, wie wir heute Probleme lösen, nicht funktionieren würde, wenn wir sie nicht schon zuvor anders gelöst hätten. Und auch wenn heutzutage der Begriff „Trainingsdaten“ meistens im Kontext von KI-Entwicklung verwendet wird, sollte man nicht vergessen, dass Nutzer:innen ebenfalls Konsument:innen – und Bewahrer:innen – riesiger Mengen an Trainingsdaten sind, die sie über Jahre aus der Entdeckung und Nutzung jeder Software gesammelt haben, die sie je benutzt haben. Während wir also damit beschäftigt sind, neue Anwendungsfälle und neue Features für unsere eigenen KI-Produkte zu entwickeln und uns darauf zu fokussieren, verfolgen Nutzer:innen ein anderes Skript. Sie handeln nach Vorlieben, Gewohnheiten und – am wichtigsten – Erwartungen, die sie seit dem allerersten Mal, als sie einen Webbrowser öffneten, aufgebaut haben.

Mein heutiger Gast ist Dhruv Batra, Mitgründer und Chief Scientist bei Yutori. Wie Sie gleich hören werden, reichen Dhruvs Erfahrungen in Forschung, Entwicklung, Training und Führung im KI-Bereich über mehr als 20 Jahre zurück. Sie können sich denken, dass er mehr faszinierende Einsichten über Technologie hat, als wir in eine einzige Episode packen könnten. Als ich Dhruv also fragte, was er Produktverantwortlichen am meisten mitgeben möchte, zögerte er nicht. Er sagte mir, dass KI-Fähigkeiten extrem „gezackt“ sind. Und gleich hören Sie, was das für Ihre Nutzer:innen, Ihr Unternehmen und die nahe Zukunft von Produkten bedeutet. Los geht’s.

Ach ja, übrigens: Wir führen solche Gespräche jede Woche. Falls Sie das interessiert, abonnieren Sie uns gerne! Und jetzt starten wir.

Willkommen zurück zum Podcast „The Product Manager“. Ich bin heute hier mit Dhruv Batra, Mitgründer und Chief Scientist bei Yutori.

Dhruv, vielen Dank, dass du heute bei mir bist.

Dhruv Batra: Natürlich, danke für die Einladung, Hannah.

Hannah Clark: Lass uns mit einem kurzen Hintergrund beginnen. Kannst du ein wenig von deinem Werdegang erzählen und wie deine Reise von der KI-Forschung über Deep Learning zur heutigen generativen Revolution deine Sichtweise auf den aktuellen Stand dieser Technologie geprägt hat?

Dhruv Batra: Also, ich bin KI-Forscher. Ich bin jetzt fast 20 Jahre in diesem Bereich tätig. In aktuellen Diskussionen um KI beginnt die Forschung oft mit der ChatGPT-Revolution 2022. Ich bin 2005 eingestiegen, noch vor der letzten Deep-Learning-Epoche. Ich habe meinen PhD an der CMU gemacht, dort an Kernproblemen des maschinellen Lernens gearbeitet, angewandt auf Computer-Vision-Fragen wie die Erkennung von Objekten in Bildern.

Im Laufe der Jahre habe ich Chatbots gebaut, die ersten Systeme entwickelt, die Fragen zu Bildern beantworten und mit Nutzer:innen über Bilder dialogisieren konnten. Ich war viele Jahre Professor am Georgia Tech, habe dort die Deep-Learning-Lehrveranstaltung ins Leben gerufen. Ich war außerdem acht Jahre bei Meta, als Senior Director verantwortlich für FAIR Embodied AI. FAIR ist Metas Abteilung für grundlegende KI-Forschung.

Embodied AI bedeutet KI für Robotik und KI für smarte Brillen. Eines meiner Teams bei Meta hat die erste Version eines bildbasierten Frage-Antwort-Modells entwickelt, welches als multimodaler Assistent in der ersten Version der RayBan Meta-Sonnenbrille ausgeliefert wurde. Andere Teams von mir haben den weltweit schnellsten 3D-Simulator für das Training virtueller Roboter in Simulation entwickelt, bevor wir sie auf den Boston Dynamics Bot-Roboter eingesetzt haben.

Ich habe also das Spektrum von Computer Vision, Chatbots, Robotik gesehen und bin einfach fasziniert von Intelligenz und dem Bau intelligenter Systeme – das führt mich heute zu Yutori.

Hannah Clark: Du bist sicher eine sehr qualifizierte Person für dieses Thema, das uns alle brennend interessiert. Ich freue mich auf unser heutiges Thema, denn wir nehmen die Erwartungen und die Realität des Stands der KI-Technik unter die Lupe. Und ich glaube, dass es eine spezielle Qualifikation braucht, um diese Fragen beantworten zu können.

Wir werden das Thema heute aus drei Blickwinkeln betrachten: der Nutzer:innen-Seite, der Unternehmensseite und der technischen Seite von KI. Fangen wir mit der Nutzer:innen-Seite an. Aktuell befinden wir uns eindeutig im riesigen Hype-Zyklus rund um KI, doch Nutzer:innen machen häufig extrem inkonsistente Erfahrungen – je nach Tool und Anwendungsfall.

Was glaubst du, ist die Ursache für die Lücke zwischen dem, was Menschen auf der Nutzer:innen-Seite von KI erwarten, und dem, was sie in der Realität leisten kann?

Dhruv Batra: Das ist eine gute Frage. Sie spricht ein Problem an, das nicht nur das Produkt-Building, sondern auch die KI-Forschung betrifft und sich auf die „gezackte Natur“ von Intelligenz bezieht.

Ein berühmter XKCD-Comic beschreibt es gut: Eine PM-ähnliche Figur bittet eine:n Entwickler:in: „Kannst du mir eine App bauen, die erkennt, ob ein Foto in einem Nationalpark aufgenommen wurde?“ Antwort: „Klar, klingt nach einer einfachen GPS-Abfrage in einer Datenbank – ein paar Stunden Arbeit.“ Als nächstes: „Sag mir, ob auf dem Foto ein Vogel ist.“ Antwort: „Dafür brauche ich ein Forschungsteam, 50 Millionen Dollar, fünf Jahre – vielleicht geht’s dann.“ Das konkrete Beispiel stimmt heute nicht mehr ganz – Computer Vision hat hier Fortschritte gemacht, aber der Punkt ist, dass der Übergang von einfach zu extrem schwer sehr abrupt sein kann. Und diese Schärfe ist für Menschen schwer vorherzusagen.

Das gilt nicht nur für Nutzer:innen. Auch Entwickler:innen und Forscher:innen bauen mentale Modelle davon, was Maschinen können und was nicht. Heute kann ein Chatbot internationale Mathe-Olympiade-Fragen lösen, macht aber Fehler wie zu sagen, 9,11 ist größer als 9,9 – das würde kein Mensch tun. Aber das ist eine typische Art Fehler für Chatbots. Wo führt uns das hin?

Warum passiert das? Intelligente Systeme befinden sich an einem anderen Punkt im Intelligenzspektrum und Menschen wenden ihre menschliche Erfahrung an. Sagt mir jemand, er habe einen Doktor in Chemie, erwarte ich gewisse Dinge: dass er die Welt kennt, mathematisch bewandert ist usw. Diese Erwartungen brechen bei KI-Systemen auf, weil die geteilten Annahmen nicht gelten.

Leistung bei bestimmten Aufgaben verlangt Training dafür. Zwar haben wir inzwischen „allgemeine“ Systeme, aber Allgemeinheit ist ein sehr spezifisch definierter Begriff. Damit ist es schwer für Verbraucher:innen, mentale Modelle zu bilden – es entsteht Frustration, wenn ein Produkt viel verspricht, aber bei nur leicht abgewandelten Fragen nicht funktioniert.

Hannah Clark: Ja, absolut. Das ist auch ein neues Nutzungsverhalten. Wir sind eigentlich auf sehr klar umrissene, intuitive, leicht zu nutzende Funktionen geschult – jetzt wenden wir Erwartungshaltungen aus dem Chat oder der Interaktion mit Menschen auf Funktionen an, die noch weitgehend undefiniert sind.

Uns fehlt das Verständnis der Einschränkungen und unterschiedlichen „Kompetenzen“. Sehr komplexe Technologie, die wir gemeinsam zu nutzen lernen. Bleiben wir bei alltäglichen Aufgaben, die KI automatisieren kann: Reisen buchen, Termine verwalten usw. Was macht solche Aufgaben schwieriger, als viele annehmen?

Dhruv Batra: Ich nehme Yutori und unsere Entwicklungen als Beispiel. Wir bauen persönliche Assistenten, die Routineaufgaben im Web automatisieren. Unser erstes Produkt heißt Scouts. Es ist ein Team von Agenten, die alles im Web für dich überwachen. Uns war extrem wichtig, die Erwartungen klarzustellen: Dieses Produkt informiert dich über Informationen, aber es bucht oder kauft nichts, erstellt keine Folien, macht keine Hausaufgaben, schreibt auch keinen Code. Es kann nicht alles, was man im Browser machen kann. Aber es kann z.B. melden, wenn dein Lieblingskünstler in die Stadt kommt.

Die Information kann auf verschiedenen Webseiten erscheinen. Du selbst würdest regelmäßig nachschauen – der Agent macht das für dich. Vielleicht suchst du Reservierungen und musst dafür einfache Formulare ausfüllen. Der Agent kann solche Aufgaben ausführen und dich informieren. Oder du bist Recruiter und willst Stellenwechsel von Personen verfolgen, egal ob auf X, LinkedIn oder im Blog. Der Agent meldet dir das.

Warum ist das schwierig? Eigentlich sieht es einfach aus: Menschen öffnen ihren Browser, gehen auf eine Seite, klicken, füllen aus. Aber das sind sogenannte sequentielle Entscheidungsprobleme. Du bist auf einer Webseite, musst mehrere Aktionen machen, Webseiten sind aber extrem verschieden gestaltet. HTML-Buttons sind unterschiedlich bezeichnet. Grundsätzlich ist das also ein Wahrnehmungsproblem: Einen Button klicken, scrollen, Formular ausfüllen – jeder Fehler wirkt sich weiter aus, Fehler summieren sich und werden schwer korrigierbar.

Das kennt man auch aus Robotik und autonomen Fahren: Ein kleiner Fehler bringt dich aus der Spur, du musst korrigieren.

Unsere Browser-Automationsagenten haben das gleiche Problem: Gerät man in einen falschen Bereich, funktioniert die Aufgabe nicht. Aufgaben unterscheiden sich auch darin, ob sie nur lesen oder auch schreiben (ändern) dürfen. Wenn ein Formular abgeschickt wird, erlauben manche Webseiten keinen zweiten Versuch – das ist ein irreparabler Fehler.

Training für solche Fehler verlangt Simulationen: Roboter werden in 3D-Simulatoren trainiert, bevor sie in die echte Welt gehen. Genauso trainieren wir Browser-Agenten in Simulationen, um Fehler zu vermeiden, etwa beim Ausfüllen und Abschicken von Formularen oder bei Käufen. Oft weiß man gar nicht genau, welcher Schritt zum Erfolg oder Misserfolg beigetragen hat – das nennt man „Credit Assignment Problem“.

Hannah Clark: Vieles davon geht uns als Menschen inzwischen so leicht von der Hand. Aus technischer Sicht ist es aber viel komplexer. Und das berücksichtigt noch nicht einmal Vorlieben – etwa, wann man reservieren will, Sitzplatzpräferenzen etc. Es gibt so viele Aspekte, die programmiertechnisch extrem schwer abzubilden sind.

Dhruv Batra: Ein kleines Beispiel dazu: Menschen kennen bestimmte Designmuster. Wenn auf einer Buchungsseite ein Zeitfenster ausgegraut ist oder durchgestrichen, weiß man auch ohne Text, dass diese Zeit nicht verfügbar ist. Weil wir dieses Muster kennen – Maschinen müssen das erst lernen. Sie können alles Mögliche gelesen haben, aber solche spezifischen Webdesign-Muster muss man durch Interaktion lernen.

Das ist nur ein Beispiel für viele Designmuster, die für Menschen gemacht sind und von Maschinen erst übernommen werden müssen – etwa dass ein Klick nichts bewirkt, obwohl kein Text das sagt.

Hannah Clark: Sehr spannend! Das erinnert mich an mein Gespräch mit Nimrod Priell, Gründer von Cord, über die Entwicklung von Nutzer:innenverhalten und das sich über viele Jahre ausgeprägte geteilte Verständnis rund um Websites und UX-Design – das ist wie ein gemeinsames Asset, das wir kaum bewusst wahrnehmen und das Maschinen erst von Grund auf lernen müssen. Ich möchte dazu tiefer auf das Nutzer:innenverhalten eingehen: Welche Änderungen im Umgang mit Technologie sollten Produktverantwortliche in Zukunft erwarten?

Dhruv Batra: Der Markteintritt von KI-Produkten hat Erwartungen der Nutzer:innen stark verschoben. Es gibt jetzt Kinder, die davon ausgehen, mit Maschinen sprechen zu können.

Das sieht man auch in Sci-Fi – Kinder, die mit älterer Technik konfrontiert werden, wundern sich: Warum kann ich mit meinem Fernseher nicht sprechen? Wir sehen diesen Wandel auch bei Erwachsenen: Sie möchten sich ausdrücken, erwarten von Maschinen, dass sie Dialog führen können, die Nutzungsmuster verstehen usw. Das prägt auch unsere Arbeit bei Yutori.

Die Web-Entwicklung der letzten 30 Jahre besteht eigentlich aus inkrementellen Verbesserungen einer Grundidee: Inhalte und Services mit Menschen zu verbinden. Das Web ist für den menschlichen Konsum gemacht. Nun erwarten Menschen, der Maschine direkt zu sagen, was sie auf dem Computer/Browser machen soll.

Warum sollte ich mich hinsetzen und tausend Felder ausfüllen? Das sollte automatisierbar sein – das ist die Erwartung. Dass man für eine bestimmte Suche 30 Tabs öffnet und 20 Rezensionen liest – Nutzer:innen wollen ein System, das ihnen direkt Ergebnisse liefert und sie benachrichtigt, wenn sich die Situation ändert.

Ist z.B. der Lieblingskünstler in der Stadt, will man nicht nur informiert werden, sondern direkt die Tickets kaufen lassen. Die Erwartungen verschieben sich auf eine höhere Ebene der Abstraktion: Software soll Routinetätigkeiten automatisieren – eine Art Aufgabenliste mit Superkräften. Es wird mehr Eigeninitiative erwartet. Niemand möchte jedes Mal von Grund auf alles erklären: Hier bin ich, das sind meine Vorlieben. Es wird Speicher und Personalisierung erwartet – und dass die Software proaktiv wird. Ein Assistent, der zu einem Super-Mitarbeiter oder „Chief of Staff“ wird.

Hannah Clark: Und viele Technologien, mit denen wir heute Alltag haben, bestärken das: Die „For You“-Page bei TikTok lernt unsere Vorlieben und beeinflusst, wie wir auf Technik reagieren. Das webbasierte Technologielandschaft formt die Erwartungen – das ist interessant im Hinblick darauf, was Konsument:innen in Zukunft erwarten werden. Das führt gut über zum Business-Blick.

Derzeit erleben wir einen Ansturm auf KI-Produkte und -Features. Unternehmen versprechen transformative Fähigkeiten – mit unterschiedlichem Erfolg. Welche Fehler beobachtest du bei Produkt-Teams in der Konzipierung und Positionierung von KI-Features?

Dhruv Batra: Da sind wir wieder bei der „gezackten Natur“ von Intelligenz. Man muss sehr vorsichtig sein – das betrifft nicht nur Endnutzer:innen, sondern auch Entwickler:innen. Versprich nicht das Blaue vom Himmel, denn du wirst am ersten Tag nicht alles liefern können. Gleichzeitig erwarten die Nutzer:innen eine gewisse Universalität.

Sie sind von ChatGPT gewohnt, dass alles beantwortet werden kann. Dadurch läuft man Gefahr, ein Textfeld als Eintrittstor für alles zu positionieren, ohne zu kommunizieren, was möglich ist. Die Enttäuschung ist dann groß, weil einerseits die Nutzer:innen mit einer „leeren Leinwand“ konfrontiert werden („Was kann ich fragen?“), anderseits sie Aufgaben stellen, die nicht abgedeckt sind und dann frustriert sind.

Deshalb haben wir bei unserem ersten Produkt einen sehr engen Funktionsumfang gewählt: Scouts überwachen alles im Web – aber sie loggen sich nicht ein und führen keine Schreibaktionen aus. Es ist ein reines Monitoring-Produkt. Dennoch ist es nicht auf Amazon-Preise oder Event-Tickets beschränkt, sondern deckt alle öffentlich verfügbaren digitalen Informationen ab, die man mit dem Browser erreichen kann. Per natürlicher Sprache bestimmt der/die Nutzer:in Inhalt und Häufigkeit.

Unser Grundsatz ist: Zuerst Wert liefern, ohne kritische Daten abzufragen. Nach und nach wächst dann das Vertrauen („Staircase of Trust“). Erst beobachten – dann später Aktionen erlauben. Das Aufgabenfeld muss so definiert sein, dass Fehler nicht teuer sind. So erweitert man die Möglichkeiten schrittweise.

Hannah Clark: Sehr weise Worte. Ich erlebe das oft, dass die Einschränkungen für Nutzer:innen undurchsichtig sind. Sie erwarten eine Interaktion wie mit einem Live-Agenten, was zu Frustration führen kann – und umgekehrt das Risiko besteht, dass die Nutzer:innen dem ganzen Feld weniger Vertrauen entgegenbringen.

Dhruv Batra: Wenn Nutzer:innen keinen Wert erkennen, kehren sie deinem Produkt den Rücken zu.

Hannah Clark: Lassen Sie uns tiefer ins Thema Vertrauen einsteigen. Wie sollten Produktverantwortliche Vertrauen aufbauen, ohne zu viel zu versprechen oder Fähigkeiten vorzugaukeln, die noch nicht vorhanden sind?

Dhruv Batra: Das greift den vorherigen Punkt nochmal auf: Nutzer:innen müssen erst Wert sehen, bevor sie Zugangsdaten oder kritische Informationen herausgeben. Einige Apps bitten um Kalender- oder Mailzugang, noch bevor klar ist, was das Produkt überhaupt kann – ein enormes Risiko. Vielleicht werden sie damit viral, aber würden Sie einem neuen Tool sofort Zugriff auf Arbeitsmails oder Kreditkarten geben, ohne seinen Wert zu kennen?

Deshalb – der erste Schritt: keine Authentifizierung, keine Schreibaktionen, keine Veränderungen an der Welt. Nur Lesezugriff. KI verspricht keine 100% Genauigkeit. Bei Lesefehlern kann man wiederholen – bei irreparablen Schreibfehlern nicht. So bauen wir nach und nach Vertrauen auf.

Hannah Clark: Das erinnert mich an eine Geschichte einer Freundin, die von Brasilien nach Kanada gezogen ist und Kanada für komplett sicher hielt – bis direkt in ihrer ersten Woche ein Raubüberfall auf ihrer Straße stattfand. Plötzlich erschien alles unsicher. Es zeigt, wie empfindlich und brüchig die Aufbauphase von Vertrauen ist, wenn Erwartungen erschüttert werden.

Wechseln wir auf die Technologie-Perspektive: Welche Probleme sind aus deiner Forschungssicht praktisch gelöst? Und was liegt deiner Einschätzung nach noch (auf kurze oder längere Sicht) in der Zukunft?

Dhruv Batra: Mein beispielhaftes Thema ist das Beantworten von Fragen zu Bildern. Letzte Woche war ich auf der ICCV – International Conference on Computer Vision. Meine Kollaborateur:innen und ich haben dort den Mark Everingham Prize für unsere Arbeit vor zehn Jahren bekommen: Visual Question Answering. Wir stellten der Community einen Datensatz, eine Aufgabe, ein Benchmark und erste Lösungsmethoden zur Verfügung – das Ziel: Agenten entwickeln, die jede offene Frage zu jedem natürlichen Bild beantworten können.

Zehn Jahre lang haben wir die Fortschritte beobachtet, jährliche Wettbewerbe organisiert. Dieser Wettbewerb wurde 2021 beendet, denn inzwischen war auf unserem 2015 gestarteten Datensatz menschliche Genauigkeit erreicht – die Methoden erreichten die Übereinstimmung mit Menschen.

In dieser Zeit habe ich Teams bei FAIR Meta geleitet, die diesen Ansatz in die Praxis überführt haben – etwa auf der RayBan Meta-Sonnenbrille: „Hey Meta, mach ein Foto, sag mir was über dieses Denkmal.“ Der Kreis schließt sich damit etwas. Am Anfang war das Beantworten von Bildfragen komplett offen. Das Lesen von freiem, wildem Text in Bildern war etwa ein Ding der Unmöglichkeit. Fragen wie „Was steht auf dem Schild?“ konnten die Modelle meist nicht per OCR (Optical Character Recognition) lösen. Sie rieten – etwa dass auf Schildern meist Stop oder Go steht. Modelle agierten sehr stark auf Basis von Sprachwahrscheinlichkeiten.

Etwa: Wenn du ein Bild von Bananen hast und fragst „Welche Farbe haben die Bananen?“, wird das Modell meistens „gelb“ sagen, egal ob sie tatsächlich grün sind – weil die Statistik für „Banane = gelb“ am höchsten ist. Auch Dialoge zu Bildern (z.B. Kernreferenzen wie „Was macht er?“) waren einst sehr schwer – Modelle verloren häufig den Bezug zu den Entitäten. Solche Probleme sind heute weitestgehend gelöst.

Doch andere Probleme bestehen fort: Das Zählen von Objekten in Bildern ist immer noch ein offenes Thema. Lade ein Bild mit mehr als zehn Menschen in einer Gruppe hoch, frage deinen Lieblings-Chatbot nach der Anzahl – das ist weiterhin ein schwieriges, ungelöstes Forschungsproblem. Auch 3D-Raumverständnis: Ein Tisch weit entfernt, ein Bücherregal nah – frage nach der Höhe, die meisten Chatbots geben Pixelhöhen an und erkennen die Distanz im Raum nicht. Räume in Tiefe und Perspektive sind nach wie vor schwer für KI.

Im Bereich von Agenten – etwa Web-Agenten – gibt es das Problem des „Drifts“: Ein Agent verfolgt eine Aufgabe (z.B. News-Monitoring über Monate), kann aber langsam von der ursprünglichen Fragestellung abdriften. Niemand hat bislang Agenten gebaut, die über Monate hinweg laufen und denen man systematisch Feedback geben kann, um ihr Verhalten zu belohnen oder zu korrigieren.

Hannah Clark: Das ist faszinierend – ich habe nie überlegt, wie man Agenten Rückmeldung gibt, ob sie etwas korrekt gemacht haben. In der Regel geht’s bei richtigem Output einfach weiter – selten gibt man gezieltes Feedback. Wie schließt man diesen Feedback-Loop für die Technologie? Was kann man auf Nutzer:innenseite tun?

Dhruv Batra: Intern geben wir Feedback und führen Evaluierungen auf verschiedenen Ebenen durch. Zum Beispiel annotieren wir jede Browseraktion eines Agenten: War der Klick richtig? Solche Einzelbewertungen sind aber oft zu kleinteilig und zu rauschbehaftet. Eine Aufgabe lässt sich oft auf unterschiedliche Weise erfüllen.

Nach Abschluss einer Aufgabe – etwa die Frage, ob eine 18:30-Uhr-Reservierung verfügbar ist – gibt es einen Nachweis (Proof of Work). Generator-Verifier-Lücke: Das Lösen der Aufgabe ist schwer, das Überprüfen des Ergebnisses viel leichter. Wenn ein Agent sagt, es gibt eine Reservierung um 18:30 Uhr und einen Screenshot liefert, kann man leicht prüfen, ob das stimmt. Darauf bauen wir unsere Auswertung auf.

Kund:innen können per Daumen-hoch/-runter Rückmeldung geben. Das fließt in Personalisierung ein. Nicht immer gibt es richtig oder falsch – manchmal sind es einfach nur Präferenzen. Wenn du News monitorest und von einer Richtung genervt bist, würdest du einem Menschen sagen, du willst weniger davon sehen. Idealerweise sollte man solche Rückmeldungen in natürlicher Sprache geben können – und Agenten müssen darauf reagieren können.

Hannah Clark: Sehr spannend. Häufig betrachten wir die Outputs von KI eher als Service denn als Technologie – im Sinne von „gefällt“ oder „gefällt nicht“. Zwei Personen generieren einen Meal-Prep-Plan: Einer sagt, die Makros stimmen nicht, also „Daumen runter“, ein anderer findet es exakt nach Vorgabe und gibt „Daumen hoch“. Das ist sehr nuanciert und schwer in Feedbackdaten zu fassen.

Dhruv Batra: Klassisches AB-Testing funktioniert hier oft nicht. Viele Aufgaben sind nicht reproduzierbar und Nutzer:innen sind genervt, wenn sie mehrmals das Gleiche tun müssen. Auch Daumen-hoch/-runter sind zu grob. Besser ist, Nutzer:innen ermöglichen, konkrete Passagen zu markieren oder spezifischere Rückmeldung wie bei einer Google-Doc-Korrektur zu geben.

Hannah Clark: Ja, einfach nur ein Daumen runter wäre schrecklich – was soll verbessert werden?

Dhruv Batra: Genau! So als bekäme man vom Editor nur die Antwort: Nein – korrigieren. Was genau?

Hannah Clark: Genau. Und selbst wenn detailliertes KI-Feedback möglich wäre, wäre es viel verlangt. Die meisten Nutzer:innen wollen einfach, dass es funktioniert, und machen daher selten den Aufwand für ausführliches Feedback. Schon Bonuscodes oder Gutscheine bringen oft wenig für Umfragen. Es ist schwierig, Nutzer:innen zu Co-Autor:innen zu machen. Sollte man also einfach weniger erwarten?

Dhruv Batra: Feedback muss als Investition in die Personalisierung des Chatbots wahrgenommen werden. Nutzer:innen können nicht deine QA-Ingenieur:innen sein und dir alle Fehler melden. Aber sie können als ihre:r Assistent:in erleben, dass jede Rückmeldung die Technologie besser an eigene Präferenzen anpasst. Das ist die richtige Erwartung – darum geben Nutzer:innen Feedback.

Hannah Clark: Ich bemerke, dass ich mit einem Assistenten, der sich Mühe gibt, Vorlieben zu lernen, viel geduldiger bin. Wenn eine KI gleich zu Beginn Rückfragen stellt, steigt meine Bereitschaft, gezielter zu antworten. Es bereitet mich auf die notwendige Präzision vor, um ein gutes Ergebnis zu bekommen – das sollten Entwickler:innen beim Design solcher Funktionen einkalkulieren.

Dhruv Batra: Genau darum geht es: Vertrauen muss wachsen.

Wenn du jemanden, der dein Produkt einfach erst einmal erleben möchte, zu Beginn mit 20 Fragen bombardierst, wird er oder sie sich nicht darauf einlassen. Erst Mehrwert zeigen, dann nach und nach Präferenzen abfragen.

Hannah Clark: Warum jetzt – warum wurde Yutori jetzt gegründet? Was ist heute anders, dass dieses Vorhaben möglich macht?

Dhruv Batra: Natürlich unterliegt man immer dem Rückschau-Bias, aber ich denke, heute ist eine besondere Zeit, um bestimmte KI-Produkte zu bauen, die früher nicht möglich waren. Früher hätte ich auch im Robotikbereich gründen können. Es gibt zwar viele Startups in diesem Feld, aber für Endkund:innen und unstrukturierte Einsatzgebiete ist da noch sehr viel Grundlagenforschung zu tun.

2004 startete die DARPA Grand Challenge autonome Fahrzeuge. Die ersten Uni-Teams scheiterten – erst ab 2005 kamen welche ans Ziel, später wurden Google X und Waymo daraus. Erst heute, 2023/24, gibt es in San Francisco fahrerlose Taxis. Vom Forschungsprototyp zum Consumer-Produkt verging fast 20 Jahre – und eine flächendeckende Einführung ist immer noch nicht erreicht.

Das ist die Herausforderung von Hardware plus KI. Im Bereich Software plus KI sind die Entwicklungszyklen viel kürzer. Jetzt können KI-Systeme die Welt verstehen und mit Nutzer:innen reden. Wahrnehmungsfähigkeiten für das Web sind ausgereift: Screenshots von Webseiten lassen sich strukturieren, Buttons und Layouts erkennen. Es gibt Commonsense-Verstehen. Und: Es gibt mittlerweile Open-Source-Modelle, auf denen auch kleinere Teams wie wir aufbauen können.

Früher hätten wir mit dem Pretraining bei Null anfangen müssen – das wäre eine eigene Unternehmung gewesen, mit immensem Geld- und Datenbedarf. Jetzt können wir auf offenen Sprach- und Bildmodellen aufsetzen und fürs Klick- und Formular-Handling weitertrainieren („post-train“). Das ist neu.

Roboter werden in unseren Wohnungen ankommen – aber bis dahin wird es Assistenten geben, die unsere digitalen Aufgaben übernehmen. Die Welt der Bits entwickelt sich schneller als die der Atome. Und da inzwischen die Basisinfrastruktur verfügbar ist, können wir uns voll auf die letzten Meter spezialisieren.

Hannah Clark: Sehr überzeugend – tolle Wortwahl mit „Substrat“. Das war ein faszinierendes Gespräch. Ich bin sicher, viele Zuhörer:innen würden gern noch tiefer einsteigen. Wo findet man deine Arbeit online?

Dhruv Batra: Meine Website ist dhruvbatra.com, meine Arbeiten sind auf yutori.com und unser Produkt Scouts auf scouts.yutori.com zu finden.

Hannah Clark: Großartig. Vielen Dank, dass du dabei warst, Dhruv, ich weiß das zu schätzen.

Dhruv Batra: Vielen Dank für die Einladung – es war mir eine Freude.

Hannah Clark: Nächstes Mal im „The Product Manager“-Podcast: Produktführung im KI-Zeitalter bedeutet, viele vertraute Herausforderungen ganz neu zu lösen. Entwicklungsprozesse, Distributionsstrategien – alles, was letztes Jahr noch galt, ist längst überholt. Webflow-CPO Rachel Wolan sieht darin eine Herausforderung – und eine großartige Chance.

Sie erhalten Antworten und Klarheit zu Themen wie Antwortmaschinen-Optimierung, Build-vs-Buy und dem richtigen Markteintritt für KI-Produkte. Am besten gleich abonnieren, um keine Folge zu verpassen.