Wie man KI nutzt, um wie ein:e Forscher:in zu recherchieren

Lesen Sie das Transkript:

Wir testen die Transkription unserer Podcasts mit einem Software-Programm. Bitte entschuldigen Sie eventuelle Tippfehler, da der Bot nicht immer 100% korrekt ist.

Hannah Clark: Seit jeher haben Menschen Forschung schlecht betrieben. Wir benötigten keine KI, um schlecht kalkulierte Abkürzungen zu nehmen, breite Annahmen auf Basis spärlicher Daten zu treffen, oder seltsame Personas zu entwickeln, die auf Annahmen und schmerzlich unhilfreichen User-Interviews basieren. Es überrascht daher nicht, dass die Forschungs-Community nun besorgt ist, dass die Technologie die Forschungsqualität noch weiter gefährden könnte. Aber in der heutigen Sendung untersuchen wir Möglichkeiten, wie KI tatsächlich dazu beitragen kann, gute Forschung auf breiter Ebene zu standardisieren und zu demokratisieren.

Mein heutiger Gast ist Cori Widen, Research Lead bei Photoroom. Falls Sie Photoroom noch nicht kennen: Das Unternehmen erhält viel Aufmerksamkeit für die innovativen Wege, wie sie KI einsetzen, und Cori hat mir einen interessanten Überblick gegeben, wie all das auf der kulturellen Ebene beginnt. Wir sprechen darüber, wie die Denkweise des Unternehmens Neugier für die Möglichkeiten fördert, sowie über einige praktische Wege, wie Teams durch KI hochwertige Forschung schätzen, durchführen und nutzen können. Steigen wir ein.

Oh, übrigens, solche Gespräche führen wir jede Woche. Falls das für Sie interessant klingt, warum nicht abonnieren? Also, los geht’s.

Willkommen zurück zum Product Manager Podcast. Heute bin ich mit Cori Widen hier. Sie ist Research Lead bei Photoroom.

Cori, vielen Dank, dass du dir Zeit genommen hast, mich zu treffen.

Cori Widen: Vielen Dank, ich freue mich sehr, hier zu sein.

Hannah Clark: Ich auch. Tatsächlich arbeitet Cori schon lange mit mir zusammen, und es ist eines der ersten Male, dass wir wirklich miteinander sprechen und nicht nur E-Mails austauschen. Deshalb freue ich mich sehr. Es fühlt sich an, als würde ich mit einer alten Freundin oder Brieffreundin sprechen.

Cori Widen: Ja, sehr spannend. Ich stimme zu.

Hannah Clark: Lass uns anfangen wie immer. Kannst du mir ein wenig über deinen Hintergrund erzählen und wie du dahin gekommen bist, wo du jetzt bist?

Cori Widen: Natürlich. Ich bin seit etwa 13 Jahren in der Tech-Branche tätig.

Die meiste Zeit davon war ich im Produktmarketing, aber wie bei den meisten Menschen in diesem Bereich gehörten Forschungsmethoden zu meinem Job – also Nutzer:inneninterviews und so weiter. Und irgendwann habe ich entschieden, dass das der Bereich ist, der mir am meisten Spaß macht: User Research.

Also habe ich den Wechsel zur Vollzeitforscherin gemacht – zuerst bei Lightrix und jetzt bei Photoroom. Dort leite ich die User Research.

Hannah Clark: Großartig. Heute konzentrieren wir uns auf forschungsbasierte Wege, wie man KI für Forschungszwecke einsetzt – ein aktuelles Streitthema. Fangen wir also mit dem heißen Thema an: KI für qualitative Analysen einsetzen.

Wie kombinierst du aktuell KI und manuelle Arbeit so, dass du guten Gewissens dahinterstehst? Und wie hat sich das im Laufe der Zeit verändert?

Cori Widen: Definitiv ein kontroverses Thema. Kurz dazu, wie es sich entwickelt hat, bevor ich zu meinem jetzigen Stand komme: Ich war auch zögerlich.

Das ganze Research-Umfeld. Einerseits, weil ich der KI anfangs nicht zutraute, einen guten Job zu machen – und das war anfangs auch berechtigt. Und was häufig nicht angesprochen wird: Ich mochte meinen Job! Ich habe damals nicht darauf gewartet, dass KI kommt und alles verbessert.

Ich mochte Dinge wie qualitative Analyse – den Prozess selbst. Deshalb war ich anfangs nicht sonderlich begeistert, aber es wurde klar: Entweder nutze ich KI oder ich werde abgehängt. Als ich anfing, KI zur qualitativen Analyse zu nutzen, habe ich meinen gewohnten manuellen Prozess parallel beibehalten und verglichen, was die KI gut macht und wo sie Fehler hat, und versucht, die optimale Zuverlässigkeit herauszufinden.

Es war viel Versuch und Irrtum – und das wird wohl immer so bleiben, da sich KI ständig weiterentwickelt. Stand jetzt erzähle ich dir gern, wo ich momentan stehe. Ich denke, ein konkretes Beispiel hilft. Angenommen, ich analysiere ein strategisches Forschungsprojekt und habe überwiegend Interview-Daten.

Ich habe also alle Transkripte eines Projekts gespeichert – wir nutzen Dovetail – und greifen über das Tool Dust auf die KI zu, um die Transkripte abzufragen. Ich stelle der KI Fragen zu einem ganzen Satz von Transkripten eines Projektes.

Ich habe meine Forschungsfragen – die ich manuell erstellt habe. Dann fange ich an, die KI nach relevanten Zitaten zu diesen Fragen zu bitten, zum Beispiel zu Pain Points in einem bestimmten Ablauf. Ich fordere die KI auf, passende User-Zitate zu finden.

Das ersetzt im Grunde das manuelle Tagging von Interviews nach Themen bzw. Forschungsfragen. Heute lasse ich das die KI erledigen. Danach übertrage ich die Zitate auf ein Miro-Board und mache eine Affinitätsdiagrammierung – wie ich es immer gemacht habe.

Diesen Schritt mache ich weiterhin manuell. Auf dieser Basis erstelle ich meine Insights für das Projekt. Zusätzlich lasse ich meine Insights von der KI prüfen: Ich präsentiere die Erkenntnisse und bitte die KI, Widersprüche oder gegenteilige Aussagen aus den Transkripten herauszusuchen, um eventuelle Verzerrungen und blinde Flecken zu vermeiden.

Das ist mein „Frankenstein“-Prozess: manuell und KI gemischt.

Hannah Clark: Du hast erwähnt, dass sich deine Einstellung zu KI gewandelt hat. Viele machen so einen Prozess von Skepsis zu Akzeptanz. Wie war das bei dir?

Cori Widen: Ja, definitiv. Am Anfang gab es viel Druck in Unternehmen, herauszufinden, wie man KI nutzen kann.

Das war recht ziellos – es hieß, KI macht alles effizienter und besser, aber ich wusste gar nicht, wie ich das sinnvoll anwenden sollte. Viele meiner ersten Versuche haben mich nicht überzeugt. Die KI konnte mich nicht in meinem Forschungsprozess ersetzen.

Aber der Druck blieb bestehen. Als ChatGPT dann größere Datenmengen besser verarbeiten konnte, habe ich mich geöffnet und begonnen, eigene Skripte für Aufgaben wie Interview-Zusammenfassungen zu schreiben. Das half mir, offener zu werden. Der eigentliche Wendepunkt kam aber erst bei Photoroom – das Unternehmen geht mit KI sehr speziell um, nicht nur extern, sondern auch intern.

Klar gibt es Druck, KI zu nutzen – aber es ist ein positiver, neugieriger Druck. Alle sind gespannt, welche Anwendungsfälle sie in ihrem eigenen Bereich mit KI entdecken.

Es herrscht ein Umfeld, in dem man sich darüber austauscht, was man mit KI umgesetzt hat. Die anderen interessieren sich wirklich dafür, wie man KI nutzt usw. In dieser Atmosphäre wurde KI plötzlich zu einem spannenden und interessanten Aspekt meiner Arbeit, nicht mehr zu einer reinen Pflichtübung.

Hannah Clark: Cool! Ich möchte später noch mehr über die Kultur bei Photoroom sprechen – das spielt so eine große Rolle bei der Einführung von KI.

Vorher noch zum Thema KI-Assistenten: Du hast erwähnt, dass du einige sehr hilfreiche Assistenten gebaut hast. Welche Assistenten nutzt du konkret und welche Probleme lösen sie?

Cori Widen: Zwei Haupt-Assistenten fallen mir ein. Einer heißt „Mining User Interviews“ – nicht gerade ein origineller Name, aber treffend. Jedes User-Interview bei Photoroom wird in Dovetail gespeichert, dann nutzen wir die Transkripte über die API und können Fragen dazu stellen. Das wird genutzt.

Es löst für mich und Becky, meine Co-Researcherin, sowie andere Stakeholder verschiedene Probleme. Für uns Forschende ist es ein wichtiger Bestandteil der Analyse: Wir finden Zitate, ohne manuell taggen zu müssen. Für Stakeholder ist es eine Möglichkeit, User- oder Wettbewerbsinterviews selbst auszuwerten – also Informationen selbst zu suchen und so näher an den/die Nutzer:in zu kommen.

Das spart uns Zeit und bringt die Stakeholder näher an die Nutzersicht. Sie können z. B. nach Herausforderungen zu KI-Hintergründen oder Features fragen, ohne dass wir Berichte heraussuchen müssen.

Der zweite Assistent ist neuer und erstellt Interview-Guides. Da viele bei Photoroom Nutzergespräche führen, fehlt manchmal die Zeit und das Wissen, um einen guten Guide vorzubereiten. Der Generator fragt, was man lernen will, wer interviewt wird, und erstellt dann einen Interview-Leitfaden nach Best-Practices. So entstehen Interview-Guides, die keine suggestiven Fragen enthalten und Benutzer:innen nicht nach Vorhersagen für ihr Verhalten fragen.

Hannah Clark: Das ist wirklich stark, denn ich sehe einen Trend: KI erweitert nicht nur die Produktivität, sondern auch die Fähigkeiten von Personen, indem sie Wissen überträgt. Das ist ein spannender Ansatz für Technologieeinsatz. Interessant, das direkt zu hören.

Kommen wir zum Prompt Engineering, ein Riesenthema. Alle wollen darin besser werden, aber es geht um mehr als nur viel Kontext reinzugeben.

Welche speziellen Techniken hast du entdeckt, die die Qualität deiner Analyseausgaben bei User Research wirksam steigern?

Cori Widen: Ich, wie alle anderen auch, experimentiere damit und verzweifle manchmal daran, warum es die KI nicht versteht.

Aber ein paar Dinge sind beim Analysieren hilfreich: Ich stelle jede Frage an die KI mindestens zwei- bis dreimal unterschiedlich, weil sie kein Mensch ist und ich nie weiß, wie sie meine Frage versteht. Ich bekomme oft unterschiedliche Zitate, wenn ich nur kleine Änderungen an der Formulierung mache.

Besonders bei Projekten, wo ich alle relevanten Punkte erfassen möchte, nutze ich leicht veränderte Prompts. Außerdem bitte ich die KI explizit immer wieder um weitere Beispiele, denn obwohl ich um vollständige Listen bitte, fallen der KI später doch noch mehr Zitate ein.

Ein weiterer Punkt: Im Gespräch mit Menschen kann ich viele Fragen auf einmal stellen – bei KI funktioniert das nicht. Deshalb bemühe ich mich, pro Prompt nur eine Frage zu stellen.

Interessant finde ich auch: Viele meinen, so viel Kontext wie möglich anzugeben, sei das Beste. Aber nach meiner eigenen Erfahrung gibt es ein Zuviel an Kontext – die KI baut dann eine Hierarchie und ignoriert einige Themen. Ich versuche also, das richtige Maß zu finden – eher weniger Kontext als mehr.

Hannah Clark: Das ist spannend, das habe ich so noch nicht gehört! Es kommt also auch darauf an, wann Kontext angebracht ist.

Zum Thema fehlende Nuancen: Du hast erwähnt, dass KI manchmal Nuancen im Datensatz übergeht oder kleine Datenmengen als Trend darstellt. Forschende erkennen so etwas meist. Aber beim Teilen dieser Fähigkeiten mit Stakeholdern kommt das oft nicht an.

Wie validierst du die Analysen der KI und stellst sicher, dass keine wichtigen Ausreißer verloren gehen – und wie transportierst du dieses Know-how an andere Stakeholder weiter?

Cori Widen: Sehr wichtige Fragen.

Bei meinen Projekten bitte ich die KI selten direkt um Insights. Ich lasse mir relevante Aussagen suchen und ziehe dann als Mensch eigene Schlüsse. Aber der „Mining User Interviews“-Assistent wird auch für andere Tasks eingesetzt, z. B. Stakeholder fragen die KI nach Problemen der User.

Das ist herausfordernd. Ich habe zwei Regeln: Erstens bitte ich die KI, immer jede Aussage mit dem Transkript zu belegen. Zitiert sie nur zwei von hundert, kann ich die Aussage überprüfen und selbst abwägen. Zweitens bitte ich immer um Ausreißer:

Wenn die KI ein Insight gibt, sage ich: „Bitte nenne mir möglichst viele Gegenbeispiele.“ So bekomme ich ein vollständigeres Bild und kann differenziert bewerten.

Für Stakeholder, die den AI-Agent nutzen, haben wir eine Anleitung in Notion erstellt – einige nutzen sie, andere nicht. Insgesamt ist das noch ein Lernprozess: Wie können alle beim Zugriff auf User-Daten die gleiche Basis haben? Die perfekte Lösung habe ich noch nicht.

Hannah Clark: Das ist wohl ein laufender Prozess. Aus meiner Sicht zeigt das aber, wie wichtig menschliche Kontrolle bleibt: Man braucht immer noch Fachwissen, um KI-Ausgaben richtig einzuordnen. Also behandelt man die KI eher wie eine Mitarbeiterin, nicht wie eine gleichwertige Expertin.

Es ist für viele Unternehmen eine Herausforderung, Wissen intern so auszutauschen, dass bei KI-Nutzung alle auf dem gleichen Stand sind.

Nun, nachdem wir viel über Werte und die Arbeitsweise der Firma gesprochen haben, lasst uns auf die Werte von Photoroom eingehen, die diese Haltung gegenüber KI ermöglichen. Wie sieht die Demokratisierung von Forschung dort aus und wie beeinflusst das die Arbeit mit und die Wertschätzung für UX-Research-Findings?

Cori Widen: Das, was mich am Anfang am meisten an Photoroom begeistert hat, war wie nutzerzentriert sie wirklich sind. Die Geschäftsführung führte selbst Interviews.

Das habe ich schon beim Bewerbungsgespräch gemerkt – es ist dort erwartet, dass Menschen mit Nutzer:innen sprechen und qualitative Daten anschauen, nicht nur quantitative. Das ist nicht in jedem Unternehmen so. Der Umgang mit Nutzenden und mit qualitativen Daten prägt die Entscheidungen; das war schon vor mir so etabliert.

Ich war aber unsicher – mein bisheriges Verständnis von Demokratisierung war, dass Forschung von Forschenden gemacht werden sollte. Es ist gut, wenn PMs und Designer:innen mit Nutzenden sprechen, aber volle Demokratisierung schien mir nicht sinnvoll. Doch bei Photoroom habe ich dazugelernt: In Firmen, in denen viel mit Nutzenden gesprochen wird und qualitative Daten gewertet werden, genießen User-Research-Themen mehr Wertschätzung und es ist wahrscheinlicher, dass die Erkenntnisse genutzt werden.

Viele User-Researchers beklagen ja, dass sie ständig für die Bedeutung ihrer Insights werben müssen. Bei Photoroom sind alle hungrig nach Insights – das ist einzigartig. Die große Befürchtung bei Demokratisierung ist, dass User Research nicht professionell genug ausgeführt wird. Aber ich habe festgestellt, dass Mitarbeitende dann verstärkt nach Best Practices für Interviews und Usability-Tests fragen.

Wir als Research-Team können dabei helfen, wenn es noch Wissenslücken gibt.

Hannah Clark: Ich würde sagen – je mehr man weiß, wie viel Können und Nuancen für effektive User Research nötig sind, desto mehr erkennt man, was man alles NICHT gewusst hat.

Cori Widen: Ja, da stimme ich völlig zu.

Hannah Clark: Wir hatten mal eine Folge mit Steve Portigal zu User Interviews. Ich hatte davor außer im Podcast noch nie Interviews geführt, und in 20 Minuten war mir klar, wie sehr schon eigenes Verhalten das Ergebnis beeinflussen kann.

Deshalb finde ich es spannend, wie groß der Hunger bei euch ist, besser im Umgang mit Nutzenden zu werden.

Cori Widen: Witzig, dass du Steve erwähnst – er hat ein Buch namens „Interviewing Users“ geschrieben! Ich habe das Stakeholdern schon öfter empfohlen. Mehrmals kam als Reaktion: „Es gibt ein ganzes Buch darüber?!“ Ja, so viel kann man zu diesem Thema wissen!

Hannah Clark: Alle Unternehmen wollen ja die echten Wünsche von Nutzer:innen ins Produkt bringen. Man braucht genug und qualitativ hochwertige Rückmeldungen. Ich bin gespannt, wie KI Forscher:innen helfen wird, wahrgenommen zu werden und mehr Einfluss zu bekommen. Ich bin großer Research-Fan – falls du es noch nicht gemerkt hast.

Wie wird KI deiner Meinung nach die UX-Research weiter voranbringen – was könnte als nächstes kommen?

Cori Widen: Ich kann nicht technologisch vorhersagen, wie gut die Technik wird und wann, aber ich sehe eine Entwicklung: Schon heute habe ich durch KI mehr Zeit für Austausch mit Stakeholdern, da ich durch KI effizienter bin.

Meine Prognose: Die Researcher-Rolle wird sich wandeln – vom bloßen Forschen und Präsentieren von Insights hin zu mehr Zusammenarbeit mit Stakeholdern und Zeit im Lösungsraum, da wir schneller an relevante Infos gelangen und mehr zur Lösungsfindung beitragen können.

Hannah Clark: Und für Forschende, die KI gerade erst in ihren Workflow integrieren: Du hast viele super praktische Tipps geteilt – hast du noch Empfehlungen für einen guten Start, wenn man kein Best-Practice-Handbuch an der Hand hat?

Cori Widen: Mein wichtigster Tipp: Akzeptiere mental, dass es kommt! Das fällt schwer, aber ist nötig. Viele empfehlen, mit kleinen Aufgaben zu starten – ich sage das Gegenteil: Spring direkt in qualitative Analysen rein.

Konzentriere dich auf den größten „Pain Point“: Die qualitative Analyse ist der arbeitsintensivste Teil. Nutze KI statt manuellem Tagging – finde mit KI die Stellen in Interviews, Usability-Tests usw., die du clustern und für deine Analyse nutzen kannst.

Denn: Damit entwickelt man Begeisterung für die Möglichkeiten und erkennt schnell, wie viel Arbeit und Zeit man spart. Das kann einen echten Mindshift auslösen.

Hannah Clark: Zum Abschluss: Was war deine überraschendste Entdeckung im Umgang mit KI? Was war dein persönlicher Durchbruch?

Cori Widen: Zwei Dinge: Erstens, dass ich als Mensch immer noch einen wertvollen Einfluss auf den Prozess nehmen kann; KI nutzen heißt nicht, alles abzugeben, sondern das Beste von Mensch und KI zu kombinieren. Das war ein Aha-Erlebnis.

Zweitens bekam ich das Feedback bei Photoroom, dass man befürchtete, die erste Researcherin (mich) würde alles verlangsamen. Aber ich bin schnell! Die Erkenntnis: Das liegt daran, dass ich KI an wichtigen Prozessstellen einsetze. Ohne sie wäre ich langsamer und das macht mich wertvoll fürs Team.

Hannah Clark: Sehr cool, das ist sicher ein gutes Gefühl, so ein Ass im Ärmel zu haben.

Danke, dass du heute dabei warst, Cori. Ich liebe Research-Talks – ich lerne immer so viel, und heute waren es geballte Erkenntnisse in 25 Minuten. Wo kann man dir online folgen?

Cori Widen: Ich bin online nicht sehr aktiv, aber immer offen für Austausch mit anderen Researchers auf LinkedIn – also gern dort vernetzen.

Hannah Clark: Super, danke, dass du dabei warst.

Cori Widen: Danke.

Hannah Clark: Danke fürs Zuhören! Für weitere Insights, How-Tos und Tool-Reviews abonnieren Sie unseren Newsletter unter theproductmanager.com/subscribe. Sie können weitere Gespräche wie dieses hören, wenn Sie den Product Manager Podcast in Ihrem Podcatcher abonnieren.