Wie man Benutzungsinterview-Daten analysiert: Ein vollständiger Leitfaden
Ist es nicht lästig, stundenlang durch dutzende Interviewaufnahmen zu spulen, nur um ein einziges Zitat zu finden, das Ihnen hilft, eine fundierte Produktentscheidung zu treffen? Ich hasse das! Es verschwendet wertvolle Zeit, die Sie besser damit verbringen könnten, großartige Produkte zu entwickeln.
Oft sind es gerade diese mühsamen Situationen, die uns zu der Erkenntnis führen, dass wir unsere Interviewdaten organisieren müssen. Und dafür brauchen wir einen Prozess, um diese Erkenntnisse kontinuierlich zu sichern und sie so in Funktionen und Lösungen umzusetzen.
Wenn Ihnen das bekannt vorkommt, Sie aber noch nicht wissen, wie Sie Ihren Stapel an User Research organisieren sollen—kein Problem. Ich helfe Ihnen gerne!
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
Die Macht qualitativer Interviews
Meiner Meinung nach sind Nutzerinterviews (und qualitative Analysen im Allgemeinen) die wertvollste Arbeit, die Produktmanager leisten.
Man kann keine großartigen Produkte entwickeln, ohne zu wissen, wer seine Nutzer sind und was sie wollen. Durch Interviews tauchen Sie hingegen in die Realität dieser Menschen ein und erleben die Schwierigkeiten und Unannehmlichkeiten, die sie im Alltag bei bestimmten Aufgaben durchmachen.
Diese Erkenntnisse geben Ihnen das richtige Wissensfundament, um Lösungen zu entwickeln, die für Ihre Nutzer tatsächlich sinnvoll sind und ihr Leben verbessern können. Daher ist es für Produktmanager von größter Bedeutung, ihre Interviewprozesse zu optimieren und sicherzustellen, dass sie aus der begrenzten Zeit mit ihren Nutzern das Maximum herausholen.
Wie man Interviewdaten organisiert
Sobald Ihr Team mehr als 20 Nutzerinterviews geführt hat, wird es unübersichtlich. Um ein bestimmtes Zitat oder eine Erkenntnis zu finden, müssen Sie vielleicht erst die Person suchen, die das Interview geführt hat – und diese erinnert sich vermutlich nicht mehr an alle Details.
Am Ende haben Sie einen Haufen von Erkenntnissen, die mit keinen konkreten Annahmen verknüpft sind. Ein solcher Wirrwarr macht es nahezu unmöglich, aus der Forschung sinnvolle Schlüsse zu ziehen.
Deshalb ist es so wertvoll, Nutzerinterviews sorgfältig zu organisieren.
Organisation: Die Grundlagen
Bevor wir uns in die komplexeren Prozesse stürzen, gehen wir zunächst auf einfache Wege ein, wie Sie Ihre Interviews organisiert halten können.
Interview-Benennungsregeln
Wenn Sie regelmäßig Interviews führen, haben Sie irgendwann Hunderte Aufnahmen in Ihrem Cloud-Speicher (oder Ideenmanagement-Tool). Stellen Sie sich nur vor, wie mühsam die Suche durch diese Unmengen an Dateien ist, wenn sie Namen wie diese haben (einen "Glückwunsch" an Zoom für ihre schlechte Namenslogik):
Hier ist es unmöglich, ein bestimmtes Interview zu finden.
Legen Sie sich daher eine einheitliche Benennungsregel zu, mit der Ihre Interviewdateien durchsuchbar sind. Zum Beispiel so:
Jetzt haben Sie strukturierte Interviews mit durchsuchbarem Namen, Thema und Datum. Sie können auch den Namen des Produktmanagers ergänzen, der das Interview geführt hat. Verwenden Sie ein spezielles Interview-Tool, sind Name und Datum jedoch meist bereits durchsuchbar – dann können Sie diese Angaben aus den Dateinamen entfernen.
Terminplanungs-Tools
Auch das zeitliche Koordinieren von Interviews kann zeitaufwendig sein. Es gibt lange E-Mail-Ketten mit den Teilnehmern, um einen passenden Termin zu finden. Kommt es zu einem Ausfall, muss man den Termin zusätzlich noch neu abstimmen.
Mit einem Terminplanungs-Tool hingegen legen Sie einfach freie Zeitfenster fest und die Interviewpartner buchen sich selbst auf die passende Zeit ein.
Sie können hierfür jedes Termin-Tool nutzen – zum Beispiel Calendly, Google Workspace oder Hubspot.
Geteilte Kalender
Dies ist besonders hilfreich, wenn mehrere Teammitglieder Interviews führen. Mit einem gemeinsamen Kalender können Sie ein für Sie geplantes Interview an eine:n Kolleg:in abgeben, falls Sie verhindert sind.
Darüber hinaus können Sie den Kalender mit dem gesamten Unternehmen teilen und Kolleg:innen aus anderen Abteilungen einladen, um direkt zu hören, was Nutzer:innen über Ihr Produkt sagen. Diese Taktik ist ein hervorragender Weg, alle "nutzerzentriert" zu halten und Silos im Unternehmen aufzubrechen.
Transkribieren und Zusammenfassen
Produktteams nehmen traditionell Audio- und Videoaufzeichnungen ihrer Interviews auf. Wir nutzen diese Aufnahmen, um Erkenntnisse zu analysieren und bestimmte Zitate herauszufinden, die wir in unseren Ergebnissen hervorheben möchten.
Außerdem gibt es dafür auch einen dokumentarischen Anwendungsfall. Manchmal möchte man auf alte Interviews zurückgreifen und sich die Antworten der Nutzer:innen aus einer anderen Perspektive ansehen.
Das Problem mit Audio-/Videoaufzeichnungen ist jedoch, dass sie sich nur langsam „konsumieren“ lassen und schwer zu navigieren sind.
Aus diesem Grund empfehle ich, ein Transkriptions- und Zusammenfassungstool zu verwenden (du kannst dabei auch KI bei der Nutzerforschung nutzen).
Transkripte sind scrollbare und durchsuchbare Texte. Wenn du einen bestimmten Teil eines Interviews finden möchtest, drücke einfach Command-F und suche danach. Neben der Durchsuchung einzelner Interviews bieten viele Tools auch die Möglichkeit, Suchanfragen über alle durchgeführten Interviews hinweg zu stellen.
Zusammenfassungen sind der nächste Evolutionsschritt. Du kannst das KI-LLM-Modell (meist im Transkriptionstool integriert) bitten, für dich eine Zusammenfassung der wichtigsten Erkenntnisse zu erstellen.
So sparst du auch enorm viel Zeit bei der Analyse deiner Transkripte. Mit dem richtigen Kontext sind moderne LLMs (insbesondere GPT-4) ziemlich gut darin, Interviews für dich zu analysieren.
Was die Tools betrifft, so verwende ich aktuell Krisp, da ich dessen Transkriptions- und Zusammenfassungsprodukt leite. Ich empfehle aber auch, Dovetail, Otter.ai, Fireflies.ai und andere auszuprobieren. Alternativ gibt es auch wissenschaftlichere und tiefgreifende Software für qualitative Datenanalyse wie Atlas.ti, Nvivo, Maxqda und andere.
Interview-Transkriptinhalte nach Hypothesen bündeln
Viele Interview-Management-Tools erlauben es, bestimmte Teile des Transkripts zu markieren und zu taggen. Eine solche Funktionalität ist großartig, weil sie dir ermöglicht, deine Kundeninterviews (ebenso wie Fallstudien, Memos und andere Forschungsprojekte) nach folgenden Aspekten zu organisieren:
- Dem allgemeinen Thema (z. B. Monetarisierungs-Insights, Aktivierungs-Features, etc.)
- Merkmalen der Person (z. B. geografische Lage, Beruf, etc.)
- User-Typ in Bezug auf Engagement (z. B. Inaktive Nutzer, Power User, etc.)
Aber wahrscheinlich der mit Abstand wertvollste Nutzen dieser Funktionalität ist es, die Antworten der Nutzer:innen hervorzuheben und sie entsprechend der Hypothese zu taggen, die dadurch validiert werden kann.
Normalerweise überträgst du all deine aktuellen Hypothesen als Tags in dein Interview-Tool und beginnst, die relevanten Teile deiner Interviews zu markieren. Klickst du auf einen dieser Tags, erhältst du eine Zusammenfassung aller relevanten Zitate aus all deinen Interviews.
So sieht das in Dovetail aus:
Wie du sehen kannst, ist das ziemlich praktisch – du kannst auf einen Blick alles sehen, was zu der jeweiligen Hypothese gehört, und direkt eine Entscheidung treffen.
Jetzt, wo wir wissen, wie du deine Nutzerinterviews organisieren kannst, gehen wir über zur Auswertung.
Wie man Nutzerinterviews interpretiert
Normalerweise verzichte ich auf Theorie, aber in diesem seltenen Fall ist es wertvoll (und praxisrelevant), den wissenschaftlich-theoretischen Ansatz kennenzulernen. Gehen wir deshalb die drei klassischen Methoden der qualitativen Datenanalyse durch. Überlege auch, wie du KI bei der Datenanalyse zusammen mit diesen Methoden einsetzen kannst.
Narrative Analyse
Diese Analyseart ist die unstrukturierteste und qualitativste unter den Methoden. Der Fokus liegt ausschließlich auf den Geschichten deiner Nutzer:innen. Ziel ist es, interessante Erkenntnisse zu gewinnen, die darauf basieren, wie Menschen über dein Produkt denken und fühlen.
Im Gegensatz zu anderen Analysearten sind die Emotionen deiner Nutzer:innen und die Art, wie sie dein Produkt in ihrem Alltag wahrnehmen, entscheidend.
Nehmen wir Slack als Beispiel.
Stell dir vor, du wärst Produktmanager:in im Gründungsteam von Slack und wolltest die Kommunikation am Arbeitsplatz revolutionieren. Du weißt, dass die meisten Leute bisher vorwiegend E-Mails nutzen, und möchtest mit Slack eine Lösung schaffen, die eher Social-Media-Plattformen ähnelt (also Posts mit Kommentaren).
Bei einer narrativen Analyse bittest du die Nutzer:innen, ihre tägliche Kommunikation per E-Mail zu beschreiben, hörst dir ihre Beschwerden an und lernst, wie Nutzer:innen über diesen Teil ihres Arbeitstags denken und fühlen.
Anschließend stellst du ähnliche Fragen zu ihren Erfahrungen mit Social-Media-Postings, beobachtest die emotionalen Reaktionen und verstehst die typische Nutzerreise beim Erstellen und Kommentieren von Beiträgen.
Mit all diesen Erkenntnissen (und dem Anwenden deduktiver Schlussfolgerungen) kannst du anschließend deine Nutzerpersonas mit deren Zielen und Herausforderungen erstellen. Außerdem bist du in der Lage, die verschiedenen Nutzerreisen und Verhaltensweisen zu visualisieren, die du beim Entwickeln deines Produkts berücksichtigen musst.
Thematische Analyse
Im Gegensatz zur narrativen Analyse ist diese Methode etwas "quantitativer" und bringt etwas mehr Struktur in deine Erkenntnisse. Bei der thematischen Analyse liest du die Interviewtranskripte und identifizierst unterschiedliche Themen, die sich in mehreren Interviews wiederholen.
Zurück zum Slack-Beispiel...
Wenn du die Antworten deiner Interviewpartner analysierst, stellst du vielleicht schnell fest, dass sich viele über die umständliche Verwaltung von „Sichtbarkeitsberechtigungen“ (wer kann deine Nachricht sehen und wer nicht) in einer typischen langen E-Mail-Kommunikationskette beschweren.
Super, jetzt hast du ein wiederkehrendes Thema erkannt (und einen möglichen einzigartigen Wertbeitrag für dein „Channel-Berechtigungen“-Feature)!
Vielleicht findest du auch ein weiteres häufiges Problem – den Aufwand, vorherige Nachrichten in einem E-Mail-Verlauf nachzulesen. Voilà! Wieder ein gemeinsames Thema und eine weitere Möglichkeit, mit deiner nächsten Funktion zu glänzen.
Die vorhin erwähnte Tagging-Funktion ist ein großartiges Werkzeug für die Durchführung einer thematischen Analyse. Immer wenn dir etwas Interessantes im Interviewtranskript auffällt, kannst du es markieren und ein 'Theme'-Tag hinzufügen. Dann kannst du die 'Theme'-Tag-Seite aufrufen und alle dazugehörigen Zitate sehen.
Inhaltsanalyse
Die Inhaltsanalyse von Interviews ist die strukturierteste und quantitativste Forschungsmethode unter diesen drei. In diesem Fall besteht dein Ziel darin, deine Erkenntnisse messbar zu machen.
Zum Beispiel...
Wenn du in deinen Interviews bereits ein Thema identifiziert hast (z.B. die Unannehmlichkeit, Berechtigungen in einem E-Mail-Verlauf zu verwalten), könntest du versuchen, den Prozentsatz der Personen zu berechnen, die das als sehr umständlich empfinden, und diesen mit dem Anteil derjenigen vergleichen, denen das nicht wirklich wichtig ist.
Indem du deine Daten quantifizierst, kannst du die Bedeutung deiner Erkenntnisse besser verstehen. Wenn nur 20 % der Befragten denken, dass Sichtbarkeitsberechtigungen in E-Mail-Verläufen ein Problem sind, wäre das Nutzenversprechen deines Channel-Berechtigungs-Features schwach.
Das ist natürlich sehr praktisch. Aber meiner Erfahrung nach ist die wohl wertvollste Anwendung der Inhaltsanalyse die Validierung (oder Widerlegung) deiner Hypothesen.
Bei der Inhaltsanalyse verwendest du dieselbe Technik wie bei der thematischen Analyse. Aber in diesem Fall misst du den Prozentsatz der Antworten, die deine Hypothese bestätigen. Stell dir vor, du entwickelst eine Transkriptions-App (so wie Dovetail) mit folgender Hypothese:
Ich glaube, dass die Reduzierung der Transkriptverarbeitungszeit von 10 Minuten auf 10 Sekunden die Transkriptaufrufrate drastisch erhöhen wird
Stell dir nun vor, du analysierst die Antworten deiner Interviewpartner und findest heraus, dass 80 % der Befragten angeben, dass sie hintereinander Interviews führen und die Transkripte meist erst am Ende des Arbeitstags lesen.
Das bedeutet, dass deine Hypothese ungültig ist und du keine Zeit und Ressourcen darauf verwenden solltest, deine Verarbeitungs-Engine zu optimieren.
Bonus-Analysemethode: Die Grounded Theory
Die traditionelle wissenschaftliche Methode (die im Produktmanagement weit verbreitet ist) beginnt mit dem Formulieren von Hypothesen, die dann mit empirischen Belegen validiert werden.
Das Problem ist jedoch, dass du diese Hypothesen nicht immer formulieren kannst. Besonders in der frühen Ideenfindungsphase deines Startups weißt du manchmal nichts über deinen Markt und deine Nutzer. Es ist also unmöglich, sinnvolle Hypothesen aufzuschreiben.
Hier kommt die Grounded Theory ins Spiel.
Anstatt Hypothesen zu erstellen und sie dann mit Daten zu validieren, leitet dich der Forschungsprozess hier dazu an, zuerst die Daten zu analysieren und anschließend auf Basis der gewonnenen Erkenntnisse Hypothesen zu entwickeln.
Für ein junges Startup bedeutet das, zunächst ohne Hypothesen Nutzer zu interviewen und ihre Bedürfnisse und Nutzerreisen zu verstehen. Erst wenn du ein grundlegendes Verständnis dafür hast, was sie wollen, kannst du beginnen, Hypothesen zu formulieren.
So setzt du deine qualitativen Forschungsergebnisse um
Deine Nutzerinterviews sind sinnlos (und deine Entscheidungen voller Forschungsbias), wenn du daraus nichts Umsetzbares ableiten kannst. In diesem Abschnitt gehen wir die grundlegenden Schritte durch, wie du auf deine Erkenntnisse reagieren kannst und wie du sie im echten Leben anwendest. Du kannst diese Schritte auch mit KI in der UX-Forschung kombinieren.
Schritt 1: Bestätige oder widerlege deine Hypothesen
Sofern du nicht die Grounded Theory nutzt, sollte jedes einzelne Nutzerinterview das Ziel haben, eine oder mehrere Hypothesen zu überprüfen. So validierst du deine Hypothesen:
- Nutzen Sie die Tagging- und Annotationsfunktionen Ihres Interview-Tools, um alle notwendigen Erkenntnisse zu dieser Hypothese auf einem einzigen Bildschirm zu sammeln.
- Laden Sie Ihr Produktteam (einschließlich UX-Designer und Stakeholder) ein und bewerten Sie diese Ergebnisse gemeinsam.
- Entscheiden Sie, ob Sie diese Hypothese als bestätigt ansehen oder nicht.
Manchmal reicht der Datensatz, den Sie haben, nicht aus, um eine schlüssige Antwort auf Ihre Frage zu bekommen. In diesem Fall führen Sie einfach weitere Interviews durch, bis Sie genügend Daten gesammelt haben.
Schritt 2: Handeln Sie bei widerlegten Hypothesen
Wenn Ihre Interview-Ergebnisse eine Hypothese widerlegen (was häufiger vorkommt als eine Bestätigung), können Sie in zwei möglichen Weisen darauf reagieren:
- Überarbeiten Sie Ihre Hypothese: Vielleicht war ein Teil der Hypothese gültig, und Sie müssen lediglich eine neue, angepasste Hypothese auf Basis der alten formulieren.
Angenommen, Sie sind davon ausgegangen, dass Menschen es bevorzugen würden, Berechtigungen für jeden einzelnen Beitrag in Slack zu verwalten. Die Interviewdaten zeigen, dass die Leute zwar Berechtigungen wollen, diese aber nicht auf Beitragsebene liegen sollten. In diesem Fall ändern Sie Ihre Hypothese wie folgt:
Wir denken, dass Menschen die Verwaltung von Berechtigungen auf Kanal-Ebene bevorzugen werden
- Betrachten Sie sie als widerlegt und verwerfen Sie sie: Wenn Sie keine sinnvollen Überarbeitungen für Ihre Hypothese sehen, können Sie sie einfach verwerfen und neue Hypothesen formulieren.
Schritt 3: Validierte Hypothesen in Produktlösungen umsetzen
Falls Sie Ihre Hypothese tatsächlich validieren, können Sie mit der Arbeit an einer Produktlösung dafür beginnen.
Ich weiß, das ist offensichtlich, aber die meisten von uns schieben das auf und vergessen diese Gelegenheiten schließlich. Um diesen Wertverlust zu vermeiden, empfehle ich, regelmäßige Produkt-Ideations-Workshops einzurichten und Design-Frameworks zu nutzen, um Ihre Lösungen zu entwickeln und weiterzuentwickeln.
Die Hauptbeteiligten bei diesem Meeting sind Ihre Produktdesigner (oder Ingenieure, wenn die Lösung eine starke Codierung verlangt). Meistens beginnen diese Workshops mit einer Präsentation oder einem kollaborativen Board, das die zu dieser Hypothese gesammelten Erkenntnisse enthält.
(Interview-Tools bieten diese Funktion übrigens an, also sparen Sie sich PowerPoint und nutzen Sie stattdessen diese Features.)
Dann fangen Sie an, verschiedene Features und Designideen zu entwickeln, die den Fall der Hypothese abdecken. Am Ende können Sie jedes beliebige Priorisierungstool verwenden, um aus der Liste die wertvollsten Features zu identifizieren und sie als „backlog-ready“ zu markieren.
Schritt 4: Die Produktlösungen in Ihre Roadmap aufnehmen
Nun, dieser Schritt ist klar. Sobald Ihr UX-Team die Designs fertig hat und Sie die Anforderungen für die Lösung abgeschlossen haben, fügen Sie sie dem Backlog hinzu und priorisieren Sie sie.
Qualitative Datenanalyse ist Ihre Produktsuperkraft!
Produktmanager sind in jedem Unternehmen die Stimme ihrer Nutzer. Dank unseres Wissens über die Bedürfnisse und Probleme unserer Nutzer haben die Meinungen von Produktmanagern großes Gewicht, und die Menschen stimmen uns meist zu. (Oder zumindest sollten sie das!)
PMs können das erreichen, indem sie Datensammlung und -auswertung mit großer Sorgfalt betreiben. Aber Nutzerinterviews haben einen entscheidenden Vorteil: In Meetings mit der Geschäftsleitung werden Ihre Meinungen in dem Moment unwiderlegbar, in dem Sie Ihre Nutzer zitieren.
Stellen Sie also sicher, dass Sie alle Ihre Interviewdaten gut organisiert und sehr gründlich analysiert haben!
Vergessen Sie nicht, unseren Newsletter zu abonnieren, um weitere Ressourcen und Anleitungen zum Produktmanagement zu erhalten, sowie die neuesten Podcasts, Interviews und andere Einblicke von Branchenführern und Experten.
