Voreingenommenheit in der Forschung: Bist du dein eigener schlimmster Feind?
Als Produktprofis möchten wir alle glauben, dass wir jeden Morgen aufstehen und die Wahrheit suchen, um unseren Nutzern bestmöglich zu dienen und unsere KPIs zu erreichen. Oft verwenden wir Forschungsmethoden, um den Dingen auf den Grund zu gehen und Produktentscheidungen zu treffen. Hier ist das Problem: Egal wie sehr wir uns bemühen, wir sind anfällig dafür, die Gültigkeit unserer Ergebnisse durch Forschungsbias zu beeinträchtigen.
Es ist eine Geschichte so alt wie die Zeit, und egal ob du akademischer Forscher oder Produktmanager bist, es ist entscheidend, die Feinheiten der Voreingenommenheiten zu verstehen, die dich in die Irre führen könnten. Werfen wir einen Blick darauf, welche Bias-Arten es genau gibt und wie du ihren Einfluss auf deine Arbeit verringern kannst.
Was ist Forschungsbias?
Forschungsbias ist, einfach gesagt, jede Handlung oder Geisteshaltung während des Forschungsprozesses, die deine Fähigkeit beeinträchtigt, objektive Ergebnisse zu erhalten. Es ist wichtig zu wissen, dass Forschungsbias äußerst weit verbreitet ist: Sie kann sowohl in qualitativer als auch in quantitativer Forschung auftreten (ja, das stimmt – sogar Zahlen können von den Geschichten verzerrt werden, die wir um sie herum konstruieren).
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
Bias kann sich in jedem Schritt des Forschungsprozesses einschleichen:
- Festlegung der Forschungsfragen
- Datenerhebung
- Auswahl der Studienteilnehmer
- Datenanalyse
- Zusammenfassen und Kommunizieren der Ergebnisse
Biases sind im Allgemeinen unbeabsichtigt – wir sind uns oft nicht bewusst, dass unsere Geisteshaltung oder unsere Art, die Studie durchzuführen, die Validität unserer Ergebnisse beeinflusst. Der erste Schritt zur Vermeidung von Forschungsbias ist, sich selbst einzugestehen, dass jeder einzelne Mensch im Universum, der Forschung betreibt, von Bias betroffen sein kann – ungeachtet bester Absichten. Gute Absichten sind schön, reichen aber nicht aus, um die Gültigkeit unserer Studienergebnisse umfassend zu schützen.
Lies weiter, um mehr über die Bias-Arten zu erfahren, die unsere Arbeit beeinflussen, und wie du ihre Auswirkungen begrenzen kannst.
Arten von Forschungsbias, die deine Arbeit entgleisen lassen können
Ich bin ein bisschen voreingenommen (Wortspiel nur ein kleines bisschen beabsichtigt), aber jetzt kommt der spannende Teil. Wir sehen uns an, auf welche Weise wir – oft unbeabsichtigt – durch die Eigenarten unserer Gehirne und die unserer Studienteilnehmer verzerrte Forschungsergebnisse erzeugen können. (Keine Sorge: Wenn du weiterliest, erfährst du auch, wie du sie vermeiden kannst.)
Erinnerungsbias
Ist es seltsam, eine Lieblingsbias zu haben? Seltsam oder nicht – das ist meine. Es ist meine Lieblingsbias, weil sie auf die Geheimnisse des menschlichen Geistes hinweist: Was wir von einem Ereignis oder einer Reihe von Ereignissen erinnern, ist nicht immer vollständig oder korrekt.
Der Erinnerungsbias beschreibt unsere Tendenz, vergangene Ereignisse unterbewusst mit bestimmten Ungenauigkeiten zu erinnern, zum Beispiel indem wir Details weglassen. Das passiert häufiger, wenn es um unangenehme Erlebnisse oder Geschehnisse in weiter zurückliegender Vergangenheit geht – aber eigentlich kann es jederzeit vorkommen.
Beispiel für Erinnerungsbias
Wenn du beispielsweise ein Nutzerinterview über die Fitnessgewohnheiten einer Person führst und nach einer App fragst, die sie seit einem Jahr nicht mehr benutzt hat – nun, die Fähigkeit, sich genau an die Nutzung und den Ablauf zu erinnern, ist stark eingeschränkt. Oder wenn du nach den Erfahrungen einer Person nach einem Arztbesuch infolge einer Verletzung fragst, hat ihr Gedächtnis ihr womöglich einen Gefallen getan, indem es einige der unangenehmeren Details aus psychologischen Gründen abgeschwächt hat.
Es gibt unzählige Beispiele, aber letztlich sind unsere Gehirne Geschichtenerzähler. Aus verschiedenen Gründen – sei es der Zeitablauf oder unser Wunsch, bestimmte Ereignisse anders in Erinnerung zu behalten, als sie tatsächlich waren – das, was wir erinnern, entspricht nicht immer exakt dem, was passiert ist. Das kann unsere Forschungsergebnisse beeinflussen, wenn Studienteilnehmer unbewusst unter Erinnerungsbias leiden.
Auswahlbias
Denk nicht, dass Bias nur bei deinen Studienteilnehmern auftreten kann – diese hier betrifft dich als Forscherin oder Forscher. Du weißt wahrscheinlich schon, dass die Art und Weise, wie du festlegst, wer an deiner Studie teilnehmen darf, deine Ergebnisse stark beeinflusst. Wenn du das Schlafverhalten untersuchst und ausschließlich Eltern von Neugeborenen befragst oder interviewst, erhältst du Ergebnisse, die nicht unbedingt auf die Gesamtbevölkerung übertragbar sind (gähn).
Beim Auswahlbias führen bestimmte vorgefasste Meinungen oder Hypothesen dazu, dass wir unsere Stichprobe so definieren, dass sie zu den von uns erwarteten oder gewünschten Ergebnissen passt.
Beispiel für Auswahlbias
Nehmen wir an, dein Unternehmen bietet ein Marketing-Automatisierungstool an, und du möchtest verstehen, warum deine Wettbewerber euch beim Umsatz abhängen. Du als Produktmanager hast vielleicht die Hypothese, dass speziell die E-Mail-Automatisierungsfunktionen das Wachstum der Konkurrenz antreiben.
Das könnte dazu führen, dass du dich vor allem darauf konzentrierst, Studienteilnehmer zu rekrutieren, die in ihrer Rolle schwerpunktmäßig mit E-Mail arbeiten – was dazu führen kann, dass du Nutzenversprechen und Schmerzpunkte in anderen Bereichen der Marketingautomatisierung übersiehst, weil du nicht genügend Teilnehmer gewonnen hast, die sich in anderen Produktbereichen engagieren.
Bestätigungsbias
Wenn du schon einmal Teil eines Projekts warst, in dem die leitende Person der Forschung scheinbar nur an Nutzerfeedback interessiert war, das ihre eigenen Annahmen bestätigte, hast du Bestätigungsfehler (Confirmation Bias) in Aktion erlebt. Beim Betrachten von Daten jeglicher Art, ob qualitativ oder quantitativ, neigen wir Menschen dazu, Informationen, die unsere Hypothesen oder Überzeugungen bestätigen, zu bevorzugen oder deren Bedeutung zu übertreiben. Das nennt man Bestätigungsfehler – und er ist allgegenwärtig. Tatsächlich bin ich zu der Überzeugung gelangt, dass die Arbeitsweisen von Produktteams Bestätigungsfehler sehr wahrscheinlich machen, wenn wir nicht aktiv dagegen ansteuern.
Im Produktbereich stehen wir häufig vor der Aufgabe, große Entscheidungen zu treffen und große Risiken einzugehen – und das in kurzer Zeit. Es kommt selten vor, dass ein Designer oder Produktmanager keine starke Meinung dazu hat, welche Feature-Iterationen oder Produktneuausrichtungen das Team näher an die Zielerreichung bringen. Aus diesem Grund wird Nutzerforschung manchmal nur als Pflichtübung betrachtet und die Ergebnisse werden in einer Erzählweise präsentiert, die voller Bestätigungsfehler ist.
Wie ist das möglich? Höchstwahrscheinlich wirst du in deiner Nutzerforschungsstudie viele verschiedene Erkenntnisse gewinnen. Bei der Analyse deiner Daten, einem Prozess, der in Unternehmen meist wenig Kontrolle unterliegt, ignorierst du vielleicht unbewusst Datenpunkte, die deinen Überzeugungen widersprechen, und präsentierst eine Geschichte, die nicht der Realität entspricht. Oje!
Beispiel für Bestätigungsfehler
Stell dir vor, ein Forscher führt Nutzerinterviews zu einer Produktfunktion durch, die mit Hilfe von KI Antworten auf E-Mails generiert. In diesem Zusammenhang würde der Forscher durch Suggestivfragen wie „Würdest du diese Funktion nicht auch als wertvoll empfinden?“ oder „Wäre es nicht großartig, beim Schreiben von E-Mails Zeit zu sparen?“ einen Bestätigungsfehler erzeugen, weil er die Forschungsergebnisse durch seine eigene Sicht auf den Nutzen der Funktion beeinflusst.
Messfehler (Measurement Bias)
Egal, ob du qualitative oder quantitative Forschung betreibst: Es ist wichtig, dass die Art und Weise, wie du deine Datenpunkte misst, sinnvoll ist und über den gesamten Prozess hinweg konsistent bleibt. Wenn es ein grundlegendes Problem mit den eingesetzten Messmethoden gibt, schleichen sich unter Umständen falsche Ergebnisse ein – das nennt man Messfehler (Measurement Bias).
Beispiel für Messfehler
Nehmen wir an, du führst eine quantitative Usability-Studie für eine Funktion durch, die einen Abbruch an einer bestimmten Stelle im zentralen Workflow deines Produkts reduzieren soll. In Hunderten von Tests misst du, wie gut Nutzer den neuen Ablauf erfolgreich durchlaufen können und suchst nach einer Verbesserung gegenüber der alten Version der Funktion. Dein Team muss sich genau überlegen, was „den Ablauf erfolgreich abschließen“ eigentlich bedeutet: Heißt das nur, dass man es an der neuen Iteration vorbeischafft? Oder bedeutet es, alles komplett abzuschließen? Gehört dazu auch, ein zufriedenstellendes Ergebnis zu erzielen?
Wie du siehst, kann allein die Definition der Messgröße selbst das Ergebnis massiv beeinflussen!
Befrager-Bias (Interviewer Bias)
Bei der Durchführung von Nutzerinterviews im Rahmen einer qualitativen Studie können die gestellten Fragen sowie deren Formulierung ein Nährboden für potenzielle Verzerrungen sein.
Beispiele für Befrager-Bias
Hier einige Beispiele, wie Befrager-Bias sich in jede Forschungsstudie einschleichen kann:
- Der Interviewer stellt jedem Teilnehmer unterschiedliche Fragen, die auf seinen Annahmen über die jeweilige Person beruhen, statt einen einheitlichen Fragenkatalog für alle in der Studie zu verwenden.
- Der Interviewer stellt suggestive Fragen, die den Teilnehmer in eine Richtung lenken, welche die Hypothesen des Forschers bestätigen.
- Der Interviewer deutet durch die Formulierung der Frage eine Meinung oder Wertung an und ermutigt so die Teilnehmer, möglichst positiv zu antworten (auch soziale Erwünschtheitsverzerrung genannt).
Publikationsbias
Was tust du als Produktprofi, wenn deine Studienergebnisse nicht das widerspiegeln, was du erhofft hast? Glaub es oder nicht: Viele Forscher und Produktverantwortliche rechtfertigen in solchen Fällen das Nicht-Teilen ihrer Ergebnisse mit dem Team – das nennt man Publikationsbias.
Beispiel für Publikationsbias
Wie sieht das aus? Es äußert sich zum Beispiel darin, dass du oder jemand im Team sagt: „Naja, wir haben es ja nur mit 15 Nutzern getestet – das ist wohl nicht aussagekräftig. Lassen wir es erst einmal.“
Die Gefahr besteht darin, dass du deinem Team wertvolle Informationen vorenthältst, wenn sie nicht deinen Hoffnungen oder Überzeugungen entsprechen. Dadurch kann das Verschweigen von Informationen dazu führen, dass dein Team in die völlig falsche Richtung weiterarbeitet.
Stichprobenverzerrung (Sampling Bias)
Wen rekrutierst du eigentlich für deine Studie? Das ist oft einer der wichtigsten Faktoren, ob du wirklich tragfähige und zuverlässige Ergebnisse erhältst. Stichprobenverzerrung bedeutet, dass die gesammelten Daten auf einer Stichprobe beruhen, die nicht differenziert oder repräsentativ genug ist, wodurch sich Resultate verzerren können und du in die Irre geführt wirst.
Beispiel für Stichprobenverzerrung
In diesem Beispiel führen Sie eine Umfrage zu Kochgewohnheiten durch, um neue Funktionen für Ihre Rezept-App zu entwickeln. Wenn Ihre Befragten aus einem Pool stammen, den Sie auf einem College-Campus ausgewählt haben, betrachten Sie im Wesentlichen die Kochgewohnheiten von jungen Menschen, die Vollzeit studieren. Was ist mit Familien? Rentnern?
Eines der wichtigsten Dinge, die Sie im Forschungsdesign tun, ist sicherzustellen, dass Sie sich eine repräsentative Stichprobe anschauen.
Analyse-Bias
Nachdem Sie Ihre Datenerhebungsmethoden durchgeführt haben, beginnt die Analysephase. Hier treffen Sie verschiedenste Entscheidungen: Welche Daten sind wichtig? Welche sind am wichtigsten? Was bedeutet das alles qualitativ? Statistisch? Oft treffen wir diese Entscheidungen auf eine Art, die unsere ursprünglichen Hypothesen oder gewünschte Ergebnisse begünstigt.
Beispiel für Analyse-Bias
Ein Beispiel für einen Analyse-Bias wäre, wenn Sie sich bei Aussagen wie „Das ist nicht wichtig. Das kam nur ein paar Mal vor. Das sind nur Ausreißer.“ ertappen. Während das je nach Studie zutreffen kann, könnte es sich dabei auch um einen Analyse-Bias handeln, der sich einschleicht und Sie dazu bringt, eine wichtige Nuance in Ihren Forschungsergebnissen zu ignorieren.
Dies sind nur einige Beispiele für Forschungs-Bias—tatsächlich gibt es unzählige Wege, wie sich Bias in Forschungsprojekten manifestieren kann. Die nächste Frage ist also: Was können wir dagegen tun?
Vermeidung von Bias im Forschungsdesign
Wahrscheinlich fragen Sie sich mittlerweile etwas nervös, ob Forschung aufgrund unserer menschlichen Tendenz zu voreingenommenem Verhalten überhaupt sinnvoll ist. Zum Glück ist das nicht der Fall. Jetzt, wo Sie sich möglichen Biases bewusst sind, die hinter jeder noch so gut gemeinten Ecke lauern, können Sie Maßnahmen ergreifen, um Vorurteile in Ihrer Nutzerforschung zu reduzieren und Ihr Produktteam auf den richtigen Kurs zu bringen. Schauen wir uns an, wie das konkret gelingen kann.
Gehen Sie Ihr Forschungsdesign mit Sorgfalt an
Das ist die Nutzforschungs-Variante des „richtigen Starts“. Wenn Sie Ihre Studie entwerfen, treffen Sie eine Reihe von Entscheidungen, die, sofern sie richtig getroffen werden, die Wahrscheinlichkeit für Bias deutlich senken können.
Hier sind einige Tipps:
- Definieren Sie Ihre Nutzergruppen so breit wie möglich, ohne Ihre Zielgruppe aus den Augen zu verlieren
- Wählen Sie Ihre Forschungsmethoden mit Bedacht: Die Methodik sollte widerspiegeln, was Sie lernen möchten
- Wenn Sie Nutzerinterviews durchführen, schreiben Sie vorab einen Interviewleitfaden und achten Sie darauf, allen dieselben Fragen zu stellen
Vermeiden Sie Interessenskonflikte in allen Phasen der Nutzerforschung
Der Produktmanager, der das ganze Jahr darauf pocht, eine bestimmte Richtung einzuschlagen? Das ist idealerweise nicht die Person, die die Studie leiten sollte. Auch wenn Objektivität grundsätzlich möglich ist, machen derartige Interessenskonflikte es oft sehr schwer, die Datenerhebung und Analyse unvoreingenommen durchzuführen.
Eine Alternative wäre, wenn eine andere Person—vielleicht ein Designer oder User Researcher im Team—die Studie plant und leitet, aber den erwähnten Produktmanager dabei konsultiert. Insgesamt gilt die erfahrungsbasierte Regel: Je weniger jemand an einem gewünschten Ergebnis hängt, desto wahrscheinlicher sind verlässliche Forschungsergebnisse.
Erkennen Sie an, dass Forschungs-Bias alle Forschenden betrifft
Ich meine das ganz respektvoll: Auch wenn Sie in vielerlei Hinsicht besonders sind, gelten bei der Gefahr, Bias in eine Studie hineinzubringen—sind Sie es nicht.
Alle besprochenen Biases sind nachgewiesene menschliche Tendenzen, die alle Menschen haben. Sobald Sie die Einstellung annehmen, dass sogar Sie theoretisch von verschiedenen Biases betroffen sein könnten, sind Sie automatisch dabei, diese auch zu vermeiden!
Führen Sie immer eine Forschungs-Retrospektive durch
Fehler zu machen ist menschlich, das gilt auch in der Nutzerforschung. Jedes Mal, wenn Sie eine Studie durchführen, setzen Sie sich im Anschluss mit Ihrem Team zusammen und besprechen Sie die Methodik von Anfang bis Ende – was hätten Sie anders machen können? Gab es möglicherweise versteckten Bias?
In der Regel ist Ihre Studie nicht komplett unbrauchbar, aber Sie finden kleinere Anpassungen, die Sie bei zukünftigen Studien vornehmen können, um die Zuverlässigkeit Ihrer Nutzerforschung weiter zu steigern.
Forschungs-Bias existiert, aber er kann gemanagt werden.
Jetzt, da Sie wissen, was Sie bei der Durchführung von zuverlässiger Nutzerforschung stolpern lassen kann, sind Sie bereit, hinauszugehen und gute Arbeit zu leisten. Auch wenn es vielleicht ein wenig albern klingt, verrate ich Ihnen ein abschließendes Geheimnis: Ich habe ein kleines Post-it auf meinem Schreibtisch, auf dem einfach nur „Bias!“ steht. Es hilft mir dabei, alles, was wir besprochen haben, im Blick zu behalten.
Selbst wenn eine auffällige Post-it-Notiz nicht Ihre bevorzugte Methodik ist, finden Sie einen Weg, das Thema Bias bei Ihren Nutzerforschungen immer im Hinterkopf zu behalten – dann sind Sie bestens aufgestellt, um Erkenntnisse zu liefern, die Ihrem Team helfen, seine Ziele zu erreichen.
Vergessen Sie nicht, unseren Newsletter zu abonnieren, um weitere Ressourcen und Leitfäden zum Produktmanagement sowie die neuesten Podcasts, Interviews und andere Einblicke von Branchenführern und Experten zu erhalten.
