5 Produktforschungs-Bias und wie du sie vermeidest

Was ist Bias in der Produktforschung und welche Risiken bestehen?

Der Begriff Bias bezieht sich auf die Reihe von Fehlern, die Produkt- und Marketingteams bei der Durchführung von Recherchen machen. Das Ergebnis dieser Fehler ist meist eine fehlerhafte Analyse, die zu Entscheidungen führt, welche die tatsächliche Situation für ihr Produkt, ihren Markt und ihre Nutzer nicht korrekt widerspiegeln.

Die Entscheidungen eines Produktmanagers haben enorme Auswirkungen. Eine einzige Entscheidung kann die gesamte Produktlinie auf einen neuen Markt oder eine andere Zielpersona ausrichten. Es gibt auch täglich umsetzungsbezogene Entscheidungen, die die Effektivität der Bemühungen von Engineering, Marketing, KI und anderen Teams beeinflussen.

Daher ist es besonders gefährlich, Entscheidungen auf verzerrten Daten zu treffen, da Sie Menschen in die falsche Richtung führen und als PM kläglich scheitern können.

Zum Glück ist die Minderung von Forschungs-Bias nicht so schwer, wie es vielleicht scheint. Das Schwierigste ist es, zuzugeben, dass Ihre Daten verzerrt sind. Die eigentliche Minderung ist vergleichsweise einfach.

Arten von Forschungs-Bias in der quantitativen Datenanalyse

Beginnen wir mit den häufigsten Bias-Arten, auf die Sie bei der Arbeit mit Daten stoßen. Sie stehen meist im Zusammenhang mit Fehlern bei der Erhebung, Analyse und Umsetzung quantitativer Daten.

Klassische wissenschaftliche Forschung identifiziert eine Vielzahl von Forschungs-Biases, darunter:

• Publikations-Bias
• Messfehler-Bias
• Analyse-Bias
• Konstruktions-Bias
• Beobachter-Bias
• Recall-Bias (Erinnerungsverzerrung)
• Soziale Erwünschtheitsverzerrung
• Demografischer und kultureller Bias
• Antwort-Bias und andere.

Aber das ist für unsere Zwecke etwas zu theoretisch. Deshalb konzentriere ich mich auf die drei Bias-Arten, denen Sie im echten Leben als Produktmanager am wahrscheinlichsten begegnen.

#1: Stichproben- und Auswahl-Bias

Wie der Name schon sagt, entsteht der Stichproben-Bias durch falsche Daten aufgrund der gewählten Stichprobe.

Wenn Ihre Stichprobe Daten enthält, die auf eine bestimmte Eigenschaft verzerrt sind, dann wird die von Ihnen durchgeführte Analyse nicht repräsentativ für die Gesamtpopulation sein. Sie extrapolieren dann fälschlicherweise das Verhalten dieser verzerrten Stichprobe und wenden es auf das gesamte Datenset an.

Netflix ist eines der großen Tech-Unternehmen, das bereits unter Stichproben-Bias gelitten hat. Die Menschen in den Vereinigten Staaten liebten den Empfehlungsalgorithmus, da er Sendungen vorschlug, die ihren Interessen entsprachen. Der Rest der Welt jedoch hasste ihn. Die Vorschläge waren einfach nur schrecklich.

Woran lag das? Offenbar wurde das AI-Modell, das diese Vorschläge generierte, nur mit Zuschauer-Daten aus den USA trainiert und empfahl dementsprechend amerikanisch relevante Inhalte.

Wie kann man Stichproben-Bias mindern?

Im Fall von Netflix begann man einfach damit, die Modelle auch mit internationalen Daten zu füttern und trainierte sie auf Grundlage einer weniger verzerrten Studienpopulation neu.

Wenn Sie jedoch einen systematischeren Ansatz zur Minderung dieses Bias wünschen, kann ich eine etwas unorthodoxe Methode empfehlen, die sich für mich bewährt hat: Führen Sie eine von Statistikern sogenannte Cluster-Analyse durch.

Mit einer Cluster-Analyse lassen sich gemeinsame Merkmale in Ihrer Stichprobenpopulation erkennen und diese anhand dieser Merkmale gruppieren.

Auf dem obigen Bild sehen Sie, dass die Population anhand der gewählten Merkmale klar in drei verschiedene Cluster aufgeteilt ist.

Sie wählen also verschiedene Merkmale aus und erstellen für jedes davon ein entsprechendes Diagramm. Ihre Daten sind verzerrt und anfällig für Stichproben-Bias, wenn Sie bei bestimmten Merkmalen feststellen, dass Sie nur ein einziges Cluster haben. Im Netflix-Beispiel gab es beim Merkmal "Zuschauerland" nur ein Cluster: die Vereinigten Staaten.

Vorsicht jedoch! Manchmal ist es völlig normal, dass Ihre gesamte Population bei einem bestimmten Merkmal nur einen einzigen Cluster aufweist, wenn dieses Merkmal deren Persona beschreibt. Wenn wir zum Beispiel eine Cluster-Analyse für die Leser von theproductmanager.com durchführen würden, wären die meisten von ihnen Produktmanager. Das ist natürlich, da sich die Webseite speziell an PMs richtet. Solche Merkmale sollten Sie daher immer aus Ihrer Analyse entfernen.

#2: Verfahrensbedingte Verzerrung

Diese Art der Verzerrung bezieht sich auf Fehler, die Sie in Ihrem Studiendesign und Forschungsprozess gemacht haben. Das kann an der Verwendung ungeeigneter Werkzeuge, statistischer Formeln oder auch an Ihren Methoden zur Datenerhebung liegen.

Nach meiner Erfahrung tritt verfahrensbedingte Verzerrung besonders häufig bei Nutzerumfragen auf. Wenn Sie dort suggerierende Fragen stellen, werden die Teilnehmer höchstwahrscheinlich der von Ihnen gewünschten Antwortrichtung folgen.

So sieht eine typische suggestive Umfragefrage aus:

Wie sehr lieben Sie unser Produkt?

Mit dieser Formulierung regen Sie die Nutzer an, eine positivere Antwort zu geben – selbst wenn sie Ihr Angebot nicht mögen.

Die neutralere Variante derselben Frage lautet:

Wie würden Sie unser Produkt bewerten?

In diesem Fall machen Sie klar deutlich, dass auch negative Antworten in Ordnung sind.

So vermeiden Sie verfahrensbedingte Verzerrung

Der beste Weg, Ihre Forschung von verfahrensbedingter Verzerrung zu befreien, ist, die passenden Werkzeuge und Methoden für Ihre spezielle Analyseform zu wählen.

Antworten randomisieren

Wenn Sie Umfragen durchführen, sollten Sie nicht nur suggestive Fragen vermeiden, sondern auch die Reihenfolge der Fragen zufällig anordnen. Es besteht sonst die Gefahr, dass Teilnehmer mitten im Fragebogen ermüden und dann bedeutungslose Antworten geben. Ohne Randomisierung werden die letzten Fragen kaum noch verwertbare Antworten erhalten.

Achten Sie auf statistische Signifikanz

Beachten Sie zudem, dass Umfragen in ihrer Natur nur teilweise quantitativ sind. Verlassen Sie sich daher nicht zu sehr auf die statistische Auswertung dieser Daten. Wenn sich beispielsweise Ihr NPS nach einer Funktionsverbesserung um 2% erhöht, ist dieser Unterschied zu gering, um als statistisch signifikant zu gelten. Eine Verdopplung hingegen wäre verlässlich.

Wählen Sie die richtigen Werkzeuge

Sprechen wir nun auch über die Wahl falscher Tools. Wenn Sie etwa die Conversion Rate Ihrer Checkout-Seite messen wollen, führt die Nutzung eines Heatmap-Tools zu verfahrensbedingter Verzerrung, da die daraus gewonnenen Daten unzuverlässig sind.

In solchen Fällen sollten Sie Heatmap-Software nutzen, um das Verhaltensproblem zu untersuchen, und ein A/B-Testing durchführen, um das Nutzerverhalten zu beeinflussen. Für die CR-Messung hingegen sollten Sie auf Produktanalyse-Tools wie Amplitude oder GA4 zurückgreifen.

#3: Überlebensverzerrung

Verzerrte Forschungsmethoden gibt es schon lange. Es gibt eine interessante Geschichte zu amerikanischen Bomberflugzeugen aus dem Zweiten Weltkrieg. Nach jedem Einsatz untersuchten die Ingenieure die Einschusslöcher von Flak-Geschossen in den Rümpfen der zurückgekehrten Bomber und trugen sie wie folgt ein:

Die logische Schlussfolgerung war es, an den am häufigsten getroffenen Stellen die Panzerung zu verstärken. Doch diese Verstärkung hatte fast keinen Einfluss auf das Überleben der amerikanischen Bomber.

Nach eingehender Analyse stellten die Ingenieure fest, dass sie nur die Flugzeuge betrachteten, die überlebt und zum Stützpunkt zurückgekehrt waren. Die wirklich kritischen Stellen waren tatsächlich die, an denen sich keine Einschusslöcher befanden.

So vermeiden Sie Überlebensverzerrung

Wechseln wir von WW2-Flugzeugen zu digitalen Produkten. Als PM werden Sie beim Management Ihrer Datenerhebung wahrscheinlich mit folgenden Fällen konfrontiert, in denen sich Verzerrungen einschleichen können:

Datenfilterung für Analysen

Wenn Sie das Nutzerverhalten analysieren, kann es passieren, dass Sie Nutzer herausfiltern, die bestimmte, für Ihre Analyse irrelevante Aktionen durchgeführt haben.

Ich bin kürzlich auf genau einen solchen Fall gestoßen. Wir wollten die Aktivierungsrate unseres Influencer-Marketing-Produkts verbessern. Das Datenanalyse-Team erstellte einen Funnel-Report, bei dem die Conversion Rates von einem Aktivierungsschritt zum nächsten ziemlich hoch waren (etwa zwischen 50 und 70%).

Diese Daten verwunderten uns, da die allgemeine Engagementrate verglichen mit der Anzahl der Anmeldungen sehr niedrig ausfiel. Nach genauer Analyse stellten wir fest, dass das Datenteam einen Filter gesetzt und nur die Daten unserer Power-User übrig gelassen hatte.

Natürlich waren Power-User höchstwahrscheinlich diejenigen, die den Aktivierungsprozess mit Leichtigkeit durchlaufen hatten. Daher waren die Conversion-Raten im Funnel nicht wirklich repräsentativ für die tatsächliche Situation. Als wir uns die Funnels anschauten und alle unsere Anmeldungen berücksichtigten, sanken die Raten deutlich.

Lektion gelernt:

• Berücksichtigen Sie bei der Filterung Ihrer Daten immer den Kontext und das Ziel der Analyse.

Analyse von vorgefilterten Umfragedaten

Ein weiterer interessanter Fall im Forschungsdesign, mit dem ich mich kürzlich beschäftigen musste, betraf eine Umfrage, die wir durchgeführt haben, um die Bedürfnisse und Probleme von Influencer-Marketing-Experten zu verstehen. Auch hier waren die Studienergebnisse für uns etwas verwirrend, weil die Bedürfnisse der Befragten nicht mit den Erkenntnissen aus unseren Nutzerinterviews übereinstimmten.

Das Problem war hier unser Vorab-Screening-Prozess für Nutzer, die an der Umfrage teilnahmen. Neben der Frage, ob sie Influencer sind (um irrelevante Antworten auszuschließen), fragten wir auch nach der Größe ihrer Zielgruppe/Follower.

Aus irgendeinem Grund hatten wir Influencer mit weniger als 50.000 Followern disqualifiziert und nur die Antworten der relativ größeren Influencer berücksichtigt. Unser Produkt sollte jedoch auch kleine Influencer ansprechen. Daher waren die Umfrageergebnisse für uns nicht zutreffend.

Lektionen gelernt:

• Überprüfen Sie Ihre Forschungsergebnisse mit qualitativen Daten. Wenn es große Unterschiede zwischen den Ergebnissen dieser beiden gibt, haben Sie möglicherweise etwas falsch gemacht.
• Seien Sie vorsichtig mit Ihrem Pre-Screening-Prozess; Sie könnten am Ende auch relevante Nutzer ausschließen.

Arten von Verzerrungen in der qualitativen Forschung 

Nachdem wir die systematischen Fehler in Bezug auf quantitative Forschung behandelt haben, kommen wir zu einer weiteren wichtigen Kategorie der Forschung – den qualitativen Studien.

Für Produktmanager ist die mit Abstand wichtigste Art der qualitativen Forschung das Führen von Nutzerinterviews. Deshalb konzentriere ich mich auf die beiden Hauptverzerrungen, denen Sie normalerweise begegnen, wenn Sie mit Ihren Kunden und Nutzern sprechen.

Hinweis: Dies sind auch die beiden Arten von Verzerrungen, die Sie mit einem geeigneten Tool zur Produktideenfindung steuern und eindämmen können.

#4: Bestätigungsfehler (Confirmation Bias)

Eine der größten Stärken von Produktmanagern ist es, an etwas fest zu glauben, wenn andere es nicht tun. So entstehen innovative Produkte und Sie revolutionieren Ihre Branche. Allerdings ist das Festhalten an der eigenen Meinung auch eine große Schwäche von PMs.

Der Grund ist, dass PMs häufig unter dem Bestätigungsfehler leiden. Dieser beschreibt eine Situation, in der Sie aktiv versuchen, nur die Teile eines Gesprächs zu hören, die zu Ihren eigenen Überzeugungen passen, und den Rest ausblenden.

Das ist sehr gefährlich für Menschen, die anschließend strategische Entscheidungen darüber treffen, wie das Produkt aussehen soll und wie es auf den Markt gebracht wird. Wenn der Bestätigungsfehler Einfluss hat, werden Ihre Nutzerinterviews vollkommen nutzlos und Sie treffen Entscheidungen im Blindflug (und Nutzerzentrierung können Sie dann vergessen).

Wie lässt sich der Bestätigungsfehler vermeiden?

Ich muss zugeben, dass ich selbst auch schon den Bestätigungsfehler "geübt" habe. Aber es gibt eine Lösung, die mir geholfen hat, ihn recht gut einzudämmen.

Man könnte es das „Code-Review“ für Nutzerinterviews nennen. Dabei prüfen Produktleute gegenseitig die Interviews ihrer Kollegen und empfehlen, Erkenntnisse hinzuzufügen oder zu entfernen.

Wenn Sie der einzige Produktmanager im Unternehmen sind (was bei kleinen Start-ups oft der Fall ist), machen Sie diese Übung gemeinsam mit Ihrem Gründer. Vergessen Sie nicht, auch Gründer sind im Grunde genommen Produktleute.

#5: Teilnehmervoreingenommenheit (Participant Bias)

Während der Bestätigungsfehler eine gefährliche Sache ist, lässt er sich relativ einfach beheben. Die nächste Verzerrung, über die ich sprechen möchte, ist jedoch weitaus schwieriger zu vermeiden.

Teilnehmervoreingenommenheit tritt auf, wenn Ihre Befragten Aussagen machen, von denen sie denken, dass Sie diese hören möchten, statt das zu sagen, was sie wirklich über das jeweilige Thema denken.

Wenn Sie beispielsweise ein Interview führen, können Sie die Forschungsteilnehmer fragen, ob sie Ihr Produkt kaufen würden, vorausgesetzt, Sie fügen das Feature hinzu, das sie gerade vorgeschlagen haben. Können Sie erraten, was die Antwort sein wird? Nach meiner Erfahrung sagt die überwiegende Mehrheit Ja.

Bedeutet das, Sie sollten sofort zum Engineering-Team laufen und den Bau dieses Features beauftragen? Nein! Die Frage selbst ist fehlerhaft und bringt die Leute naturgemäß dazu, etwas zu sagen, das Sie erfreuen wird.

Ich stimme zu, Ihr Feature könnte ein großes Problem für einige dieser Interviewten lösen, und sie werden dafür bezahlen. Aber die Mehrheit wird dieses Feature einfach kostenlos nutzen oder überhaupt nicht verwenden.

Abgesehen davon, dass man fehlerhafte Forschungsfragen stellt, werden Studienteilnehmer Ihnen auch voreingenommene Antworten geben, wenn Sie sie für die Teilnahme an der Studie bezahlen. In der Regel tendieren sie dazu, sich den Lohn zu "verdienen", indem sie Ihnen wohlwollende Antworten geben und Sie glücklich machen, ohne zu erkennen, dass sie damit mehr Schaden als Nutzen anrichten.

Wie man Teilnehmer-Voreingenommenheit mindert

Wie bereits erwähnt, ist es ziemlich schwierig, die Voreingenommenheit von Teilnehmern zu mindern. Das liegt daran, dass Sie nie wirklich wissen, ob der Teilnehmer ehrlich zu Ihnen ist oder nicht.

Aber zwei Taktiken können Ihnen helfen, die Wahrscheinlichkeit von schlechten Antworten zu verringern.

Fragen zur bisherigen Erfahrung stellen

Wenn Sie Fragen zu einem theoretischen Ereignis in der Zukunft stellen, werden die Interviewten höchstwahrscheinlich Dinge sagen, die sie im wirklichen Leben nie tun würden.

Wenn Sie jemanden am 2. Januar fragen, ob er bereit wäre, 12 Monate am Stück ins Fitnessstudio zu gehen, wird er Ja sagen. Aber wir alle wissen, dass die meisten nach nur wenigen Besuchen ihre Mitgliedschaft aufgeben.

Um dies zu vermeiden, bevorzugen Produktmanager Fragen zu Dingen, die in der Vergangenheit passiert sind. Auf diese Weise kann der Produktmanager das Nutzerverhalten darauf basieren, was Nutzer tatsächlich getan haben – und nicht darauf, was sie sich wünschen würden.

Die richtigen Erwartungen setzen

Manchmal erlaubt die Art Ihrer Frage oder Studie es nicht, dass Sie nach vergangenen Erfahrungen der Nutzer fragen. Zum Beispiel möchten Sie wissen, wie sie sich fühlen würden, wenn Sie den Preis Ihres Produkts erhöhen würden.

In diesem Fall können Sie klarstellen, dass es in Ordnung ist, negative Antworten zu hören und dass ehrliches Feedback der einzige Weg ist, wie die Teilnehmer sich "ihren Lohn verdienen" können.

Das Eingeständnis eigener Voreingenommenheiten ist 80 % des Erfolgs

Genau. Der schlimmste Teil daran, voreingenommen zu sein, ist, dass die meisten von uns aufrichtig glauben, im Recht zu sein. Der wichtigste Schritt, den Sie unternehmen können, um Ihre eigenen Vorurteile zu mindern, ist daher, diese zu erkennen.

In dem Moment, in dem Sie dies tun, fangen Sie ganz von allein an, sich damit auseinanderzusetzen – und erreichen schließlich einen Zustand ohne Vorurteile. (Oder zumindest einen bewusst gesteuerten Zustand!)

Vergessen Sie nicht, unseren Newsletter zu abonnieren, um weitere Ressourcen und Leitfäden zum Produktmanagement sowie die neuesten Podcasts, Interviews und andere Einblicke von Branchenführern und Experten zu erhalten.