Stronniczość w badaniach: Czy jesteś swoim najgorszym wrogiem?

Jako specjaliści ds. produktów wszyscy lubimy myśleć, że każdego ranka wstajemy i poszukujemy prawdy, aby jak najlepiej służyć naszym użytkownikom i realizować nasze KPI. Często korzystamy z metodologii badawczej, która pomaga nam dotrzeć do sedna sprawy i podejmować decyzje dotyczące produktu. Rzecz w tym, że bez względu na to, jak bardzo się staramy, jesteśmy podatni na wpływanie na wiarygodność naszych wyników przez stronniczość badawczą.

To historia stara jak świat i niezależnie od tego, czy jesteś badaczem akademickim, czy menedżerem produktu, niezwykle ważne jest zrozumienie wszystkich aspektów stronniczości, które mogą sprowadzić cię na manowce.  Przyjrzyjmy się dokładnie temu, jakie rodzaje stronniczości występują i jak ograniczyć ich wpływ na twoją pracę. 

Czym jest stronniczość badawcza?

Stronniczość badawcza, mówiąc najprościej, to każde działanie lub sposób myślenia podczas procesu badawczego, który wpływa na twoją zdolność do uzyskiwania obiektywnych wyników. Należy zauważyć, że stronniczość badawcza jest niezwykle powszechna: może wystąpić zarówno w badaniach jakościowych, jak i ilościowych (tak, to prawda — nawet liczby mogą być zniekształcane przez historie, które wokół nich tworzymy). 

Stronniczość może wkraść się w dowolnym miejscu procesu badawczego:

• Definiowanie pytań badawczych
• Zbieranie danych
• Wybór uczestników badania
• Analiza danych
• Podsumowywanie i komunikowanie wyników

Stronniczość jest zazwyczaj niezamierzona — nie zdajemy sobie sprawy, że nasz sposób myślenia lub sposób prowadzenia badania wpływa na wiarygodność naszych wyników. Pierwszym krokiem w zapobieganiu stronniczości badawczej jest przyznanie przed samymi sobą, że niezależnie od naszych najlepszych intencji każda pojedyncza osoba na świecie prowadząca badania jest podatna na stronniczość. Dobre intencje są ważne, ale nie wystarczają do pełnej ochrony wiarygodności wyników naszego badania.

Czytaj dalej, aby lepiej zrozumieć stronniczość wpływającą na naszą pracę i dowiedzieć się, jak ograniczyć jej skutki. 

Rodzaje stronniczości badawczej, które mogą wykoleić twoją pracę

Jestem nieco stronniczy (gra słów tylko trochę zamierzona), ale to właśnie najciekawsza i najbardziej interesująca część. Teraz przyjrzymy się wszystkim sposobom, na jakie możemy nieumyślnie generować stronnicze wyniki badań za sprawą zabawnych sposobów działania naszych mózgów oraz mózgów uczestników naszych badań. (Nie martw się: jeśli będziesz czytać dalej, dowiesz się również, jak ich unikać).

Stronniczość przypominania

Czy to dziwne, że mam ulubiony rodzaj stronniczości? Dziwne czy nie, ten jest mój. To mój ulubiony rodzaj, ponieważ nawiązuje do tajemnic umysłu: to, co pamiętamy z danego wydarzenia lub serii wydarzeń, nie zawsze jest kompletne ani dokładne.  

Stronniczość przypominania odnosi się do naszej tendencji do podświadomego zapamiętywania przeszłych wydarzeń z pewnymi nieścisłościami, takimi jak pominięte szczegóły. Jest to bardziej prawdopodobne w przypadkach, gdy mówisz o nieprzyjemnych wydarzeniach lub o rzeczach, które wydarzyły się dawno temu — ale tak naprawdę może się to zdarzyć w dowolnym momencie.  

Przykład stronniczości przypominania

Na przykład, jeśli przeprowadzasz wywiad z użytkownikiem na temat jego nawyków związanych z aktywnością fizyczną i pytasz o aplikację, z której nie korzystał od roku — cóż, jego zdolność do dokładnego przypomnienia sobie, co robił w aplikacji i jak to wszystko przebiegało, jest ograniczona. Albo jeśli pytasz o doświadczenia danej osoby w gabinecie lekarskim po urazie, jej umysł mógł wyświadczyć jej przysługę, sprawiając, że niektóre mniej przyjemne szczegóły stały się nieco mgliste, aby uniknąć cierpienia psychicznego.

Przykładów jest niezliczona ilość, ale najważniejsze jest to, że nasze mózgi są gawędziarzami. Z dowolnego powodu — czy jest on związany z upływem czasu, czy z tym, jak chcemy postrzegać pewne wydarzenia w porównaniu z tym, jak faktycznie się wydarzyły — to, co pamiętamy, nie zawsze jest dokładnie tym, co się wydarzyło — i może to wpływać na wyniki naszych badań, gdy uczestnicy badania nieświadomie doświadczają stronniczości przypominania.

Stronniczość doboru próby

Nie myśl, że stronniczość występuje wyłącznie po stronie uczestników badania — ta dotyczy ciebie, osoby prowadzącej badanie. Prawdopodobnie już wiesz, że sposób definiowania osób uprawnionych do udziału w badaniu w dużym stopniu wpływa na jego wyniki. Jeśli badasz zachowania związane ze snem i przeprowadzasz wywiady lub ankiety wyłącznie wśród rodziców noworodków, uzyskasz wyniki, które niekoniecznie będą miały zastosowanie do ogólnej populacji (ziewnięcie).

W przypadku stronniczości doboru próby pewne z góry przyjęte przekonania lub przywiązanie do hipotez prowadzą nas do zdefiniowania próby badawczej w sposób sprzyjający wynikom, których oczekujemy lub które chcemy uzyskać. 

Przykład stronniczości doboru próby

Załóżmy, że twoja firma ma narzędzie do automatyzacji marketingu i próbujesz zrozumieć, dlaczego twoi konkurenci zostawiają cię daleko w tyle pod względem przychodów. Jako menedżer produktu możesz postawić hipotezę, że to właśnie funkcje automatyzacji poczty e-mail napędzają rozwój twoich konkurentów.

Może to skłonić cię do skupienia się na rekrutowaniu uczestników badania, którzy w swojej pracy intensywnie zajmują się pocztą e-mail — przez co możesz przeoczyć propozycje wartości i problemy w innych obszarach automatyzacji marketingu, ponieważ nie zrekrutowałeś wystarczającej liczby uczestników aktywnie działających w innych obszarach produktu.

Stronniczość potwierdzenia

Jeśli kiedykolwiek uczestniczyłeś w projekcie, w którym osoba kierująca badaniami zdawała się interesować wyłącznie opiniami użytkowników potwierdzającymi jej własne założenia, widziałeś w praktyce efekt błędu potwierdzenia. Analizując dowolny rodzaj danych, jakościowych lub ilościowych, mamy jako ludzie tendencję do faworyzowania lub wyolbrzymiania znaczenia informacji potwierdzających nasze hipotezy lub przekonania. Nazywa się to błędem potwierdzenia i jest ono powszechne. W rzeczywistości doszedłem do przekonania, że sposób pracy zespołów produktowych sprawia, iż wystąpienie błędu potwierdzenia jest niezwykle prawdopodobne, jeśli nie podejmiemy zdecydowanych działań, aby mu przeciwdziałać.

W pracy nad produktem często wzywa się nas do podejmowania ogromnych decyzji i dużego ryzyka — szybko. Rzadko można spotkać projektanta lub menedżera produktu, który nie miałby silnego przekonania na temat tego, jakie iteracje funkcji lub zmiany kierunku produktu przybliżą zespół do osiągnięcia jego ogólnych celów. Z tego powodu badania użytkowników czasami stają się po prostu kolejnym punktem do odhaczenia, a wyniki przedstawia się w narracji pełnej błędu potwierdzenia.

Jak to możliwe? Najprawdopodobniej badanie użytkowników będzie obejmować wiele różnych spostrzeżeń. Podczas analizowania danych — procesu, nad którym w firmach zwykle sprawuje się niewielki nadzór — możesz podświadomie odrzucać dane sprzeczne z tym, w co wierzysz, i przedstawiać narrację, która nie odzwierciedla rzeczywistości. Ojej!

Przykład błędu potwierdzenia

Wyobraź sobie, że badacz przeprowadza wywiady z użytkownikami na temat funkcji produktu wykorzystującej AI do generowania odpowiedzi na wiadomości e-mail. W tym kontekście, gdyby badacz zadawał naprowadzające pytania, takie jak „czy nie uznałbyś tej funkcji za wartościową?” lub „jak wspaniale byłoby zaoszczędzić czas na pisaniu wiadomości e-mail?”, powodowałby powstanie błędu potwierdzenia, ponieważ wpływałby na wyniki badania poprzez własne poglądy na temat wartości tej funkcji.

Błąd pomiaru

Niezależnie od tego, czy prowadzisz badania jakościowe, czy ilościowe, ważne jest, aby sposób pomiaru danych był sensowny i spójny w całym badaniu. Gdy występuje fundamentalny problem z używanymi przez nas pomiarami, wprowadzamy potencjalnie fałszywe wyniki — jest to błąd pomiaru.

Przykład błędu pomiaru

Załóżmy, że przeprowadzasz ilościowe badanie użyteczności funkcji, która ma zmniejszyć odsetek rezygnacji w określonym momencie kluczowego przepływu w Twoim produkcie.  W setkach testów mierzysz zdolność użytkownika do pomyślnego ukończenia przepływu w nowej iteracji i szukasz poprawy w porównaniu ze starą wersją funkcji. Twój zespół musi poświęcić trochę czasu na zastanowienie się, co dokładnie oznacza pomyślne ukończenie przepływu: czy oznacza to tylko przejście przez iterację? Czy może wykonanie całego procesu? Czy obejmuje uzyskanie zadowalającego rezultatu?

Jak widać, sposób zdefiniowania samej miary może znacząco wpłynąć na wyniki!

Błąd osoby przeprowadzającej wywiad

Podczas przeprowadzania wywiadów z użytkownikami na potrzeby badania jakościowego pytania zadawane przez osobę przeprowadzającą wywiad oraz sposób ich zadawania mogą stworzyć podatny grunt dla potencjalnych błędów.

Przykłady błędu osoby przeprowadzającej wywiad

Oto kilka przykładów tego, jak błąd osoby przeprowadzającej wywiad może wkraść się do dowolnego badania:

• Osoba przeprowadzająca wywiad zadaje pytania na podstawie swoich założeń dotyczących każdego uczestnika, zamiast korzystać z jednolitego zestawu pytań dla każdej osoby biorącej udział w badaniu.
• Osoba przeprowadzająca wywiad zadaje naprowadzające pytania, które skłaniają uczestnika do udzielenia odpowiedzi w określony sposób, potwierdzający hipotezy badacza.
• Osoba przeprowadzająca wywiad sugeruje opinię lub ocenę wartościującą poprzez sposób sformułowania pytania, co zachęca uczestnika do udzielenia korzystnej odpowiedzi (jest to również nazywane błędem aprobaty społecznej po stronie uczestnika).

Błąd publikacji

Co robisz jako osoba zajmująca się produktem, gdy wyniki Twoich badań nie odzwierciedlają ustaleń, na które liczyłeś? Wierz lub nie, ale wielu badaczy i specjalistów ds. produktu często racjonalizuje sytuację i decyduje się nie udostępniać wyników badań swoim zespołom, gdy tak się dzieje — nazywa się to błędem publikacji.

Przykład błędu publikacji

Jak to wygląda? Wygląda to tak, jakbyś Ty lub ktoś z Twojego zespołu powiedział: „Cóż, przetestowaliśmy to tylko z 15 użytkownikami — nie sądzę, żeby to coś znaczyło. Na razie zostawmy ten temat.”  

Niebezpieczeństwo polega na tym, że ukrywasz przed zespołem wartościowe informacje, gdy są one sprzeczne z Twoimi nadziejami i przekonaniami. Kiedy tak robisz, pominięcie informacji może sprawić, że Twój zespół szybko podąży w niewłaściwym kierunku. 

Błąd doboru próby

Kogo dokładnie rekrutujesz do swojego badania? Wierz lub nie, ale często jest to jeden z najważniejszych czynników decydujących o tym, czy uzyskasz solidne i wiarygodne wyniki. Błąd doboru próby występuje wtedy, gdy zbierasz dane, a próba nie jest zróżnicowana ani reprezentatywna, przez co wyniki mogą być obciążone błędem i sprowadzić Cię na manowce.

Przykład błędu doboru próby

W tym przykładzie przeprowadzasz ankietę dotyczącą nawyków kulinarnych, aby pomóc w opracowaniu pomysłów na nowe funkcje aplikacji z przepisami. Jeśli respondenci Twojego kwestionariusza pochodzą z grupy rekrutowanej na kampusie uczelni, zasadniczo analizujesz nawyki kulinarne młodych osób studiujących w trybie stacjonarnym. A co z rodzinami? Emerytami?

Jedną z najważniejszych rzeczy, które należy zrobić w procesie projektowania badania, jest upewnienie się, że analizujesz reprezentatywną próbę. 

Stronniczość analizy

Po przeprowadzeniu metod gromadzenia danych przechodzisz do etapu analizy. Tutaj podejmujesz różnego rodzaju decyzje: które dane są ważne? Które są najważniejsze? Co to wszystko oznacza jakościowo? Statystycznie? Często podejmujemy te decyzje w sposób, który sprzyja naszym pierwotnym hipotezom lub oczekiwanym wynikom.

Przykład stronniczości analizy

Przykładem stronniczości analizy może być sytuacja, w której zauważasz, że mówisz coś w rodzaju: „To nie jest ważne. Pojawiło się tylko kilka razy. To po prostu wartości odstające.”  W zależności od badania może to być prawdą, ale może to również oznaczać, że do analizy wkrada się stronniczość, przez co ignorujesz ważny niuans w wynikach swojego badania. 

To tylko kilka przykładów stronniczości w badaniach—istnieje naprawdę niezliczona liczba sposobów, na jakie stronniczość przejawia się w projektach badawczych. Zatem kolejne pytanie brzmi: co możemy z tym zrobić?

Unikanie stronniczości w projektowaniu badań

Do tej pory prawdopodobnie trochę się martwisz, zastanawiając się, czy badania nie są pozbawione sensu z powodu bardzo ludzkiej skłonności do ulegania stronniczym praktykom. Na szczęście tak nie jest. Teraz, gdy wiesz już o potencjalnych stronniczościach czyhających za każdym dobrze zamierzonym działaniem, możesz podjąć kroki w celu ograniczenia stronniczości w badaniach użytkowników i pokierowania zespołem produktowym we właściwym kierunku. Przyjrzyjmy się kilku sposobom, aby to osiągnąć.

Starannie zaprojektuj swoje badanie

To odpowiednik rozpoczęcia od właściwej strony w badaniach użytkowników.  Podczas projektowania badania podejmujesz szereg decyzji, które, jeśli zostaną podjęte prawidłowo, mogą zmniejszyć prawdopodobieństwo wystąpienia potencjalnej stronniczości. 

Oto kilka wskazówek:

• Określ grupy użytkowników w możliwie najszerszy sposób, jednocześnie uwzględniając swoją populację docelową
• Rozważnie wybieraj metody badawcze: upewnij się, że metodologia odzwierciedla to, czego próbujesz się dowiedzieć
• Jeśli przeprowadzasz wywiady z użytkownikami, przygotuj scenariusz wywiadu przed rozpoczęciem rozmów i postaraj się zadawać wszystkim te same pytania

Dodatkowa wskazówka

Poproś współpracownika o przejrzenie planu badania, zanim faktycznie rozpoczniesz gromadzenie danych. Pomoże to upewnić się, że niczego nie pomijasz, co mogłoby wprowadzić stronniczość.

Unikaj konfliktu interesów na wszystkich etapach badań użytkowników

Ten menedżer produktu, który przez cały rok nieustannie podkreślał potrzebę wykonania konkretnego zwrotu? W idealnej sytuacji nie powinien być osobą prowadzącą badanie. Chociaż w takim przypadku obiektywizm jest nadal możliwy, konflikty interesów tego rodzaju często bardzo utrudniają ludziom gromadzenie danych i analizowanie wyników badań w bezstronny sposób.

Alternatywą byłoby powierzenie zaprojektowania i prowadzenia badania komuś innemu—na przykład projektantowi lub badaczowi użytkowników z zespołu—przy jednoczesnych konsultacjach ze wspomnianym menedżerem produktu w trakcie całego procesu. Ogólnie rzecz biorąc, istnieje oparta na dowodach zasada, zgodnie z którą im mniejsze przywiązanie danej osoby do oczekiwanego wyniku, tym większe prawdopodobieństwo, że dostarczy ona wiarygodnych wyników badań.

Uznaj, że stronniczość badawcza dotyczy wszystkich ludzi prowadzących badania

Mówię to z najwyższym szacunkiem: chociaż prawdopodobnie jesteś wyjątkową osobą pod wieloma względami, jeśli chodzi o możliwość wprowadzenia stronniczości do badania—nie jesteś.

Wszystkie omówione przez nas rodzaje stronniczości to poparte dowodami tendencje, które ma każdy człowiek. Gdy przyjmiesz założenie, że nawet Ty możesz teoretycznie ulegać różnym rodzajom stronniczości, będziesz na dobrej drodze do ich zapobiegania!

Zawsze przeprowadzaj retrospektywę badania

W życiu można popełniać błędy i to samo dotyczy badań użytkowników. Za każdym razem, gdy przeprowadzasz badanie, spotkaj się z zespołem i przeanalizujcie metodologię od początku do końca—co można było zrobić inaczej? Czy do badania mogła wkraść się jakaś podstępna stronniczość? 

Zwykle nie okaże się, że badanie jest całkowicie niewiarygodne, ale ujawnisz drobne zmiany, które możesz wprowadzić w kolejnym badaniu, aby zwiększyć wiarygodność swoich badań użytkowników w przyszłości.

Stronniczość w badaniach istnieje, ale można nią zarządzać.

Skoro wiesz już, co może utrudnić przeprowadzenie wiarygodnych badań użytkowników, możesz śmiało zabrać się do pracy. Ryzykując, że zabrzmi to nieco absurdalnie, zdradzę ci na koniec pewien sekret: na moim biurku mam małą karteczkę samoprzylepną, na której widnieje tylko słowo „stronniczość!”. Uważam, że dzięki niej wszystko, o czym rozmawialiśmy, pozostaje na pierwszym planie.

Nawet jeśli alarmująca karteczka samoprzylepna nie jest wybraną przez ciebie metodą, znajdź sposób, aby podczas prowadzenia badań użytkowników pamiętać o eliminowaniu stronniczości, a będziesz na dobrej drodze do dostarczania spostrzeżeń, które pomogą twojemu zespołowi osiągać jego cele.

Nie zapomnij zapisać się do naszego newslettera, aby otrzymywać więcej materiałów i poradników dotyczących zarządzania produktami, a także najnowsze podcasty, wywiady oraz inne spostrzeżenia liderów i ekspertów z branży.