Kiedy ostatnio klienci poprosili Cię podczas wywiadu o stworzenie funkcji, ale ostatecznie nikt z niej nie korzystał? Jestem przekonany, że każdy PM miał przynajmniej jedną rundę wywiadów z użytkownikami, która zakończyła się całkowitą porażką.
Naturalne kolejne pytanie brzmi: co poszło nie tak podczas wywiadu? Najprawdopodobniej zetknęliśmy się z jednym z wielu błędów poznawczych w badaniach, które doprowadziły nas do podjęcia niewłaściwych decyzji produktowych.
Prowadzenie produktu w oparciu o obciążone błędem dane jest niebezpieczne. Na szczęście możesz tego uniknąć, ucząc się, czym jest błąd poznawczy, dlaczego jest ryzykowny, oraz analizując te pięć przykładów błędów w badaniach, które doprowadziły do niepożądanych rezultatów.
Czym jest błąd poznawczy w badaniach produktu i jakie wiąże się z nim ryzyko?
Termin błąd poznawczy odnosi się do zestawu błędów popełnianych przez zespoły produktowe i marketingowe podczas prowadzenia badań. Rezultatem tych błędów jest zwykle nieprawidłowa analiza, która prowadzi do decyzji nieodzwierciedlających rzeczywistego stanu produktu, rynku i użytkowników.
Decyzje podejmowane przez menedżera produktu mają ogromne znaczenie. Pojedyncza decyzja może skierować całą linię produktową na nowy rynek lub do nowej grupy docelowej. Istnieją również codzienne decyzje związane z realizacją zadań, które wpływają na skuteczność działań zespołów inżynieryjnych, marketingowych, zajmujących się AI oraz innych zespołów.
Dlatego podejmowanie decyzji na podstawie obciążonych błędem danych jest szczególnie niebezpieczne, ponieważ możesz poprowadzić ludzi w niewłaściwym kierunku i jako PM ponieść sromotną porażkę.
Na szczęście ograniczanie błędów w badaniach nie jest tak trudne, jak mogłoby się wydawać. Trudniejszą częścią jest przyznanie, że Twoje dane są obciążone błędem. Samo ograniczanie błędów jest stosunkowo łatwe.
Rodzaje błędów w badaniach podczas analizy danych ilościowych
Zacznijmy od typowych rodzajów błędów, z którymi spotykasz się podczas pracy z danymi. Zwykle wiążą się one z błędami w sposobie gromadzenia, analizowania i wykorzystywania danych ilościowych.
Klasyczne badania naukowe wyróżniają wiele błędów w badaniach, w tym:
- stronniczość publikacyjna
- błąd pomiaru
- błąd analizy
- błąd projektu badania
- błąd obserwatora
- błąd przypominania
- błąd aprobaty społecznej
- błąd demograficzny i kulturowy
- błąd odpowiedzi i inne.
Jednak są one dla nas nieco zbyt teoretyczne, aby o nich rozmawiać. Skupię się więc na trzech rodzajach błędów, z którymi spotkasz się w rzeczywistości jako menedżer produktu.
#1: Błąd doboru próby i selekcji
Jak sugeruje nazwa, błąd doboru próby polega na uzyskiwaniu nieprawidłowych danych z powodu wybranej próby.
Jeśli Twoja próba zawiera dane przechylone w stronę określonej cechy, przeprowadzona analiza nie będzie reprezentatywna dla całej populacji. W rezultacie błędnie ekstrapolujesz zachowanie takiej próby i zastosujesz je do całego zbioru danych.
Netflix jest jedną z dużych firm technologicznych, które padły ofiarą błędu doboru próby. Ludzie w Stanach Zjednoczonych uwielbiali jego algorytm rekomendacji, ponieważ potrafił sugerować programy odpowiadające ich zainteresowaniom. Reszta świata natomiast go nienawidziła. Sugestie były po prostu fatalne.
Jaka była tego przyczyna? Najwyraźniej model AI wytrenowany do tworzenia tych sugestii korzystał wyłącznie z danych widzów ze Stanów Zjednoczonych i sugerował treści odpowiednie dla Amerykanów.
Jak ograniczyć błąd doboru próby
W przypadku Netflixa po prostu zaczęto zasilać modele danymi międzynarodowymi i ponownie je trenować na podstawie mniej obciążonej błędem populacji badawczej.
Jeśli jednak chcesz zastosować bardziej systematyczne podejście do ograniczania tego rodzaju błędu, mogę zasugerować nieco niekonwencjonalną metodę, która sprawdziła się u mnie w przeszłości: przeprowadzenie czegoś, co statystycy nazywają analizą skupień.
Analiza skupień może znaleźć wspólne cechy w badanej populacji i pogrupować ją na podstawie tych cech.
Na powyższym obrazie widać, że populacja jest wyraźnie podzielona na trzy różne skupienia na podstawie wybranych cech.
Wybierasz szeroki wachlarz cech i tworzysz takie wykresy dla każdej z nich. Twoje dane będą obciążone i podatne na błąd doboru próby, jeśli zauważysz, że w przypadku niektórych cech masz tylko jedno skupienie. W przykładzie dotyczącym Netflixa cecha związana z krajem widza miała jedno skupienie: Stany Zjednoczone.
Uważaj jednak! Czasami naturalne jest, że cała badana populacja tworzy jedno skupisko dla danej cechy, jeśli opisuje ona ich personę. Na przykład, gdybyśmy przeprowadzili analizę skupień dla czytelników theproductmanager.com, większość z nich stanowiliby product managerowie. Jest to naturalne, ponieważ PM-owie są personą, do której skierowana jest ta witryna. Dlatego zawsze należy usunąć tego typu cechy z analizy.
#2: Stronniczość proceduralna
Ten rodzaj stronniczości odnosi się do błędów popełnionych w projekcie badania i procesie badawczym. Może wynikać z użycia niewłaściwych narzędzi, wzorów statystycznych, a nawet metod gromadzenia danych.
Z mojego doświadczenia wynika, że stronniczość proceduralna jest szczególnie powszechna w ankietach użytkowników. Jeśli zawierają one pytania sugerujące odpowiedź, respondenci najprawdopodobniej padną ofiarą Twojego „nakłaniania” ich do udzielenia określonego rodzaju odpowiedzi.
Typowe pytanie sugerujące odpowiedź w ankiecie wygląda tak:
Jak bardzo podoba Ci się nasz produkt?
Formułując pytanie w ten sposób, sugerujesz użytkownikom udzielenie bardziej pozytywnej odpowiedzi, nawet jeśli nienawidzą tego, co robisz.
Bardziej neutralna wersja tego samego pytania wyglądałaby tak:
Jak oceniasz nasz produkt?
W tym przypadku jasno wskazujemy, że akceptujemy również negatywne odpowiedzi.
Have an account? Log In
Jak ograniczyć stronniczość proceduralną
Najlepszym sposobem na upewnienie się, że w Twoim badaniu nie występuje stronniczość proceduralna, jest dobranie odpowiednich narzędzi i metodologii do konkretnego rodzaju przeprowadzanej analizy.
Losuj odpowiedzi
Jeśli przeprowadzasz ankiety, oprócz unikania pytań sugerujących odpowiedź musisz również losować kolejność pytań, ponieważ istnieje ryzyko, że w połowie kwestionariusza ludzie się znudzą i zaczną udzielać pozbawionych znaczenia odpowiedzi. Bez randomizacji kilka ostatnich pytań otrzyma niemal zero użytecznych odpowiedzi.
Zwracaj uwagę na istotność statystyczną
Pamiętaj również, że ankiety mają częściowo ilościowy charakter. Dlatego nie polegaj zbyt mocno na analizie statystycznej tych danych. Na przykład, jeśli ulepszyłeś określoną funkcję, a Twój wynik NPS wzrósł o 2%, różnica ta jest zbyt mała, aby uznać ją za wynik istotny statystycznie. Z drugiej strony dwukrotny wzrost byłby wiarygodny.
Wybieraj odpowiednie narzędzia
Porozmawiajmy teraz również o wyborze niewłaściwych narzędzi. Jeśli mierzysz współczynnik konwersji strony finalizacji zakupu, użycie narzędzia do tworzenia map cieplnych spowoduje stronniczość proceduralną, ponieważ uzyskane za jego pomocą dane będą niewiarygodne.
W takich przypadkach najlepiej użyć oprogramowania do tworzenia map cieplnych, aby zdiagnozować problem behawioralny, a następnie przeprowadzić test A/B zmiany zachowania. Z kolei do pomiaru CR należy korzystać z narzędzi do analityki produktu, takich jak Amplitude lub GA4.
#3: Stronniczość przeżywalności
Stronnicze metody badawcze towarzyszą nam od dawna. Istnieje ciekawa historia dotycząca amerykańskich samolotów bombowych z czasów II wojny światowej. Za każdym razem, gdy bombowce wracały do bazy, inżynierowie badali otwory po pociskach przeciwlotniczych w ich kadłubach i nanosili je na schemat w ten sposób:
Naturalnym działaniem było wzmocnienie grubszymi płytami pancernymi miejsc z największą liczbą trafień. Wzmocnienie to nie miało jednak niemal żadnego wpływu na przeżywalność amerykańskich bombowców.
Po dokładnym przeanalizowaniu sytuacji inżynierowie zdali sobie sprawę, że mieli do czynienia wyłącznie z samolotami, którym udało się przetrwać i wrócić do bazy. Dlatego części, które należało wzmocnić, znajdowały się w rzeczywistości w miejscach, w których samoloty nie miały żadnych otworów po pociskach.
Jak ograniczyć stronniczość przeżywalności
Przejdźmy od samolotów z czasów II wojny światowej do produktów cyfrowych. Jako PM, zarządzając procesem gromadzenia danych, najprawdopodobniej spotkasz się z dwoma potencjalnymi przypadkami, w których może wkraść się stronniczość:
Filtrowanie danych na potrzeby analizy
Podczas analizowania zachowania użytkowników możesz ostatecznie odfiltrować użytkowników, którzy wykonali określone działania nieistotne dla Twojej analizy.
Całkiem niedawno spotkałem się z takim przypadkiem. Próbowaliśmy poprawić współczynnik aktywacji naszego produktu do marketingu influencerskiego. Zespół analityki danych zbudował raport lejka, w którym współczynniki konwersji z jednego etapu aktywacji do kolejnego były dość wysokie (około 50–70%).
Te dane wprawiły nas w zdumienie, ponieważ obserwowaliśmy ogólnie niski odsetek osób angażujących się w produkt w porównaniu z liczbą rejestracji. Po dokładnej analizie danych zrozumieliśmy, że zespół danych zastosował filtr i pozostawił wyłącznie dane dotyczące naszych najbardziej aktywnych użytkowników.
Oczywiście najbardziej prawdopodobne jest, że użytkownicy zaawansowani byli tymi, którzy bez problemu przeszli proces aktywacji. W związku z tym współczynniki konwersji w lejku nie odzwierciedlały rzeczywistej sytuacji. Kiedy analizowaliśmy lejki, uwzględniając wszystkie nasze rejestracje, współczynniki znacząco spadły.
Wyciągnięta lekcja:
- Podczas filtrowania danych zawsze uwzględniaj kontekst i cel analizy.
Analiza wstępnie wyselekcjonowanych danych ankietowych
Inny interesujący przypadek związany z projektowaniem badań, z którym musiałem się ostatnio zmierzyć, dotyczył ankiety przeprowadzonej w celu zrozumienia potrzeb i problemów marketerów influencerów. Ponownie wyniki badania były dla nas nieco zagadkowe, ponieważ potrzeby respondentów nie odpowiadały wnioskom, które uzyskaliśmy podczas wywiadów z użytkownikami.
Problemem był nasz proces wstępnej selekcji użytkowników, którzy wzięli udział w ankiecie. Oprócz pytania, czy są influencerami (aby uniknąć odpowiedzi od nieistotnych osób), pytaliśmy również o wielkość ich grupy odbiorców/liczbę obserwujących.
Z jakiegoś powodu wykluczyliśmy influencerów mających mniej niż 50,000 obserwujących i uwzględniliśmy wyłącznie odpowiedzi tych relatywnie większych. Nasz produkt miał być przeznaczony również dla małych influencerów. Dlatego dane uzyskane z ankiety nie były dla nas dokładne.
Wyciągnięte lekcje:
- Weryfikuj wyniki swoich badań, porównując je z danymi jakościowymi. Jeśli występuje duża różnica między tymi dwoma rodzajami wyników, mogłeś popełnić błąd.
- Zachowaj ostrożność podczas wstępnej selekcji; możesz również przypadkowo wykluczyć istotnych użytkowników.
Rodzaje błędów systematycznych w badaniach jakościowych
Skoro omówiliśmy błędy systematyczne związane z badaniami ilościowymi, przejdźmy do innej ważnej kategorii badań — badań jakościowych.
Dla menedżerów produktu najważniejszym rodzajem badań jakościowych jest przeprowadzanie wywiadów z użytkownikami. Skupię się więc na dwóch głównych błędach systematycznych, z którymi zwykle spotykasz się podczas rozmów z klientami i użytkownikami.
Uwaga: są to również dwa rodzaje błędów systematycznych, którymi można zarządzać i które można ograniczać za pomocą odpowiedniego narzędzia do generowania pomysłów produktowych.
#4: Błąd potwierdzenia
Jedną z największych zalet menedżerów produktu jest silna wiara w coś, w co inni nie wierzą. Właśnie w ten sposób tworzy się innowacyjne produkty i rewolucjonizuje branżę. Jednak skłonność do trzymania się własnych opinii jest również poważną słabością menedżerów produktu.
Powodem jest to, że menedżerowie produktu często ulegają błędowi potwierdzenia. Termin ten opisuje sytuację, w której aktywnie starasz się usłyszeć te części rozmowy, które są zgodne z twoimi przekonaniami, a odrzucasz pozostałe.
Jest to bardzo niebezpieczne w przypadku osób, które następnie podejmują strategiczne decyzje dotyczące wyglądu produktu i sposobu wprowadzenia go na rynek. Gdy działa błąd potwierdzenia, wywiady z użytkownikami stają się całkowicie bezwartościowe, a ty zaczynasz podejmować decyzje po omacku (możesz też zapomnieć o podejściu skoncentrowanym na użytkowniku).
Jak ograniczyć błąd potwierdzenia
Muszę przyznać, że również jestem winny „praktykowania” błędu potwierdzenia. Istnieje jednak rozwiązanie, które pomogło mi go dość skutecznie ograniczyć.
Można nazwać je „przeglądem kodu” wywiadów z użytkownikami. Jest to proces, w którym osoby zajmujące się produktem wzajemnie przeglądają niektóre wywiady swoich współpracowników i sugerują dodanie lub usunięcie wniosków.
Jeśli jesteś jedynym menedżerem produktu w firmie (co jest częste w małych startupach), wykonaj to ćwiczenie z założycielem. Pamiętaj, że założyciele również są zasadniczo osobami zajmującymi się produktem.
#5: Błąd uczestnika
Choć błąd potwierdzenia jest groźnym przeciwnikiem, należy do najłatwiejszych do naprawienia. Kolejny temat, który chcę omówić, jest jednak znacznie trudniejszy do ograniczenia.
Błąd uczestnika występuje wtedy, gdy respondenci mówią rzeczy oparte na tym, co ich zdaniem chcesz usłyszeć, zamiast na tym, co naprawdę myślą o danym temacie.
Na przykład podczas przeprowadzania wywiadu możesz zapytać uczestników badania, czy kupiliby twój produkt, zakładając, że dodałeś funkcję, o którą właśnie poprosili. Czy potrafisz zgadnąć, jaka byłaby odpowiedź? Z mojego doświadczenia wynika, że zdecydowana większość odpowie: Tak.
Czy oznacza to, że powinieneś pobiec do zespołu inżynieryjnego i poprosić go o jak najszybsze zbudowanie tej funkcji? Nie! Zadane pytanie jest błędne i w naturalny sposób skłania ludzi do powiedzenia czegoś, co sprawi ci przyjemność.
Zgadzam się, że twoja funkcja może rozwiązać poważny problem części tych rozmówców i że ostatecznie będą za nią płacić. Jednak większość po prostu będzie korzystać z tej funkcji bezpłatnie albo nie będzie korzystać z niej wcale.
Oprócz zadawania błędnych pytań badawczych uczestnicy badania będą również udzielać stronniczych odpowiedzi, jeśli płacisz im za udział w badaniu. Zwykle mają tendencję do „zarabiania na wypłatę”, udzielając przychylnych odpowiedzi i sprawiając ci przyjemność, nie zdając sobie sprawy, że przynosi to więcej szkody niż pożytku.
More Articles
Jak ograniczyć stronniczość uczestników
Jak już wspomniałem, ograniczenie stronniczości uczestników jest dość trudne. Wynika to z faktu, że tak naprawdę nie wiesz, czy uczestnik jest wobec ciebie szczery.
Jednak dwie taktyki mogą pomóc zmniejszyć prawdopodobieństwo uzyskania złych odpowiedzi.
Zadawanie pytań o ich wcześniejsze doświadczenia
Jeśli zadasz pytania dotyczące teoretycznego wydarzenia w przyszłości, osoby badane najprawdopodobniej powiedzą rzeczy, których w rzeczywistości nigdy nie zrobią.
Jeśli 2 stycznia zapytasz kogoś, czy byłby skłonny chodzić na siłownię przez 12 miesięcy z rzędu, odpowie, że tak. Wszyscy jednak wiemy, że większość osób rezygnuje z karnetu już po kilku wizytach.
Aby tego uniknąć, menedżerowie produktu wolą zadawać pytania dotyczące rzeczy, które wydarzyły się w przeszłości. Dzięki temu menedżer produktu może dowiedzieć się więcej o zachowaniach użytkowników na podstawie tego, co użytkownicy zrobili, a nie tego, co chcieliby zrobić.
Ustalanie właściwych oczekiwań
Czasami charakter twojego pytania lub badania nie pozwala ci pytać o przeszłość użytkowników. Na przykład chcesz wiedzieć, co by czuli, gdybyś podniósł cenę swojego produktu.
W takim przypadku możesz jasno powiedzieć, że negatywne odpowiedzi są dla ciebie w porządku, a ich szczera opinia jest jedynym sposobem, w jaki mogą „zapracować na swoje wynagrodzenie”.
Przyznanie się do własnych uprzedzeń to 80% sukcesu
Właśnie tak. Najgorsze w byciu stronniczym jest to, że większość z nas szczerze wierzy, że ma rację. Dlatego najważniejszym krokiem, jaki możesz podjąć, aby ograniczyć własne uprzedzenia, jest ich rozpoznanie.
Gdy tylko to zrobisz, w naturalny sposób zaczniesz z nimi walczyć i ostatecznie osiągniesz stan wolny od stronniczości. (A przynajmniej stan, w którym stronniczość jest „kontrolowana”!)
Nie zapomnij zapisać się do naszego newslettera, aby otrzymywać więcej materiałów i poradników dotyczących zarządzania produktem, a także najnowsze podcasty, wywiady i inne spostrzeżenia liderów oraz ekspertów z branży.
