Luka między produktem a procesem: jak zatrzymać ten wyciek z budżetu organizacji

Przeczytaj transkrypcję:

Próbujemy transkrybować nasze podcasty za pomocą programu komputerowego. Prosimy o wyrozumiałość dla literówek, ponieważ bot nie jest poprawny przez 100% czasu.

Hannah Clark: Jedną z cudownych rzeczy w organizacjach Agile jest to, że nieustannie eksperymentujemy i uczymy się, aby doskonalić nasze organizacje oraz oferowane przez nas produkty. Każdy przełom technologiczny jest rezultatem jakiejś formy eksperymentowania, ale oto druga strona medalu: eksperymenty nie zawsze prowadzą do pozytywnych rezultatów. W rzeczywistości wiele eksperymentów jest poważnie obarczonych błędami — a kiedy wynik eksperymentu wiąże się z setkami tysięcy dolarów, ostatnią rzeczą, jakiej chcemy, jest podejmowanie decyzji na podstawie wadliwych danych. I oto najbardziej niepokojąca część: przez większość czasu nawet nie zdajemy sobie sprawy, że dane są wadliwe, dopóki nie jest za późno.

Moim dzisiejszym gościem jest Manuel Da Costa, założyciel Effective Experiments. Jak można wywnioskować z nazwy jego organizacji, Manuel koncentruje się przede wszystkim na pomaganiu organizacjom w prowadzeniu lepszych eksperymentów, co prowadzi do podejmowania lepszych decyzji dotyczących produktów. Odpowiednie narzędzia z pewnością mogą pomóc nam usprawnić eksperymentowanie i analizę danych, ale Manuel zidentyfikował również zjawisko wywodzące się z pogranicza schematu organizacyjnego, nazywane luką między produktem a procesem — i które po cichu kosztuje firmy technologiczne miliony. Zaczynajmy.

Witamy ponownie w podcaście Klubu CPO. Jest dziś ze mną Manuel Da Costa.

Manuelu, bardzo dziękuję, że do nas dołączyłeś.

Manuel Da Costa: Cześć wszystkim! Hannah, dziękuję za zaproszenie.

Hannah Clark: Czy możesz opowiedzieć nam trochę o swoim doświadczeniu i o tym, jak dotarłeś do miejsca, w którym jesteś dzisiaj?

Manuel Da Costa: Jasne. Jestem założycielem Effective Experiments. Jesteśmy firmą dostarczającą oprogramowanie, które pomaga firmom lepiej współpracować i podejmować lepsze decyzje dotyczące produktów. Moje doświadczenie zaczęło się dawno temu, w środowisku szczupłych startupów, gdzie poznałem podejście polegające na testowaniu i uczeniu się w celu walidacji. Następnie trafiłem do świata optymalizacji konwersji, a stopniowo do własnego produktu, w ramach którego pomagamy zespołom produktowym i zespołom CX lepiej współpracować.

I to doprowadziło mnie do obecnego punktu w karierze, w którym muszę opowiedzieć tę historię — właśnie po to spotykamy się w tym podcaście.

Hannah Clark: Z niecierpliwością czekam, żeby się w nią zagłębić.

Dzisiaj skupimy się na zjawisku, które nazwałeś luką między produktem a procesem. Czy możesz zacząć od wyjaśnienia, czego dotyczy to pojęcie i jakie okoliczności mu towarzyszą?

Manuel Da Costa: Tak, oczywiście. McKinsey przeprowadziło niedawno badanie, w którym przyjrzano się różnicy między dobrymi i złymi praktykami zarządzania produktem. Wszystko sprowadza się do oczekiwań kierownictwa dotyczących sposobu realizacji działań produktowych, a następnie do tego, co naprawdę dzieje się na poziomie operacyjnym, gdy menedżerowie produktu je realizują. Zauważyliśmy tu rozbieżność. Nazwałem ją luką między produktem a procesem, ale w rzeczywistości chodzi o lukę między oczekiwaniami a rzeczywistością.

Dzieje się tak z wielu powodów i omówimy je, ale ostatecznie kierownictwo chce lepszego produktu, a menedżerowie produktu i właściciele produktów nie dostarczają tego rezultatu. Istnieje wiele przyczyn takiego stanu rzeczy.

Hannah Clark: Przyjrzyjmy się temu dokładniej. Powiedziałeś, że może być wiele czynników, które do tego prowadzą. Jak wygląda droga lub źródło powstawania tej luki i jak do niej dochodzimy?

Manuel Da Costa: Jasne. Spójrzmy na to, czego obecnie oczekuje się od zespołów produktowych — mają walidować każdą podejmowaną decyzję produktową. Eksperymentowanie stało się narzędziem, za pomocą którego zespoły produktowe zasadniczo walidują swoje hipotezy i sprawdzają, czy tworzą właściwy produkt.

Wiele z tych zespołów produktowych, którym powierzono prowadzenie eksperymentów, nie ma doświadczenia ani wiedzy, a nawet jeśli je ma, jest to często wiedza powierzchowna dotycząca eksperymentowania. W rezultacie decyzje są podejmowane za pomocą eksperymentów, ale sam eksperyment może być wadliwy. Może nie być wystarczająco rygorystyczny. Dochodzą do tego również inne elementy.

Mówimy o współpracy między zespołami, świadomości tego, co należy robić, a także o skutecznym ustalaniu priorytetów. W produkcie występuje tak wiele sprzecznych priorytetów — zwłaszcza dotyczących tego, czym zespoły powinny się zajmować — a teraz do tej mieszanki dochodzi eksperymentowanie. Chodzi więc o skuteczne ustalenie priorytetów zaległości, aby osiągnąć maksymalny rezultat.

To niektóre z objawów, które widzieliśmy na poziomie operacyjnym: zespoły produktowe mają realizować zadania, a jednocześnie włączać eksperymentowanie do swoich praktyk, ale nie otrzymują wsparcia, które im w tym pomoże.

Hannah Clark: Czego więc brakuje w tym równaniu? Brzmi to tak, jakby u menedżerów produktu, postawionych w tej sytuacji, słabo rozwinięty był zestaw umiejętności związanych z badaniami doświadczeń użytkownika. To prowadzi, przynajmniej w formie efektu domina, do wadliwych rezultatów. Co, twoim zdaniem, jest główną przyczyną nieprzygotowania, z którym mierzą się menedżerowie produktu?

Manuel Da Costa: Spójrzmy na to, gdzie wprowadzane jest eksperymentowanie. W wielu organizacjach eksperymenty prowadził przede wszystkim zespół marketingowy, zespół optymalizacji współczynnika konwersji.

Być może zajmowało się tym kilka osób albo mały zespół centrum doskonałości. Stopniowo poproszono ich o przekazanie umiejętności zespołom produktowym, aby mogły samodzielnie prowadzić własne eksperymenty. Pierwsze wyzwanie zaczyna się od braku wiedzy. Można spotkać organizacje, w których przeprowadza się warsztaty szkoleniowe albo sesje z przewodnikiem pokazujące, jak to robić.

Ale na tym się kończy. Otrzymali dostęp do pewnych narzędzi i powierzchowne szkolenie, ale nie ma zasobów, które pomogłyby im naprawdę zrozumieć, czy robią postępy. W rezultacie kierują się liczbami. Mówią więc: przeprowadziliśmy określoną liczbę eksperymentów — to jest wynik. Nikt jednak nie monitoruje ani nie sprawdza, czy eksperyment został prawidłowo zaplanowany, przeprowadzony i przeanalizowany.

Rozwinięcie tego zestawu umiejętności wymaga sporo czasu. Można myśleć o nim jak o mięśniu. Nie jest to coś, co można zrobić raz i od razu dobrze opanować. Są menedżerowie produktu, którzy prowadzą dobre eksperymenty, ale mogą być one zbyt uproszczone. Mogą też prowadzić złożone eksperymenty, lecz wdrożyć je w niewłaściwy sposób. W rezultacie, gdy przekazują kierownictwu informacje, mówiąc: oto, co naszym zdaniem należy zrobić w następnej kolejności, opiera się to na wadliwych danych — albo może się na nich opierać — ale oni o tym nie wiedzą, ponieważ brakuje nadzoru.

To prowadzi mnie do kolejnej kwestii: brakuje elementu nadzoru. Często zespołom ufa się na tyle, by powiedzieć: dobrze, prowadźcie eksperymenty, a my uwierzymy we wszystko, co nam przekażecie. Z powodu braku zasobów nikt nie poświęca czasu na weryfikację wyników i sprawdzenie, czy są rzeczywiście prawidłowe.

Czy wyniki wynikają z dobrych, czy ze złych praktyk — to jeden czynnik. Drugim jest brak odpowiedniego poziomu przywództwa. Mówiąc o przywództwie, nie mam na myśli właściciela produktu. Mam na myśli wiceprezesów ds. produktu i dyrektorów ds. produktu. To oni muszą naprawdę rozliczać te zespoły.

Nie tylko je rozliczać, lecz także zapewnić im pewną swobodę, aby mogły poświęcić czas na ćwiczenie tego mięśnia i nauczyć się lepiej eksperymentować, podejmować lepsze decyzje oraz lepiej ustalać priorytety. Z powodu tych dwóch czynników powstaje przepaść między oczekiwaniami a rzeczywistością. Menedżerowie produktu i specjaliści ds. produktu mają trudności, ponieważ nie dysponują przestrzenią, aby zwolnić i wdrożyć te elementy.

Część odpowiedzialności spoczywa więc na kierownictwie, ponieważ musi ono przyznać tym zespołom odpowiednie uprawnienia, a także zapewnić im czas i zasoby, by mogły się w tym doskonalić.

Hannah Clark: Jak to wygląda w praktyce z perspektywy kierownictwa? Jakie kroki mogą podejmować liderzy, aby zapobiec powstaniu luki między produktem a procesem?

Manuel Da Costa: Pierwszą rzeczą jest ustalenie właściwych kluczowych wskaźników efektywności. Najczęściej widzimy sytuacje, w których wprowadza się niewłaściwe zachęty. Mam na myśli na przykład wymaganie uruchomienia określonej liczby funkcji w tym kwartale lub roku — i konieczność osiągnięcia tej liczby.

Staje się to grą ilościową, a nie jakościową. Możesz uruchomić złożoną funkcję albo wiele prostych funkcji, byle osiągnąć określoną liczbę. Trzeba więc ustalić właściwe wskaźniki dla tych zespołów, aby zachęcały je we właściwy sposób, zamiast pozwalać im robić cokolwiek tylko po to, by osiągnąć kamień milowy.

Drugą rzeczą jest zapewnienie zespołom i osobom sprawującym nad nimi nadzór wystarczającej przestrzeni na coaching, monitorowanie i stopniowe doskonalenie zespołów produktowych, aby podejmowały lepsze decyzje. Jak wspomniałem, nikt nie zaczyna od wiedzy, jak prawidłowo eksperymentować. To wymaga czasu i nie może kończyć się na jednorazowym warsztacie szkoleniowym.

Zespoły muszą być z czasem szkolone i wspierane przez mentorów. Brak przestrzeni wynika z konieczności osiągania określonych wyników, więc zespoły jej nie mają. A ponieważ jej nie mają, nie doskonalą się. To błędne koło, które nieustannie się powtarza. Zaczyna się od tego, że kierownictwo mówi: chcemy poprawić funkcjonowanie organizacji i podejmować lepsze decyzje produktowe.

Jak podejmować lepsze decyzje produktowe? Wynika to z eksperymentowania i walidowania naszych założeń. To pierwszy krok. Aby to zrobić, musimy wyposażyć zespoły produktowe w narzędzia pozwalające formułować te założenia. Dajemy im więc czas, przestrzeń i uprawnienia, ale także bezpieczeństwo pozwalające się mylić, ponieważ eksperymentowanie polega właśnie na tym, że można się pomylić. Jeśli wskaźniki zostaną ustalone ilościowo albo zespoły otrzymają zadanie uruchamiania eksperymentów o określonym wskaźniku sukcesu, zaczną obchodzić system, aby osiągnąć tę liczbę.

Eksperymentowanie polega na tym, że mamy pomysł, iż coś może zadziałać, ale nie wiemy tego, dopóki nie sprawdzimy tego w praktyce. Nie wiemy, czy coś zadziała. Kiedy więc wdrażamy pomysł, otrzymujemy informacje zwrotne od klientów i rynku, które pokazują nam, jak działa on w rzeczywistości.

Następnie możemy zdecydować, czy kontynuować tę ścieżkę. Element bezpieczeństwa jest bardzo ważny, ponieważ jeśli właściciele produktów i menedżerowie produktu nie otrzymają takiego bezpieczeństwa, wybiorą to, co uznają za najbezpieczniejsze dla osiągnięcia swoich wskaźników. Otrzymujemy wtedy bezpieczne decyzje produktowe, ale nigdy innowacyjne.

Hannah Clark: Potrafię wyobrazić sobie sytuację, w której ta luka między produktem a procesem pozostaje niezauważona: wskaźniki są osiągane, ludzie są ogólnie zadowoleni, a firma utrzymuje się na rynku, ale czegoś brakuje. Jakie objawy wskazują, że organizacja po cichu cierpi z powodu tej luki, że można by znacząco poprawić jej funkcjonowanie i że gdzieś po drodze podejmowane są wadliwe decyzje wynikające z błędnych eksperymentów?

Manuel Da Costa: Jeśli prowadzone są wadliwe eksperymenty, widzieliśmy już sytuacje, w których dyrektorzy i wiceprezesi ds. produktu mówili: nie ufamy tym wynikom. Pojawia się więc podejmowanie decyzji na podstawie intuicji, mimo że istnieją dane. Ponieważ jednak im nie ufają, od razu je odrzucają.

Jeśli firma jest obecnie bezpieczna — podkreślmy: obecnie — nie eksperymentuje, nie wprowadza innowacji i gra zachowawczo. Prędzej czy później siły rynkowe zmuszą ją do cięższej pracy nad poprawą albo zdecydują o jej losie. Brak zaufania do wyników eksperymentów i podejmowanych decyzji to pierwsza rzecz, którą należy poprawić.

Drugą kwestią jest to, że firmy mogą mówić o tym, że są oparte na danych, skoncentrowane na produkcie i kliencie, ale często są to tylko modne hasła. Widać to w ich praktykach, a nie w tym, co publicznie deklarują. Dostrzega się funkcje i aktualizacje produktów, które nie są naprawdę zgodne z potrzebami klientów.

Ostatecznie powstaje fabryka funkcji: zespoły wdrażają rzeczy dla samego wdrażania, zamiast dostarczać wartość klientowi lub całej firmie.

Hannah Clark: Czy masz jakieś ramy, które zalecałbyś, aby prowadzić lepsze eksperymenty? Jakie działania powinniśmy podejmować w bardzo praktycznym sensie?

Brzmi to tak, jakby do załamania prowadzącego do tej przepaści przyczyniało się wiele elementów. Jaki jest więc pierwszy krok, jeśli rozpoznajemy, że to zjawisko występuje w naszej organizacji?

Manuel Da Costa: Zdecydowanie. Myślę, że pierwszym krokiem jest standaryzacja. Kiedy zespoły produktowe otrzymują narzędzia do prowadzenia eksperymentów, zauważyliśmy, że dwa różne zespoły w tej samej organizacji zaczynają nagle różnić się sposobem prowadzenia eksperymentów, klasyfikowania danych i ich przechwytywania. Pierwszym krokiem jest więc zrozumienie, jak powinien wyglądać proces.

Kiedy już to wiemy, standaryzujemy go. Gdy mówię o standaryzacji, ludzie często się denerwują, ponieważ uważają, że muszą działać bardzo sztywno i nie będzie miejsca na elastyczność. Zbyt elastyczne podejście prowadzi jednak z czasem do chaosu, a dane stają się niemal bezużyteczne dla każdego, kto będzie analizował je w przyszłości.

Standaryzacja oznacza ujednolicenie procesu, klasyfikacji danych i stosowanego nazewnictwa, a także praktyk analitycznych oraz określenie, kto zatwierdza wyniki. Obejmuje również wdrożenie takich modeli jak RACI, wskazujących, kto jest odpowiedzialny, kto ponosi odpowiedzialność, kogo należy skonsultować i kogo poinformować.

Może się wydawać, że są to sztywne zasady, ale w rzeczywistości tworzą one zabezpieczenia dla ludzi. Nie ma znaczenia, czy zespół zmienia się z czasem, dołączają do niego nowe osoby, ktoś odchodzi do innego zespołu albo opuszcza firmę. Praktyka pozostaje osadzona w każdym przeprowadzanym eksperymencie i każdej podejmowanej na jego podstawie decyzji.

Kolejną kwestią jest dokładne połączenie tych decyzji z celami biznesowymi. Nie chodzi o chaotyczne podejmowanie decyzji metodą prób i błędów. Decyzje powinny być zgodne nie tylko ze wskaźnikami, ale też z celami biznesowymi. Kiedy te dwa elementy zostaną wdrożone, powstaje znacznie lepsza podstawa do dalszego działania. Początkowo proces będzie powolny, ponieważ ludzie potrzebują czasu, aby przyzwyczaić się do większej uważności przy ustalaniu priorytetów zaległości, wyborze obszarów do eksperymentowania, uruchamianiu eksperymentów i ocenie, czy dana funkcja powinna zostać rozwinięta, czy zarzucona. Te elementy tworzą fundament.

Później trzeba zapewnić jasny nadzór. Oznacza to, że każdy może spojrzeć na zespół lub osobę i ocenić ich skuteczność. Nie chodzi o szukanie winy, lecz o zrozumienie luk i ustalenie, jak lepiej wspierać ludzi.

Można na przykład powiedzieć: uruchomiliście w tym kwartale pięć eksperymentów, ale niektóre z nich nie mają dobrej hipotezy albo podczas oceny nie wybraliście właściwych wskaźników. Oto, jak możecie się poprawić. To jedyny sposób, w jaki ludzie się rozwijają: otrzymują informacje zwrotne i są monitorowani nie po to, by przekazywać im negatywną ocenę, lecz by wskazać, jak mogą się doskonalić.

Te dwa elementy działające razem podniosą podstawowy poziom organizacji i pomogą zamknąć tę lukę.

Hannah Clark: Interesujące jest to, że rzeczywiście potrzebny jest tu element inteligencji emocjonalnej na poziomie kierownictwa, aby skutecznie zarządzać w ten sposób. Wiele zależy od zdolności zespołu kierowniczego i produktowego do zbudowania bezpiecznej relacji, w której istnieje bezpieczeństwo psychologiczne pozwalające popełniać błędy i prowadzić eksperymenty, które nie przynoszą oczekiwanych rezultatów.

Jakie wskazówki zaleciłbyś, aby budować silniejsze relacje między zespołami, zwłaszcza w poprzek struktury organizacyjnej? Jak możemy lepiej sobie ufać, gdy ściśle współpracujemy, szczególnie w ramach nowego procesu?

Manuel Da Costa: Łatwiej powiedzieć, niż zrobić, ponieważ uczestniczą w tym ludzie i ich ego, a ludzie muszą pozwolić sobie na bezbronność. To najtrudniejsza rzecz. Kierownictwo powinno jednak zapewnić pewien poziom bezpieczeństwa psychologicznego i nieco zmienić język.

Nie mówimy więc, że test zakończył się sukcesem albo porażką. Skupiamy się głównie na wnioskach. Zmieniamy rozmowę o zwycięstwach i porażkach na stwierdzenia typu: przeprowadzając eksperyment, potwierdziliśmy potrzebę tej funkcji albo potrzebę klienta, a w ten sposób pomogliśmy firmie.

To jest potencjał tego eksperymentu. Albo: dzięki temu eksperymentowi unieważniliśmy założenie — nie zauważyliśmy potrzeby budowania tej funkcji. Zaoszczędziliśmy w ten sposób zespołom deweloperskim określony koszt i dowiedzieliśmy się czegoś, co teraz możemy wykorzystać do dalszej nauki. Chodzi o zmianę sposobu myślenia: eksperymentowanie nie służy samemu eksperymentowaniu ani wygrywaniu. Dlatego wskaźniki i sposób ich kształtowania są tak ważne.

Menedżerowie produktu, specjaliści ds. produktu i właściciele produktów mogą tego słuchać i mówić: bardzo chcielibyśmy tak pracować, ale nie możemy, ponieważ nasze wskaźniki są inne. Dlatego kierownictwo musi zwrócić na to uwagę. Jeśli tego nie zrobimy, pojawią się skutki uboczne — organizacje staną się fabrykami funkcji. Może się wydawać, że praca trwa długo i że coś dostarczamy, ale jaki jest rzeczywisty zakres tej wartości?

Hannah Clark: To dobry punkt.

Zastanawiam się też nad praktycznymi elementami na poziomie kierownictwa. Wskaźniki będą naturalnie różnić się między zespołami, ale różne będą również rozmiary zespołów. Jak skutecznie nadzorować zespół produktowy, gdy zaczynamy się skalować, pojawiają się nowi pracownicy o różnym poziomie wiedzy albo wiedzy wewnętrznej w porównaniu z osobami bardziej doświadczonymi?

Jak możemy standaryzować i zapewnić właściwy poziom nadzoru, zwłaszcza gdy jako liderzy jesteśmy znacznie mniej liczni niż członkowie zespołów znajdujący się pod naszym kierownictwem?

Manuel Da Costa: W naszym świecie stworzyliśmy rolę koordynatora. W zależności od liczby zespołów i osób w tych zespołach tworzy się rolę koordynatora nadzorującego mniejszą liczbę zespołów albo określoną liczbę osób. Taka osoba może odpowiadać za wdrażanie, coaching i mentoring zespołów, a także za dopilnowanie, by wszystko w ich obszarze przebiegało prawidłowo. Następnie może raportować na wyższy poziom.

Zamiast jednego lidera nadzorującego wszystkich, warto mieć osobę odpowiedzialną za jeden zespół lub kilka zespołów. Jej rola obejmuje wdrażanie, coaching i mentoring, aby osoby znajdujące się pod jej opieką prowadziły lepsze eksperymenty i podejmowały właściwe decyzje produktowe.

Powinny też działać w ramach zabezpieczeń ustalonych w procesie i strukturach. To bardzo ważne, gdy przyglądamy się organizacji. Koordynator może nadzorować wiele zespołów, ale zależy to od ich wielkości.

Hannah Clark: Zgadzam się z tobą również w kwestii zabezpieczeń. To jedno z tych pojęć, które brzmią jak odbieranie sprawczości. W praktyce zauważyłam jednak, że wyraźne zabezpieczenia zmniejszają zmęczenie decyzyjne i znacznie ułatwiają ludziom pracę, ponieważ nie czują, że muszą nieustannie zmieniać procesy, a jednocześnie rozwijać tworzone produkty. Uważam więc, że istnieją mocne argumenty za takim podejściem.

Zastanawiam się jednak, ponieważ mówimy teraz również o potrzebie standaryzacji nadzoru. Jest to bardziej abstrakcyjne: jak standaryzować proces nadzorowania zespołu, nawet jeśli mamy pod opieką niewielki zespół?

Jakie zalecenia masz dotyczące standaryzacji podejścia do nadzoru, zwłaszcza jeśli jako lider nie masz szczególnie mocnego doświadczenia w samym eksperymentowaniu?

Manuel Da Costa: Wszystko zaczyna się od stworzenia ram zarządzania. Jeśli przyjrzymy się temu, co obejmują, chodzi o ustalenie zasad tworzenia eksperymentu.

Kiedy mówię o tworzeniu eksperymentu, mam na myśli kluczowe informacje, które trzeba zebrać podczas jego tworzenia. Niektóre mogą być dość podstawowe, a inne wymagane, na przykład hipoteza — dobra hipoteza. Istnieje różnica między hipotezą a naprawdę mocną hipotezą.

To jeden aspekt, ale należy też określić, jakie inne szczegóły zbieramy. Chodzi o informacje przydatne przy tworzeniu eksperymentu, takie jak szczegóły techniczne, odbiorcy i podobne elementy, ale także o aspekty istotne dla firmy. Tworząc ramy zarządzania, ustalamy, że gdy ktokolwiek w organizacji tworzy eksperyment, musi zebrać określone pola lub punkty danych.

Nie ma tu wyjątków — te informacje muszą zostać zebrane. To absolutne minimum. Inne elementy mogą być opcjonalne. To jeden z aspektów, który można — nie lubię używać słowa „egzekwować”, nawet w najlepszym znaczeniu — ująć w formie zabezpieczeń chroniących organizację przed gromadzeniem stosu bezużytecznych danych.

Jeśli zapewnimy zbyt dużą elastyczność, różne zespoły będą miały własne interpretacje tego, jak wygląda eksperyment. Ramy zarządzania określają więc, że podczas tworzenia eksperymentu trzeba zebrać informacje istotne dla firmy oraz informacje techniczne.

Następnie istnieje proces, który powinien być przestrzegany. Eksperyment nie może być zaprojektowany, przeprowadzony i przeanalizowany bez przejścia przez określone etapy. Nie uruchomilibyśmy funkcji bez przeprowadzenia kontroli jakości. Tak samo nie powinniśmy uruchamiać eksperymentu bez kontroli jakości. Ramy zarządzania powinny więc określać, że eksperyment nie może przejść przez określone etapy bez kontroli jakości.

To nie podlega negocjacji. Eksperyment musi przejść przez ten etap. Oznacza to, że każdy eksperyment podąża określoną ścieżką i nie może od niej odejść. Jeśli odejdzie, można to monitorować i ustalić, dlaczego tak się stało. W tym miejscu pojawia się koncepcja karty oceny stanu, którą opracowaliśmy.

Karta oceny stanu jest listą kontrolną określonych punktów, według których można oceniać eksperyment. Na przykład: czy utworzono hipotezę? Tak czy nie? Drugi aspekt: kiedy ją utworzono? Czy powstała wraz z pomysłem na eksperyment, czy dopiero później, gdy próbowano go uzasadnić?

To również się zdarza. Zaobserwowaliśmy trend, którego sami nie stworzyliśmy. Nazywa się on formułowaniem hipotezy po poznaniu wyników. Oznacza to, że jeśli wystarczająco długo będziesz męczyć dane, powiedzą ci to, co chcesz usłyszeć. Właśnie tak czasami dzieje się z eksperymentami, które nie kończą się sukcesem.

Nie wygrywają. Można jednak zmienić wskaźniki albo hipotezę i nagle eksperyment okazuje się wygrany. Ramy zarządzania i zabezpieczenia są ważne, ponieważ zapobiegają takim sytuacjom. Nie twierdzę, że ludzie świadomie do tego dążą. Wracamy jednak do kwestii ich wskaźników: mają osiągnąć określoną liczbę funkcji produktowych, przeprowadzić określoną liczbę eksperymentów albo osiągnąć określony wskaźnik sukcesu.

Zaczynają więc zmieniać wszystko, aby osiągnąć tę liczbę. Właśnie dlatego ramy zarządzania i karta oceny stanu mogą śledzić takie kwestie. Czy eksperyment przebiegał zgodnie z ustalonym procesem? Czy po zakończeniu eksperymentu zmieniono krytyczne informacje na jego temat?

Możemy wtedy rozpocząć monitorowanie. Karta oceny stanu daje obraz tego, czy eksperyment został prawidłowo przeprowadzony. Ostatecznie możemy powiedzieć: ufamy temu eksperymentowi, jego wynikom i decyzjom podjętym na jego podstawie — albo nie ufamy temu eksperymentowi i wiemy, dlaczego. Ponownie jest to jednak okazja do coachingu.

To okazja, aby organizacja zaczęła podejmować lepsze decyzje produktowe, a także prowadzić lepsze eksperymenty, które do tych decyzji prowadzą.

Hannah Clark: Bardzo doceniam przedstawione przez ciebie ramy. To naprawdę pomocne.

Czy masz w pamięci historie sukcesu dotyczące organizacji, która potrafiła zmienić rezultaty dzięki wyeliminowaniu luki między produktem a procesem?

Manuel Da Costa: Nie mogę podać nazwy firmy, ale zrobiliśmy dokładnie to samo z firmą, która przechodziła od zespołu centrum doskonałości do zespołów będących jednocześnie zespołami produktowymi i zespołami rynkowymi. Miała szeroki zakres działalności. Była globalną firmą handlu elektronicznego z wieloma zespołami rynkowymi, a także produktowymi, które dopiero zaczynały zajmować się testowaniem.

Ważne było to, że nie wprowadziliśmy od razu każdego zespołu produktowego i rynkowego do eksperymentowania. Przygotowaliśmy analizę SWOT każdego zespołu i oceniliśmy poziom jego wiedzy o eksperymentowaniu. Drugim czynnikiem była gotowość i chęć zaangażowania się w ten proces.

Następnie zaczęliśmy wdrażać zespoły, które uzyskały wysokie wyniki w tych obszarach, i stopniowo wykorzystywaliśmy je jako dowód społeczny. Gdy wdrożyliśmy kilka zespołów i zaczęły dobrze działać — mniej więcej po trzech miesiącach — nazywaliśmy ten okres trzymiesięcznym sprintem. Każdy sprint miał plan wdrożenia coachingu i przygotowania zespołów do momentu, w którym pod koniec trzymiesięcznego programu mogły działać samodzielnie.

Następnie wykorzystywaliśmy je jako dowód społeczny, aby angażować kolejne osoby, a także zapewnialiśmy społecznościowe wsparcie między zespołami. Ugruntowaliśmy ten model w ciągu dwóch lat. Był to dość długi proces. Ponownie: nie dzieje się to z dnia na dzień, zwłaszcza w większej firmie.

Zmiana kultury nie zachodzi z dnia na dzień. Przeszliśmy przez ten proces i pod koniec dwuletniego okresu mieliśmy zespoły produktowe znacznie lepiej zaznajomione z prowadzeniem eksperymentów. Nawet gdy następowała rotacja pracowników, ludzie odchodzili z firmy, a nowi dołączali, czas potrzebny nowemu pracownikowi na wdrożenie się w proces wynosił mniej niż miesiąc, ponieważ wszystkie ramy były już gotowe.

Mieli systemy i dokładnie wiedzieli, co robić. Wszystko było przygotowane, więc trudno było popełnić błąd. Można tak powiedzieć, ponieważ łatwiej było postępować według ustalonych zasad, niż próbować wprowadzać własne modyfikacje.

Hannah Clark: Bardzo doceniam przykłady, którymi się podzieliłeś. To było niezwykle pouczające.

Dziękuję ci, Manuelu, za udział w rozmowie. Gdzie można znaleźć cię w internecie, jeśli ktoś chce dowiedzieć się więcej o twojej pracy i Effective Experiments?

Manuel Da Costa: Można znaleźć mnie na LinkedIn. Jestem tam dość aktywny. Można też odwiedzić stronę EffectiveExperiments.com i dowiedzieć się więcej o naszej działalności. Publikuję również wiele treści na naszym blogu. Zachęcam do obserwowania mnie w tych dwóch miejscach.

Hannah Clark: Świetnie. Bardzo dziękuję.

Dziękujemy za wysłuchanie. Aby otrzymywać więcej świetnych spostrzeżeń, poradników i recenzji narzędzi, zapisz się do naszego biuletynu na stronie theproductmanager.com/subscribe. Więcej takich rozmów usłyszysz, subskrybując Klub CPO w dowolnym miejscu, w którym słuchasz podcastów.