Hvordan produktledere kan bruke datasuperkrefter til å triumfere over konkurrentene

Les transkripsjonen:

Vi prøver ut å transkribere podkastene våre ved hjelp av et program. Tilgi eventuelle skrivefeil, siden roboten ikke er korrekt 100 % av tiden.

Hannah Clark: I en perfekt verden ville alle beslutningene vi tar, vært datadrevne. Så hva skjer når hjertet er villig, men dataene vi ønsker oss, bare … ikke finnes? Eller når prosessen med å skaffe disse dataene er så krevende at gevinsten rett og slett ikke står i forhold til innsatsen? For mange produktteam ender for mange beslutninger opp med å basere seg på bare ett tall – lønnen til personen som tar beslutningen.

I dag snakket jeg med Vijay Umapathy, direktør for produktledelse i Heap. Vijay forteller hvordan produktteamet hans gradvis har blitt mer datadrevet, og om gjennombruddene de har hatt for å generere flere innsikter på kortere tid. Han fortalte også om en virkelig genial taktikk teamet hans har brukt for å hindre konflikter mellom produkt- og ingeniørteam. La oss sette i gang.

Vijay, tusen takk for at du blir med oss i dag.

Vijay Umapathy: Supert. Takk for invitasjonen. Det er flott å være her.

Hannah Clark: Ja. Vi begynner litt med bakgrunnen din. Kan du fortelle oss litt om karriereutviklingen din og hvordan du endte opp i Heap?

Vijay Umapathy: Ja, selvfølgelig. Jeg begynte med å studere ingeniørfag – jeg studerte informatikk ved MIT – og begynte med produktarbeid rett etter studiene. Jeg ble med i APM-programmet hos Google. Det som er litt morsomt, er at jeg var en av de tidlige personene som lot seg overbevise av påstanden: «Som produktleder er du den lille administrerende direktøren», noe som er fullstendig feil og nå blir sett på som en svært gammeldags måte å beskrive fagområdet på – og det er helt korrekt.

Men én ting vil jeg si: Helt fra starten likte jeg virkelig ideen om å bruke mange forskjellige hatter. For eksempel en kunderettet hatt, en designhatt, en ingeniørhatt eller en produkthatt, og på en måte veksle mellom alle disse ulike perspektivene når det gjelder å hjelpe mennesker med teknologi.

Og den delen har vært sann om å være produktleder, så bildet jeg hadde av hvordan det ville være, var ikke helt feil.

Hannah Clark: Jeg ville spørre deg om noe som står i biografien din på Medium: at du virkelig liker å lage verktøy som gir mennesker superkrefter. Jeg syntes det var en veldig morsom måte å formulere det på, og jeg ville vite hvordan dette ser ut i sammenheng med Heap, som for dem som ikke kjenner det, er et verktøy produktfolk også kan bruke.

Vijay Umapathy: Ja. Heap er et produktanalyseverktøy. For å gi deg en idé om hva jeg tror mange produktledere opplever med analyse, kan jeg fortelle litt om hvordan det var i det forrige selskapet jeg jobbet i. Jeg jobbet i en robotikkoppstartsbedrift, og vi hadde en slags dataansvarlig – en datafyr.

Hvis jeg noen gang hadde et spørsmål om brukeratferd, som hvor mange som brukte en funksjon, hva de gjorde eller hvor de satt fast, måtte jeg opprette en sak for denne personen og vente i ukevis på at den skulle bli prioritert. Og dette var bare for å lage et diagram som kunne besvare spørsmålet mitt.

Det var veldig gammeldags og ekstremt lite myndiggjørende. Derfor tror jeg noe av det som virkelig trakk meg mot Heap da jeg vurderte selskapet, var at jeg så at de bygde ting for produktledere. Hva var spesielt med det? Det som er virkelig bra med Heap, er at de automatiserer arbeidet med å skrive kode manuelt for å spore hver brukerhandling du bryr deg om.

Hvis jeg for eksempel har en nettbutikk og vil vite hvor mange som klikker på «legg i handlekurven», må jeg vanligvis skrive en kodelinje som sier at noen klikket på knappen «legg i handlekurven». Deretter må jeg vedlikeholde dette over tid. Det blir fort et stort rot. Med Heap samler vi derimot automatisk inn alle disse dataene.

Vi automatiserer altså mye av sporingsarbeidet. Men det virkelig kraftfulle er at hvis jeg stiller et spørsmål seks måneder senere og spør hvor mange som utførte denne handlingen eller brukte denne funksjonen, og jeg glemte å mase på noen om å spore det, opprette saken eller spørre den dataansvarlige, trenger jeg ikke å vente.

Jeg kan stille spørsmålet og får umiddelbar tilgang til alle historiske data. Dermed kan jeg besvare spørsmålet på noen sekunder. For å gi deg en idé om hvorfor dette er så bra: Tenk på hvor mange møter som finner sted der noen spør hvor mange som gjør noe, og du ikke umiddelbart har svaret lett tilgjengelig. Da tar den mest høylytte personen over.

Jeg var bokstavelig talt i et slikt møte ganske tidlig i tiden min hos Heap. Vi jobbet med en side som hadde en bla-gjennom-opplevelse og en søkeopplevelse, omtrent som Google Disk. Noen sa: «La oss anta at mange bare søker på denne siden.» Det var en merkelig antakelse å gjøre. Jeg sa: «Greit, la oss snakke om fremtidens søk og redesigne dette.»

Mens personen begynte å snakke i vei, gikk jeg inn i Heap og laget en hendelse for personer som søkte på siden. Jeg hadde umiddelbar tilgang til alle historiske data og kunne lage et diagram som viste hvilken prosentandel av brukerne som gjorde dette. Jeg tenkte først at det bare var 27 prosent. Så jeg sa: «Unnskyld meg? Det ser ut som om mindretallet søker her. Kan vi snakke litt mer om bla-gjennom-opplevelsen?» Det endret retningen på møtet.

Det er dette jeg mener med superkrefter. Jeg tror vi om ti år kommer til å se tilbake og tenke at det er absurd å ikke kunne besvare et slikt spørsmål der og da.

Hannah Clark: Du har personlig en sterk interesse for å bruke dataanalyse i beslutningstaking. Hvordan tror du disse interessene dine har påvirket utviklingen av produktet og noe av innsikten du klarer å hente ut?

Vijay Umapathy: Jeg vet ikke om de nødvendigvis har påvirket selve produktet. Vi støtter oss ofte på kundene våre i den sammenhengen. Men jeg vil si at det sannsynligvis har påvirket hvordan vi snakker om beste praksis.

Noe av det som er virkelig bra, er muligheten til å stille alle disse ad hoc-spørsmålene, ett etter det andre. Det jeg har oppdaget, er at når du gir mennesker muligheten til å stille slike spørsmål og få svar raskt, blir prosessene dine selve problemet.

Mange er rigget slik at når du lanserer en funksjon, setter du deg ned og definerer de fem målene du skal måle. Deretter setter du deg ned etter lanseringen, ser på dette dashbordet, deler det med ledelsen i et møte og går videre med livet.

I Heap har vi i stedet forsøkt å praktisere noe annet, og vi har faktisk laget maler for dette: Du bør være virkelig hypotesedrevet. Når du starter med å si at du vil løse et problem med et produkt eller en funksjon, har vi en mal for noe som kalles en problembeskrivelse. Der beskriver du problemet i detalj uten å foreskrive en løsning.

På slutten kommer det vi mener er den viktigste delen: en kvantifiserbar hypotese. Det vil si: Jeg tror at denne gruppen brukere kommer til å endre atferden sin på denne målbare måten. Og kanskje kan du også si hvor mye du tror atferden vil endre seg.

Hva kjennetegner et godt resultat? Deretter har vi en rutine vi opprettet etter funksjonslanseringer, som vi praktiserte mange ganger selv før vi skrev maler og blogginnlegg om den. Den kalles etterhandlingsrapporter. I hovedsak starter du med spørsmålet: Hva var hypotesen min før vi bygde dette, og stemte den?

Endret ting seg slik vi trodde? Og hva annet overrasket oss? Når det gjelder det som overrasket oss, kan du gå ned i et kaninhull. Jeg tror det er den delen der Heap har oppmuntret teamet vårt og kundene våre til å gå videre med flere spørsmål.

Hvilke brukersegmenter hadde svært ulik atferd? Hvilke forskjellige veier tok folk gjennom funksjonen eller arbeidsflyten du la til i produktet, men som du ikke forventet at de skulle ta?

Hannah Clark: Kan du gi oss et eksempel på et kaninhull du nylig gikk ned i, som kan gi oss et godt bilde av hvilken kraft dette kan ha?

Vijay Umapathy: Ja, selvfølgelig. Et godt eksempel er at vi for omtrent seks måneder siden lanserte en funksjon for øktavspilling i Heap. Vi kjøpte et selskap som arbeider med øktavspilling. Det betyr at du kan se en visuell gjenskaping av det én bruker gjør, klikk for klikk.

Da vi lanserte funksjonen, vurderte vi først å lage den som en integrasjon. Vi bygde derfor flere innganger til den inne i analysefunksjonene våre. Vi så at mange brukte disse inngangene og prøvde funksjonen. Men vi oppdaget friksjon da nye kontoer skulle sette den opp, fordi de forventet arbeidsflyter som var litt mer kvalitative i starten.

Vi kunne se mønstre der de navigerte til andre deler av nettstedet vårt for å få dette. Derfor arbeider vi nå med noen endringer som skal gjøre det mye enklere å navigere i slike arbeidsflyter. Dette er faktisk et svært vanlig mønster i produktarbeid: Du lanserer noe med visse antakelser, noe går bra, og noe overrasker deg. Det er helt greit.

Deretter fortsetter du å iterere og kommer til slutt til et sted der atferden normaliserer seg rundt noe som ligner på stiene du har lagt opp. Men i begynnelsen er det aldri slik.

Hannah Clark: Greit. Vi skifter tema litt. Noe jeg har tenkt mye på i det siste, er gjennombrudd – de øyeblikkene der du får en aha-opplevelse som etter hvert blir en del av bakgrunnsstøyen i prosessene dine. Kan du fortelle om et gjennombrudd du har hatt knyttet til bruk av brukerinnsikt og det å skape noe virkelig interessant med den?

Vijay Umapathy: Ja. Jeg tror faktisk det største gjennombruddet vi har oppnådd i produktet vårt, og som også har ført til mange endringer i hvordan vi arbeider som produktteam og hvordan kundene våre arbeider, kommer fra funksjonen for øktavspilling som vi la til i produktet.

Vanligvis har du kvantitative data i ett verktøy. Du har én silo med all atferdsdataen din, lager diagrammer og traktanalyser fra den, og så videre. Separat har du en annen silo med kvalitative data.

Det kan også være to forskjellige team som ser på de to ulike datasiloene. Designteamet ditt ser kanskje jevnlig på øktavspillinger. Problemet er at du får en opphopning: Millioner av timer med øktavspillinger, langt mer enn du noen gang kan rekke å se.

Et stort problem er at du ikke vet hvilke økter du faktisk bør se på. Og hvis du åpner en av dem og den varer en time, vet du ikke hvilke øyeblikk som er viktige, eller hvilke øyeblikk som er viktige på en måte som påvirker virksomheten samlet sett – ikke bare én bruker, men mange brukere.

Vi pleide å ha et møte hver fredag der vi satte oss ned og så på noen forskjellige øktavspillinger. Dette var en normal prosess, og jeg vet at mange produktteam gjør dette i dag.

Målet var å etablere en rutine for å utvikle empati med kunden, samtidig som vi rettet diskusjonen mot en bestemt arbeidsflyt vi brydde oss om eller arbeidet med, for å komme frem til ideer om ting vi kunne endre som kanskje ville ha effekt.

Problemet var at én stakkars person måtte forberede møtet. Det var et 30-minutters møte med 20–30 deltakere, altså et dyrt møte. Én person måtte bruke rundt tre timer på forhånd til å se gjennom timevis med økter, hvorav de fleste var ubrukelige.

Deretter måtte personen håndplukke tre økter som gruppen skulle se på sammen. En forferdelig og tidkrevende jobb. Når det blir travelt, har personen ofte ikke tid til dette. Det er heller ikke dette de får betalt for. Dermed bryter hele rutinen sammen, og bruken av de kvalitative dataene stagnerer.

Dataene blir liggende ubrukt. Da vi kjøpte selskapet som arbeidet med øktavspilling, Oric, i juni i fjor, integrerte vi det i Heap. Vi la ikke bare en side for øktavspilling inn i produktet. Vi integrerte det dypt i selve analysen.

Når du ser på en hvilken som helst kvantitativ trend, får du i praksis en «vis meg»-knapp. Den knappen håndplukker ikke bare de riktige øktene for konteksten du ser på, men hopper også til riktig øyeblikk i øktene.

Kanskje du nettopp har lansert en funksjon og vil vite om den endret seg fra forrige uke til denne uken, eller hvordan folk klikket seg annerledes gjennom den. Det er enkelt å besvare. Eller kanskje mange faller fra på trinn tre i arbeidsflyten din, og du vil vite hva som skjer der.

Vi integrerte altså dette dypt, ga deg «vis meg»-knappen, håndplukket de riktige øktene og hoppet til de riktige øyeblikkene. Det endret møtet vårt.

Vi tok tilbake en versjon av møtet, men som en idédugnad. Vekstteamet vårt ledet den. Jeg husker fortsatt at jeg gikk fortumlet rundt på kontoret etterpå, fordi teamet ikke hadde gjort noen forberedelser.

De tok eksisterende traktanalyser fra ulike deler av oppsettet og introduksjonsflyten vår. Deretter delte de seg i rom og så på så mange avspillinger som mulig, mens de laget så mange virtuelle lapper som mulig med områder der det oppsto friksjon.

Hvert team valgte en annen trakt eller et annet trinn. Ingen forberedelser. Personen som tidligere hadde brukt tre timer på sortering, var borte. De kom ut med hundrevis av ideer på 30 minutter.

Det var et øyeblikk som endret alt. Vi tenkte: «Herregud, dette kan hjelpe team med å utvikle ideer mye raskere enn de noen gang hadde forestilt seg.»

Hannah Clark: Det er fantastisk. Og det har virkelig stor effekt.

Vijay Umapathy: Ja, absolutt. Det fine er at det også er datadrevet. Jeg tror mange glemmer at 90 prosent av produktbeslutningene som tas i verden i dag, ganske enkelt bygger på folks meninger.

Har du hørt om HIPPO? Den høyest betalte personens mening. Det er en morsom forkortelse blant produktledere, men jeg tror den beskriver virkeligheten godt. De fleste av disse beslutningene tas på magefølelse.

Selv om du ser på noen anekdoter og lager en lapp i et av møtene, er det en seier hvis anekdoten er informert av kvantitativ kontekst, for eksempel en del av en arbeidsflyt som ikke fungerer godt.

Du er litt bedre informert enn du ellers ville vært. Det er dette folk må forstå: Du kan vinne ved å ta tusen små skritt i riktig retning. Når det gjelder å være datadrevet, trenger det ikke være en stor av/på-bryter. Du er ikke enten datadrevet eller ikke-datadrevet. Du kan klatre sakte oppover den stigen.

Hannah Clark: Når vi kommer tilbake til innovasjon: Hvordan balanserer du behovet for å innovere og iterere med å sikre at produktet du leverer, alltid er stabilt, pålitelig og gir en konsekvent kundeopplevelse?

Vijay Umapathy: Jeg vil gjerne vri litt på spørsmålet, hvis det er greit.

Hannah Clark: Selvfølgelig.

Vijay Umapathy: For å svare på den første delen, om pålitelighet og stabilitet: Hvis du overvåker grunnleggende pålitelighets- og stabilitetsmålinger, vil dataene vanligvis fortelle deg ganske tydelig når du må legge alt annet til side og rette problemet. Selskaper har også ofte en tjenestenivåavtale med kundene om ting som oppetid.

I andre tilfeller kan det handle om ytelse. Det mer interessante spørsmålet, som har mange nyanser og skaper utfordringer for produktledere, er hvordan du håndterer teknisk gjeld sammen med ingeniørteamet, samtidig som du fortsetter å bygge helt nye produktfunksjoner og løse problemer for kundene.

Det finnes en vanlig klisjé om produktledere: En produktleder sier at vi må fortsette å bygge nye funksjoner for å løse alle problemene kundene våre har. Ledelsen elsker denne personen fordi ideene er skinnende og de ser dollartegn.

Samtidig sitter ingeniørteamet i et hjørne og sier at de virkelig trenger å oppgradere Node-versjonen. De blir stadig bitrere fordi ideen deres blir nedprioritert.

Jeg tror dette skaper konflikter mellom produkt- og ingeniørteam som ikke trenger å oppstå. Én ting vi har begynt å praktisere i flere team hos Heap, er å bruke veikartet til å prioritere tekniske investeringer i fundamentet vårt.

Vi gjorde noe som kalles et smidighetspoengkort. Vi startet med prinsippet om at datamaskiner skal arbeide for oss. Det bør bli enklere og enklere å gjøre tingene vi trenger å gjøre oftere og oftere på veikartet vårt.

Første steg er å se på veikartet ditt og spørre hvilke typer endringer du ønsker å gjøre i produktet oftere, og hvilke du ønsker å gjøre sjeldnere.

Når du ser på tingene du vil gjøre oftere, må du spørre om du er hindret hver gang du gjør dem. Pådrar du deg teknisk gjeld hver gang du endrer noe? Kanskje det tar flere uker, selv om det føles som om det burde ta minutter, og det er svært irriterende.

Eller er du muliggjort? Er det relativt enkelt og greit, men fortsatt arbeid? Eller er hele prosessen optimalisert – utformet for at du skal gjøre dette tusen ganger om dagen?

Du vil ikke optimalisere alt, for da optimaliserer du ingenting. Du må derfor ta et skritt tilbake og spørre hvilket delsett du vet at du kommer til å gjøre hele tiden.

Hos Heap innså vi for eksempel at vi kommer til å bygge nye typer datavisualiseringer for alltid. Vi innså også at vi kommer til å bygge grensesnitt som lar folk stille spørsmål til data, for alltid.

Vi så på disse tingene og spurte hvor lang tid de tok, hvor lang tid de burde ta, og hvilke klager utviklingsteamet hadde når de bygde dem.

Deretter kunne vi ta et skritt tilbake og si at vi faktisk skulle sette funksjonsutviklingen på pause i noen av disse teamene en stund og prioritere å flytte grensesnittet vårt til React. Mange selskaper har gjort dette de siste årene. Det er store og smertefulle prosjekter.

Det er krevende og tar lang tid. Det finnes mange spesialtilfeller. Men det er viktig at du på forhånd, også sammen med ledelsen, rammer det inn som å bygge fremtidig utviklingshastighet.

Jeg investerer én måned nå for å ta noe jeg vet at jeg kommer til å gjøre hundre ganger, og redusere tiden fra én uke til én time. Det kommer til å lønne seg raskt.

Da går du fra teknisk gjeld til teknisk utbytte. Når du tenker på det på den måten, blir det en spennende, samarbeidende oppgave mellom produkt- og ingeniørteamet. Du skaper ikke lenger en konflikt mellom teamene.

Hannah Clark: Vijay, hvilke trender ser du nå vokse frem innen produktledelse og dataanalyse? Og hvordan holder du deg foran disse trendene slik at teamet ditt alltid ligger i forkant?

Vijay Umapathy: En av de store trendene er å bryte ned datasiloer.

Det er et par ting som driver dette. Det ene er åpenbart ideen om ødelagte arbeidsflyter. Vi snakket tidligere om eksempelet med øktavspilling. Når du kombinerer det med konteksten fra kvantitative data, kommer du dramatisk raskere frem til verdi og innsikt enn du ellers ville gjort.

Når du har mulighet til å forbedre arbeidsflyter som i dag går på tvers av flere verktøy, ser du derfor mer samling av verktøy. Det som har akselerert dette de siste månedene, er de makroøkonomiske utfordringene for mange teknologiselskaper som antok at de skulle vokse uendelig, og at kapitalen i praksis skulle være gratis for alltid.

Når budsjettene strammes inn, presser økonomidirektører og innkjøpsteam i selskapene folk til å samle verktøyene. Dette er spesielt viktig for B2B-selskaper. Mange produktledere arbeider i B2B-SaaS-selskaper og får sannsynligvis press om å bygge en versjon av hvert verktøy i alle områder ved siden av deres eget.

Hvorfor? På grunn av samling. Men problemet er at du risikerer å spre deg for tynt. Du må være svært forsiktig og gjennomtenkt.

Ta et skritt tilbake og spør om du faktisk kan skape en bedre kundeopplevelse ved å kombinere disse verktøyene. Kombinerer du dem bare for å kombinere dem, eller finnes det en reell mulighet til å skape noe bedre?

Enda viktigere: I tillegg til å skape noe bedre, finnes det noe du er unikt egnet til å gjøre for å skape dette bedre produktet?

Når du bygger versjon én av et verktøy fra et tilgrensende område som har eksistert i årevis, ligger du per definisjon bak. Du kan ikke materialisere flere års arbeid over natten.

Men hvis du har en reell differensiator og en arbeidsflyt du har forbedret dramatisk for sluttbrukeren, har du et utgangspunkt for å begynne å levere verdi og slå konkurrentene.

Det er derfor viktig at når folk tenker på trenden med verktøysamling og nedbryting av siloer, må de være gjennomtenkte i hvordan de løser problemene og bygger funksjonene.

Hannah Clark: Fascinerende. Et litt tilfeldig spørsmål siden vi snart må avslutte: Hva står på spillelisten din akkurat nå? Hva liker du å høre på når du er på jobb eller har fri?

Vijay Umapathy: Jeg hører på mye elektronisk musikk. Jeg er stor fan av Above and Beyond, hvis du har hørt om dem. De har eksistert lenge, men har et par forskjellige plateselskaper. Det jeg hører mest på, og som har spillelister på Spotify, heter Anjunabeats. De har massevis av nye artister.

Det er mange som akkurat begynner å slå gjennom i karrieren, og de har skapt et helt økosystem av musikk som låter fantastisk. Det er vanligvis det jeg hører på. Det er det som står på spillelisten min.

Hannah Clark: Kult. Det må jeg sjekke ut. Vijay, hvis folk vil holde kontakten med deg eller følge arbeidet ditt, hvor kan de finne deg på nettet?

Vijay Umapathy: Du finner meg på Medium, og på Twitter @vijayumapathy. Og sjekk gjerne ut Heap hvis du bygger digitale produkter. Vi hjelper deg med å ta beslutninger raskt. Jeg håper eksemplene her har vist hvordan du kan gjøre det og bli myndiggjort. Og ikke la flodhesten vinne.

Hannah Clark: Greit nok. Tusen takk for at du ble med oss. Vi setter stor pris på tiden din.

Vijay Umapathy: Takk.

Hannah Clark: Takk for at du lyttet. For flere gode innsikter, veiledninger og verktøyanmeldelser kan du abonnere på nyhetsbrevet vårt på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved å abonnere på The CPO Club der du hører på podkaster.