Data for nybegynnere: Et lynkurs for ikke-tekniske produktsjefer

Les transkripsjonen:

Vi prøver ut transkripsjon av podkastene våre ved hjelp av et program. Tilgi eventuelle skrivefeil, siden boten ikke er korrekt 100 % av tiden.

Hannah Clark: Kan vi være ærlige om noe? Denne bransjen er litt besatt av å være datadrevet. Nei, det var ikke den ærlige delen – det visste du allerede. Den ærlige delen er at ikke alle av oss faktisk er så flinke med data. Og hvis du er en person som er ganske komfortabel med et analysepanel, er det ikke sikkert at du alltid jobber med de riktige typene innsikt for å vise hele bildet.

Dagens gjest er Mo Hallaba, administrerende direktør i Datawisp, som, hvis du ikke kjenner det fra før, er et AI-drevet verktøy for datavisualisering. Med denne posisjonen har Mo et unikt perspektiv på avstanden mellom mengden data de fleste organisasjoner samler inn, og hvor effektivt de faktisk bruker den. I tillegg må jeg si at jeg sjelden snakker med mennesker som er så smarte at de klarer å gjøre svært komplekse temaer tilgjengelige for alle. Men heldigvis for deg og meg er det nettopp det denne samtalen handler om. La oss sette i gang.

Velkommen tilbake til The CPO Club-podkasten. Mo, tusen takk for at du tok deg tid til å bli med oss i dag.

Mo Hallaba: Takk for invitasjonen. Jeg gleder meg til å være her og snakke om AI, data og alle disse andre moteordene også.

Hannah Clark: Det ser vi også frem til.

Kan du fortelle oss litt om bakgrunnen din og hvordan du kom dit du er i dag hos Datawisp?

Mo Hallaba: Absolutt. Det blir en lang historie, så ha litt tålmodighet med meg. Jeg startet karrieren innen finans, med aksjeanalyse, der jeg fortalte folk hvilke aksjer de burde kjøpe og så videre. Det innebar mye research og manuelt dataarbeid, noe som var utrolig slitsomt.

Jeg gikk videre derfra og jobbet en stund med oppkjøp og fusjoner i selskaper. Det var egentlig mye av det samme, men fra et annet perspektiv. I stedet for å fortelle folk hva de burde kjøpe, jobbet vi med oppkjøp. Og i forbindelse med disse oppkjøpene gjorde vi mye av vår egen research – og igjen gravde vi gjennom enorme mengder data.

Til slutt ble jeg lei av det og bestemte meg for at jeg ville gjøre noe på egen hånd. Jeg ville starte et oppstartsselskap. Jeg har alltid vært veldig interessert i videospill, så jeg tenkte at jeg skulle gjøre noe innenfor det området. Dermed startet jeg et spillselskap som mislyktes fullstendig – virkelig totalt. Men underveis møtte jeg noen som jobbet med noe veldig spennende, nemlig et e-sportlag. De kjøpte spillere fra ukjente regioner og så videre, men brukte programvare til å trene dem ved hjelp av data og analyser.

Jeg syntes det var veldig interessant. Det var som «Moneyball» for videospill. Derfra utviklet det seg til noe eget, fordi noen av de andre lagene ønsket det, og noen av de andre turneringsarrangørene ville vise det på skjermen og presentere statistikk og slikt. Det var slik jeg gikk fra å jobbe i finans til å jobbe i et dataanalyseselskap.

Etter hvert bestemte vi oss for å vokse utenfor spillbransjen. Nå driver vi altså fullt og helt med analyse.

Hannah Clark: Flott. Vi skal gå dypere inn i det om et øyeblikk. Det er faktisk en perfekt overgang.

I dag skal vi snakke om hvordan man virkelig kan bruke data til å informere beslutningene sine. For å starte: Hva tror du mange organisasjoner gjør feil når det gjelder såkalt «datadrevet» beslutningstaking? Jeg vet at det uttrykket kan være litt betent.

Mo Hallaba: Ja, jeg tror det finnes mange som forventer at data skal ta beslutningene for dem – altså datadrevet beslutningstaking. Og ja, enkelte fagområder er svært tekniske, og der har man dataforskere og beslutninger som i stor grad drives av data. Men det er ikke det vi holder på med.

Det er ikke det Datawisp er til for. Vi handler mye mer om datainformert beslutningstaking. Det betyr at du tar beslutninger du uansett ville ha tatt uten data, men ganske enkelt får tilgang til data du kan se på, slik at du er bedre informert når du tar beslutningen. Et eksempel kan være: Hvor bør vi plassere denne knappen i brukergrensesnittet vårt?

Skal vi plassere den her oppe? Skal vi plassere den der nede? Skal vi flytte den i det hele tatt? Hvis du ser at konverteringsratene dine viser at folk kommer inn på nettstedet ditt og deretter går seg vill på hovedsiden, bør du kanskje flytte knappen, ikke sant? Men hvis du oppdager at 90 % av brukerne kommer inn på siden din og klikker på knappen, trenger du ikke bekymre deg for det. Det handler om små ting som dette: I stedet for å gjette, blir du nå informert av data. Altså datainformert.

Hannah Clark: Ja, jeg foretrekker også data – beklager, datainformert. Nå avslører jeg hvor kanadisk jeg er.

Kan du fortelle oss litt om hvordan datavisualisering kan hjelpe oss med å demokratisere forståelsen av og bruken av data i organisasjoner?

Mo Hallaba: Absolutt. Jeg tror ikke alle er tallmennesker, særlig ikke når man snakker om ikke-tekniske personer.

Når du ser på mer kreative fagområder, produktsjefer eller hva det måtte være, forstår noen data bedre når de får se dem visualisert i form av et bilde foran seg. Det er én ting å si at et mønster endrer seg over tid. Det er noe annet å vise noen en graf der de kan se hvordan nøkkeltallet utvikler seg over tid.

Og hvis du har en hovedgren og en ny gren som beveger seg sammen, og dataene på et tidspunkt deler seg i ulike retninger, er det så enkelt å se på grafen og spørre: «Hva skjedde i juli?» I stedet for å se på en tabell, kvartalsrapporter eller noe lignende. Visualisering, særlig for ikke-tekniske personer, gjør det mye enklere å vite hvilke spørsmål man bør stille videre, etter min mening.

Hannah Clark: Ja, som en selverklært person som ikke er noe tallmenneske, støtter jeg absolutt visualisering av data.

Hva er noen av måtene organisasjoner kan beskytte seg mot feilaktig tolkning av data på – nå som vi først snakker om dette – slik at beslutningstakere får en tydelig forståelse av datapunktene?

Mo Hallaba: Mange ser på AI og sier at AI kommer til å erstatte mennesker. Det er ikke det vi handler om. Vi handler om å fjerne noe av rutinearbeidet og slikt som skaper flaskehalser for dataforskere. En god måte å beskytte seg mot dette på er å ha en dataforsker på laget, eller å ansette noen som faktisk vet hva de gjør. Forskjellen er at du kan klare deg med én eller to dataforskere i stedet for ti hvis du har god programvare som gjør det mulig for folk å analysere data. Det du i utgangspunktet ønsker å eliminere, er behovet for tekniske ferdigheter for å kunne analysere data.

Jeg burde for eksempel ikke måtte skrive SQL for å kunne lage en graf. Men det betyr ikke at jeg bare bør ta beslutninger basert på grafen uten å forstå hva dataene betyr. Når du fjerner den tekniske barrieren, gjør du det mulig for folk å bruke mer tid på data, og de kan bli bedre kjent med de riktige måtene å bruke data på.

Dermed får de mer tid til å snakke med en dataforsker og forstå hva dataene viser og ikke viser, for å ta et eksempel. Det kan finnes variabler som er korrelert med hverandre på grunn av årsakssammenhenger eller hva det måtte være. Men i utgangspunktet er det å beholde et menneske i loopen den beste måten å unngå dette på.

Det kan være en dataforsker eller den beste ingeniøren din. Jeg mener likevel at hvis valget står mellom å ikke gjøre noe eller å gjøre noe, bør du fortsatt gjøre noe.

Hannah Clark: Hva er fremgangsmåten din for å dele data inn i kontekstuelle deler? Kan du dele et eksempel på hvordan det ser ut i praksis?

Mo Hallaba: Det kan jeg. Etter min mening er den beste måten å tenke på dette å se på hva forretningsmålene dine er. Det handler ikke bare om å jobbe med data i et vakuum. Grunnen til at vi gjør alt dette med data, er at vi prøver å forstå noe om virksomheten vår som vi ikke visste før vi så på dataene, ikke sant?

Det avhenger vanligvis av forretningsspørsmålet. Hvis spørsmålet for eksempel er om opplæringen vår er nyttig, og vi prøver å finne ut hvor god opplæringen er, kan én måte å dele dataene på være å se på personer som har brukt opplæringen, og personer som ikke har fullført opplæringen. Deretter kan man se på frafallsrater, eller dele hele datasettet inn etter personer som har gjennomført opplæringen og personer som ikke har gjort det, og se hvordan de skiller seg fra hverandre. Kanskje det ikke finnes noen forskjell.

Da kan vi si: «Greit, enten er opplæringen ikke effektiv, eller så er appen veldig enkel å bruke, slik at brukerne ikke trenger opplæringen.» Men hvis du ser at personer som fullfører opplæringen i gjennomsnitt bruker produktet mye mer, er langt mer effektive med det og fortsetter å bruke det over lengre tid, kan du si: «Kanskje det faktisk er noe med denne opplæringen.» Det avhenger altså av hva du prøver å løse i utgangspunktet.

Hannah Clark: Det var et veldig tydelig eksempel. Det setter jeg stor pris på.

Du har tidligere snakket om forskjellen mellom handlingsrettede og ikke-handlingsrettede data. Kan du si litt om hva du mener med disse begrepene? Hva er handlingsrettede data? Hva er ikke-handlingsrettede data? Og hvordan identifiserer og utnytter vi begge disse datatypene på en effektiv måte?

Mo Hallaba: Det handler mer om hvordan du kan handle basert på innsikten du får. Det er ikke slik at dataene i seg selv er annerledes på noen måte. Det handler ganske enkelt mer om hvilke muligheter du har. Jeg kan prøve å gi deg et eksempel.

La oss si at du ser på Datawisp. Vi har en salgstrakt – vi driver med markedsføring. Vi prøver å tiltrekke oss folk. De kommer inn, begynner å bruke produktet, bruker appen, liker den eller liker den ikke. Deretter faller de fra eller fortsetter å bruke den. Jo høyere opp i trakten du er, desto mer kan du gjøre.

Hvis ingen bestiller en demonstrasjon, kan du kanskje tenke at knappen ikke er stor nok, at landingssiden ikke er overbevisende nok, eller at dere trenger en ny grafikk. Men hvis noen logger inn, bestiller en demonstrasjon, snakker med dere, prøver produktet, stiller mange spørsmål og deretter faller fra, kan det hende at de ganske enkelt ikke likte det.

Eller kanskje produktet ikke løste behovet deres. Det er langt mindre handlingsrettet enn noen av tingene høyere opp i trakten. Det handler altså om hva du kan gjøre basert på denne informasjonen. Enkelte ting er tydeligere enn andre. Hvis du for eksempel har en trakt der brukerne går fra trinn én til trinn to, og du ser et frafall på 50 % ved trinn tre, kan du lage en liste over ting som kan ha forårsaket frafallet fra ett trinn til det neste, og deretter undersøke dem. Men når du kommer helt til slutten, og brukerne bare benytter produktet og alt det der, blir det mye vanskeligere å si: «Greit, de falt fra på grunn av X.» For på det tidspunktet vet man ikke.

Måten å finne ut av det på er å gjennomføre flere kundeintervjuer og se på hvordan folk bruker produktet. Det finnes også andre verktøy for dette.

Hannah Clark: Hvilke verktøy kan produktteam bruke for å bli bedre til å samle inn og tolke brukerdata, slik at de kan informere beslutningene de tar?

Mo Hallaba: Det kommer an på. Det finnes mye forskjellig programvare du kan bruke, og det avhenger virkelig av hvilken type produkt du bygger. Hvis du lager et spill, er det svært forskjellig fra å lage et nettsted, en nettbutikk eller noe annet. Men du trenger noe som samler inn hendelser, altså registrerer når ting skjer, og lagrer dem på et sted som gjør analyse enkelt.

Hvis du bygger et spill, finnes det ideelt sett programtillegg for Unity som kan registrere hendelser som skjer i spillet og lagre dem i Snowflake. Hvis du får på plass noe slikt, blir det mye enklere å begynne å analysere dataene. Det er det grunnleggende kravet. For netthandel og lignende finnes det mange bransjespesifikke løsninger som gjør slike ting. Så jeg vil si at det kommer an på hva du bygger.

Hannah Clark: Når det gjelder AI og rollen AI kan spille i arbeidet med å tolke data, nevnte du at det beste alternativet er å ha én eller flere dataforskere ansatt.

Finnes det en rolle for AI når det gjelder å gjøre data mer forståelige for folk, særlig ikke-tekniske personer?

Mo Hallaba: Absolutt. Det er jo hele virksomheten vår i Datawisp. Når det gjelder hva AI kan hjelpe med, handler det om den tekniske kompetansen som kreves for å tolke data og omforme og strukturere dem slik at du får svarene du ønsker.

AI er veldig god på dette. Tidligere var dette noe bare dataforskere kunne gjøre. Nå kan hvem som helst, også en som meg som er fullstendig ikke-teknisk, bruke et av disse AI-verktøyene, mens AI tar seg av kodedelen. Du kan ganske enkelt stille spørsmål på vanlig språk. Dermed kan alle som er litt nysgjerrige og har grunnleggende kunnskap om virksomheten eller produktet, begynne å grave i dataene.

Jeg synes det er spennende, fordi det skaper en positiv selvforsterkende effekt: Jo flere som bryr seg om data, desto mer kommer selskapet til å investere i å ha gode, ryddige data og gjøre dem tilgjengelige for folk. Dermed får selskapet enda større nytte av å ha disse dataene.

Hannah Clark: La oss snakke litt om hvordan man bruker data til iterasjon. Når du har brukt data og anvendt lærdommen på en bestemt funksjon, for eksempel, hvordan lager du en tilbakemeldingssløyfe som kan informere fremtidige versjoner av funksjonen?

Mo Hallaba: Absolutt. Jeg kan gi deg et eksempel på noe vi faktisk gjorde i Datawisp.

Når det gjelder Wispy, AI-en vår, er vi svært opptatt av hvor mange som bruker den, og enda viktigere: hvor lenge de er villige til å vente på et svar. Tidlig hadde vi muligheten til å ha en veldig rask Wispy som ga greie svar, eller en mye langsommere Wispy som ga langt bedre svar – ikke alltid mye bedre, men noen ganger.

Vi fant raskt ut, ved å se på dataene, hvor lenge folk var villige til å vente. Etter et visst punkt ser du at folk bare faller fra; de er ikke villige til å vente mer enn 30 sekunder til ett minutt. Den smarte versjonen av Wispy kunne noen ganger bruke to minutter, men selv om den ga svært gode resultater, var det ingen som satt og ventet så lenge.

Derfor bestemte vi oss for å fokusere på hastighet. Vi prøvde å gjøre Datawisp så rask som mulig. Du kan se at måltallene øker. Først brukte vi den langsomme versjonen. Deretter hadde vi en fordeling på 50/50, der halvparten fikk den ene versjonen og halvparten den andre. Til slutt gikk vi over til den raske versjonen.

Du ser at tallene øker etter hvert som vi går gjennom disse iterasjonene. Dette er den typen arbeid der Moritz, teknologidirektøren vår, og jeg satt i en samtale og utformet de små meldingene som vises mens Wispy arbeider med svaret. Hvis det tar 30 sekunder, kan du ikke bare vise en spinner i 30 sekunder, ikke sant?

Derfor hadde den meldinger som «Hei, jeg jobber fortsatt med dette» eller «Datavitenskap er vanskelig» og lignende. Vi prøvde å finne ut hvor lang tid det burde gå mellom meldingene. Så tenkte vi: «Vent litt, vi kan jo bare se på dataene.» Vi så på hvor lenge folk var villige til å vente, tilpasset intervallene etter det og lanserte funksjonen.

Det er et konkret eksempel på hvordan du itererer ved hjelp av data.

Hannah Clark: Det er veldig interessant. Jeg lurer litt på dette, fordi vi ofte snakker om å trene AI-modeller og hvordan det ser ut. Finnes det et element av å trene brukerne, siden du sier at brukerne blir utålmodige når de venter på et svar av høyere kvalitet? Det høres ut som en atferd man kan lære opp brukerne til – hvordan nærmer du deg den beslutningen?

Mo Hallaba: «Du holder den feil. Det er ikke slik du gjør det.» Husker du ikke det? Var det Steve Jobs? Han sa noe sånt som: «Du holder telefonen feil.» Det var den berømte saken da den nye iPhonen kom ut, og den hadde dårlig dekning fordi antennen var plassert et sted der hånden din kom i veien. Da gikk de bare ut og sa: «Du holder den feil.»

Du bør holde telefonen slik. Det er et eksempel på feil måte å gjøre det på. Det er den aller verste måten å gjøre det på. Generelt handler det om å avklare forventninger. Det er en kombinasjon av opplæring og forventningsavklaring. De henger sammen, men til syvende og sist har brukeren en idé om hva han eller hun ønsker.

Dermed blir det et kompromiss. Vi forstår at Datawisp er laget for ikke-tekniske personer. Den eksisterende atferden er at brukeren sender en e-post til Joe, og Joe skaffer svarene, ikke sant? Dette er allerede mennesker som ikke trenger å legge ned veldig mye arbeid for å få noe.

Det er riktignok kjipt for Joe, men det er realiteten for denne personen. Vi kan ikke be brukerne om å gjøre veldig mye arbeid. Vi kan be dem om å gjøre litt arbeid. Men hvis det blir mer enn det, må vi samtidig jobbe med markedsføring og forventningsavklaring. Hva ønsker du? Et godt svar? Når ønsker du å få svaret?

Hvor lang tid bruker Joe på å svare deg? En uke? Er det verdt å vente ett minutt på et svar fra Datawisp? 30 sekunder hadde vært fint, men ett minutt er fortsatt kortere enn en uke. Derfor gir du små hint, og du trenger en god tekstforfatter til dette – på nettstedet ditt må du avklare forventningene helt fra starten.

«Få svaret ditt på minutter, ikke uker.» Du bør ikke si sekunder, for hvis du sier sekunder, forventer folk at det skjer umiddelbart. Hvis du sier «få svar på sekunder», skaper det et misforhold mellom forventning og virkelighet. Det er morsomt, for etter alt dette sender nettstedet vårt sannsynligvis fortsatt signaler om sekunder. Men jeg mener at du i salgssamtaler må være svært tydelig med kunden og si: «Se her, hvor lang tid tar dette for deg nå?» Og når de svarer, kan du si: «Greit, vi kan gjøre det på en brøkdel av den tiden.» På den måten setter du forventningene riktig.

Hannah Clark: Ja, det er interessant. Jeg føler at det finnes en etablert atferd hos folk som er så vant til å bruke søkemotorer at de forventer at svarene skal komme umiddelbart, selv om teknologien er veldig annerledes.

Mo Hallaba: ChatGPT har også gjort folk bortskjemte, fordi mange bare tror at AI er magi. De forstår ikke i det hele tatt hvordan det fungerer. De har også sett hvor raskt det kan produsere mye tekst, for eksempel. Hvis jeg sier: «Hei, ChatGPT, lag en reiseplan for en femdagers tur til Milano», så sier den bare «Vips, ferdig».

Vanlige folk antar derfor at dette er magi, og at AI kan gjøre hva som helst raskt. Men det er en forskjell. Når du kobler deg til en database med én milliard rader, er det ikke nødvendigvis AI-en som bruker tid. Du må kjøre spørringen, og den kan ta litt tid å behandle.

Det er absolutt ingenting vi kan gjøre med det. Men fordi noen har sett at ChatGPT er veldig rask, tenker de at dette burde ta to sekunder. Derfor er noe av det Wispy gjør nå, som den ikke gjorde tidligere, at den forteller deg hvilken tilstand den er i mens den laster.

Nå sier den «Jeg tenker», og når den er ferdig med å tenke og bare venter på databasen din, sier den «Venter på databasen din». På den måten kommuniserer den hele tiden hva som skjer, slik at forventningene blir riktige gjennom hele prosessen.

Hannah Clark: Jeg kan se for meg at det er svært nyttig. Jeg tror også brukerne er så vant til at når noe laster lenger enn de synes det burde, antar de at det har gått i stykker, eller at de må sende forespørselen på nytt. Veldig interessant.

Mo Hallaba: Vi så på mye data rundt dette. Vi undersøkte hvor lang tid det tok, og først og fremst: Spor alt. Så snart du har et produkt ute i markedet, bør du begynne å spore ting. Vi sporet alt. Hver eneste knapp du kan trykke på i Datawisp, blir registrert hver gang noen trykker på den.

Dermed har vi en veldig god forståelse av hvordan alt dette fungerer. Vi gjennomførte også brukertester, og ja, vi la merke til at hvis noe lastet en stund, trykket folk bare på F5 for å oppdatere siden. Produktet må altså kommunisere hva det gjør hvis det får folk til å vente i mer enn fem sekunder.

Hannah Clark: Det gir veldig god mening. Og ja, jeg tror «spor alt» kunne vært slagordet for denne episoden.

Mo Hallaba: Spor alt brukerne gjør i produktet ditt, for det kommer til å være nyttig på et tidspunkt.

Hannah Clark: Du har allerede delt et eksempel på hvordan data informerte en beslutning, og jeg synes det var et veldig godt, konkret eksempel. Jeg er nysgjerrig på hva som er det mest triumferende eksempelet ditt på at data har informert en beslutning – enten det gjelder en kunde eller deres eget team.

Mo Hallaba: Dette skjedde ikke i Datawisp, men det mest triumferende eksempelet er fra tiden da jeg jobbet med e-sport. Vi vant faktisk en turnering basert på dette, basert på data.

Programvaren fungerte på en veldig interessant måte. Jeg kan også gi deg et eksempel fra Datawisp hvis du vil. Programvaren gjorde det mulig å filtrere data basert på ulike betingelser eller hva det måtte være. De fleste verktøyene ville gi deg varmekart.

Dette er hele kartet, og her ser du hvor motspillerne på det andre laget vanligvis oppholder seg. Hvis du ser på et varmekart for en kamp som varer én time, ser hele kartet bare grønt ut. Men det er ikke nyttig. Hvis jeg er midt i en kamp og hele kartet er grønt, forteller det meg ikke hvor motspillerne befinner seg.

Det som var virkelig interessant, var at du kunne bryte dette ned etter situasjon. Hvor befinner de seg i første runde av kampen? Hvor er de når de har så og så mye penger? Hvor er de når de ikke har penger? Hvor står de når de har disse våpnene, sammenlignet med når de har andre våpen?

Da kan du begynne å lage disse scenarioene der varmekartet plutselig bare består av fem røde prikker, og du vet nøyaktig hvor motstanderen din er. Du kan bruke dette i konkurranser, og laget brukte det til å vinne med det laveste lønnsbudsjettet av alle lagene i konkurransen.

Det var utrolig.

Hannah Clark: Fantastisk. Jeg er sikker på at noen innen e-sport sikler etter dette akkurat nå.

Mo Hallaba: Det beste eksempelet jeg kan gi fra Datawisp, er at vi hjalp et spill med å tredoble brukerbasen på svært kort tid. De gjorde det ved å segmentere brukerne basert på hvilken kilde de ble skaffet gjennom.

Deretter så de etter bestemte handlinger i spillet som de verdsatte høyere enn andre. De klarte å finne ut at når de skaffet brukere gjennom denne kanalen, oppførte de seg i spillet på den måten selskapet ønsket. Dermed kunne de konsentrere innsatsen om bestemte kanaler for brukeranskaffelse som de foretrakk.

Selskapet heter Honeyland. Vi laget en kundehistorie sammen med dem. Den ligger på nettstedet vårt. Det var veldig spennende.

Hannah Clark: Ja, det er veldig interessant. Det vil jeg gjerne se nærmere på.

Mo, tusen takk for at du ble med oss i dag. Hvor kan folk følge deg på nettet?

Mo Hallaba: Hvis du er på X, finner du meg som ElectronicMo. Ellers kan du følge meg på LinkedIn. Der bruker jeg bare navnet mitt. Det samme gjelder Datawisp, så du kan følge Datawisp på X og LinkedIn.

Hannah Clark: Flott. Tusen takk for at du ble med oss, og takk for lynkurset. Det var svært tilgjengelig for ikke-tekniske personer som meg.

Mo Hallaba: Jeg prøver å gjøre det enkelt. Tusen takk for invitasjonen, Hannah.

Hannah Clark: Takk for at du lyttet. For flere gode innsikter, veiledninger og verktøyanmeldelser kan du abonnere på nyhetsbrevet vårt på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved å abonnere på The CPO Club der du hører på podkaster.