Data for begyndere: Lynkursus for ikke-tekniske produktchefer

Læs transskriptionen:

Vi prøver at transskribere vores podcasts ved hjælp af et softwareprogram. Bær over med eventuelle stavefejl, da botten ikke har ret 100 % af tiden.

Hannah Clark: Kan vi være ærlige om noget? Denne branche er en lille smule besat af at være datadrevet. Nej, det er ikke den ærlige del, det vidste du allerede. Den ærlige del er, at ikke alle os faktisk er særligt gode til data. Og hvis du er den slags person, der er ret ferm med et analyse-dashboard, arbejder du måske ikke altid med de rigtige former for indsigter til at vise hele billedet.

Min gæst i dag er Mo Hallaba, administrerende direktør for Datawisp, som, hvis du ikke kender det, er et AI-drevet værktøj til datavisualisering. Med denne position har Mo et unikt perspektiv på forskellen mellem den mængde data, de fleste organisationer indsamler, og hvor effektivt de faktisk bruger dem. Desuden må jeg sige, at jeg sjældent taler med mennesker, der er så intelligente, at de kan tage meget komplekse emner og gøre dem tilgængelige for alle. Men heldigvis for dig og mig er det præcis, hvad denne samtale handler om. Lad os gå i gang.

Velkommen tilbage til The CPO Club Podcast. Mo, tusind tak, fordi du havde tid til at være med i dag.

Mo Hallaba: Tak, fordi jeg måtte være med. Jeg glæder mig til at være her og tale om AI og data og alle de andre modeord også.

Hannah Clark: Det glæder vi os også til.

Kan du fortælle os lidt om din baggrund og om, hvordan du er nået dertil, hvor du er i dag hos Datawisp?

Mo Hallaba: Absolut. Det bliver en lang historie, men bær over med mig. Jeg begyndte min karriere inden for finans, med aktieanalyse, hvor jeg fortalte folk, hvilke aktier de skulle købe og den slags. Det indebar en masse research og manuelt dataarbejde, som var helt utrolig besværligt.

Jeg gik videre derfra og arbejdede med virksomheders fusioner og opkøb i et stykke tid. Det var mere af det samme, men fra et andet perspektiv. I stedet for at fortælle folk, hvad de skulle købe, gennemførte vi opkøb. Og i forbindelse med disse opkøb lavede vi også en masse af vores egen research. Igen skulle vi grave os gennem bjerge af data.

Til sidst blev jeg træt af det og besluttede, at jeg ville ud og lave noget på egen hånd. Jeg ville starte en virksomhed. Jeg har altid været meget passioneret omkring computerspil, så jeg tænkte, at jeg ville lave noget inden for det område. Derfor startede jeg en spilvirksomhed, som fuldstændig mislykkedes, nærmest katastrofalt, men undervejs mødte jeg nogle mennesker, der arbejdede på noget virkelig spændende: et e-sportshold. De købte spillere fra ukendte regioner og den slags, men de brugte software til at træne dem ved hjælp af data og analyser.

Det syntes jeg var virkelig interessant. Det var som Moneyball for computerspil. Derfra voksede det til noget i sig selv, fordi nogle af de andre hold ønskede det, og nogle af de andre turneringsarrangører ville vise det på skærmen og fremvise statistikker. Det var sådan, jeg gik fra at arbejde inden for finans til at arbejde i en dataanalysevirksomhed.

Til sidst besluttede vi os for at vokse ud over computerspil. Så nu arbejder vi fuldt ud med analyser.

Hannah Clark: Fantastisk. Vi går i dybden med det om et øjeblik. Det er faktisk en perfekt overgang.

I dag skal vi tale om, hvordan man virkelig kan bruge data til at kvalificere sine beslutninger. Til at starte med er jeg nysgerrig på, hvad du mener, mange organisationer tager fejl af, når det gælder såkaldt “datadrevet” beslutningstagning? Jeg ved, at det begreb kan være lidt kontroversielt.

Mo Hallaba: Ja, jeg tror, der er mange derude, som forventer, at data træffer beslutningerne for dem – altså datadrevet beslutningstagning. Og ja, nogle områder er meget tekniske, og man har dataforskere og beslutninger, der i høj grad er drevet af data, men det er ikke det, vi beskæftiger os med.

Det er ikke det, Datawisp er til for. Vi handler meget mere om datainformeret beslutningstagning. Det betyder, at man tager beslutninger, man ville have truffet uden data, og ganske enkelt får adgang til data, man kan se på, så man er bedre informeret, når man træffer beslutningen. Et eksempel kunne være: Hvor skal vi placere denne knap i vores brugerflade?

Skal vi placere den heroppe? Skal vi placere den dernede? Skal vi overhovedet flytte den? Hvis du kan se, at dine konverteringsrater – altså folk, der kommer ind på din hjemmeside og derefter farer vild på din forside – er lave, vil du måske flytte knappen, ikke? Men hvis du opdager, at 90 % af folk kommer ind på din side og klikker på knappen, behøver du ikke bekymre dig om det. Det er små ting som det, hvor du i stedet for at gætte nu bliver klogere ved hjælp af data. Det er datainformeret.

Hannah Clark: Ja, jeg foretrækker også data – beklager, datainformeret. Min canadiske baggrund skinner igennem.

Kan du fortælle os lidt om, hvordan datavisualisering kan hjælpe os med at demokratisere forståelsen og brugen af data i organisationer?

Mo Hallaba: Absolut. Jeg tror ikke, at alle er talmennesker, især når man taler om ikke-tekniske personer.

Når man ser på mere kreative områder eller produktchefer eller hvad som helst, forstår nogle mennesker ganske enkelt data bedre, når de ser det visualiseret som et billede foran sig. Det er én ting at sige, at dette mønster ændrer sig over tid. Det er noget andet bare at vise nogen en graf, hvor de kan se, hvordan KPI’en udvikler sig over tid.

Hvis du så har en hovedgren og en ny gren, som bevæger sig sammen, og data på et tidspunkt deler sig i en retning, kan du meget nemt se på grafen og tænke: Hvad skete der i juli? I stedet for at kigge på en tabel, kvartalsopgørelser eller noget i den stil. At visualisere data, især for ikke-tekniske personer, gør det efter min mening meget lettere at vide, hvilke spørgsmål man skal stille som det næste.

Hannah Clark: Ja, som selverklæret ikke-talmenneske støtter jeg i høj grad visualisering af data.

Hvilke måder kan organisationer bruge til at beskytte sig mod fejlagtig fortolkning af data, nu vi taler om det, så beslutningstagerne har en klar forståelse af datapunkterne?

Mo Hallaba: Mange ser på AI og tænker: AI kommer til at erstatte mennesker. Det er ikke vores tilgang. Vi forsøger at fjerne noget af det rutinearbejde og den slags, der skaber flaskehalse for dataforskere. En god måde at beskytte sig mod det på er at have en dataforsker på holdet eller ansætte nogen, der faktisk ved, hvad de laver. Forskellen er, at man kan nøjes med én eller to dataforskere i stedet for ti, hvis man har god software, der giver folk mulighed for at gøre det, man grundlæggende gerne vil eliminere: behovet for tekniske færdigheder for at kunne analysere data.

Jeg burde ikke skulle skrive SQL for at kunne få en graf, men det betyder ikke, at jeg bare skal træffe beslutninger ud fra grafen uden at forstå, hvad dataene betyder. Når man fjerner den tekniske barriere, giver man folk mulighed for at bruge mere tid sammen med data, og de kan blive bedre uddannet i, hvordan data bør bruges.

De får dermed mere tid til at tale med en dataforsker for at forstå, hvad dataene viser og ikke viser, bare for at nævne et eksempel. Der kan være variabler, der er korrelerede med hinanden på grund af kausalitet eller hvad det nu måtte være. Men grundlæggende er det bedste middel til at undgå det at have et menneske med i processen.

Så uanset om det er en dataforsker eller din bedste ingeniør, mener jeg stadig, at hvis valget står mellem ikke at gøre noget og at gøre noget, bør du stadig gøre noget.

Hannah Clark: Hvad er din fremgangsmåde til at opdele data i kontekstuelle dele? Kan du dele en anekdote om, hvordan det ser ud i praksis?

Mo Hallaba: Det kan jeg. Efter min mening er den bedste måde at tænke på det at se på, hvad dine forretningsmål er. Det handler ikke bare om at arbejde med data i et tomrum. Grunden til, at vi gør alt dette med data, er, at vi prøver at forstå noget om vores virksomhed, som vi ikke vidste, før vi kiggede på dataene, ikke?

Det afhænger normalt af forretningsspørgsmålet. Hvis spørgsmålet er, om vores vejledning er nyttig, og vi forsøger at finde ud af, hvor god vores vejledning er, kunne en måde at opdele dataene på være at se på personer, der har brugt vores vejledning, og personer, der ikke har gennemført den. Derefter kan man se på afgangsrater eller opdele hele datasættet efter personer, der har gennemført vejledningen, og personer, der ikke har, og se, hvordan de adskiller sig. Måske er der ingen forskel.

Så siger vi enten, at vejledningen ikke er effektiv, eller at appen er så nem at bruge, at folk ikke har brug for vejledningen, ikke? Men hvis du ser, at de personer, der gennemfører vejledningen, i gennemsnit bruger produktet meget mere, er langt mere effektive med det og bliver længere, kan du tænke: Måske er der faktisk noget ved den her vejledning. Det afhænger altså af, hvad du forsøger at løse til at begynde med.

Hannah Clark: Det er et virkelig tydeligt eksempel. Det sætter jeg stor pris på.

Du har tidligere talt om forskellen mellem handlingsanvendelige og ikke-handlingsanvendelige data. Kan du fortælle lidt om, hvad du mener med hver af disse ting? Hvad er handlingsanvendelige data? Hvad er ikke-handlingsanvendelige data? Og hvordan identificerer og udnytter vi begge typer effektivt?

Mo Hallaba: Det handler mere om, hvordan du kan handle på baggrund af de indsigter, du får. Det er ikke sådan, at dataene i sig selv er anderledes. Det handler mere om, hvilke muligheder du har. Jeg vil prøve at give et eksempel.

Hvis du for eksempel ser på Datawisp, har vi en salgstragt. Vi arbejder med markedsføring. Vi prøver at tiltrække folk. De kommer ind, bliver introduceret, bruger appen, kan lide den eller kan ikke lide den. Derefter falder de fra, eller også gør de ikke. Jo højere oppe i tragten du er, jo mere kan du på en måde gøre.

Hvis ingen booker en demonstration, tænker du måske, at knappen ikke er stor nok, at landingssiden ikke er overbevisende, eller at I har brug for en ny grafik. Men hvis nogen logger ind, booker en demonstration, taler med os, prøver produktet, stiller en masse spørgsmål og derefter falder fra, tænker du måske, at de ikke kunne lide det.

Eller måske løste det ikke deres behov. Det er langt mindre handlingsanvendeligt end nogle af de ting, der ligger længere oppe. Det handler altså om, hvad du kan gøre på baggrund af informationen. Nogle ting er tydeligere end andre. Hvis det er en tragt, hvor man går fra trin et til trin to, og man ser et frafald på 50 % ved trin tre, kan man lave en liste over ting, der kan have forårsaget frafaldet fra det ene trin til det andet, og derefter gå i gang med dem. Men når man når helt til slutningen, og folk bare bruger produktet og alt det der, bliver det meget sværere at sige:

Okay, de faldt fra på grund af X? For på det tidspunkt ved man det ikke. Måden at finde ud af det på er at lave flere kundeinterviews og se folk bruge produktet. Der findes også andre værktøjer til det.

Hannah Clark: Hvilke værktøjer kan produktteams bruge til at blive bedre til at indsamle og fortolke nogle af deres brugerdata, så de kan kvalificere de beslutninger, de træffer?

Mo Hallaba: Det afhænger af situationen. Der findes en masse forskellig software, man kan bruge, og det afhænger virkelig af, hvilken slags produkt man bygger. Hvis du bygger et spil, er det meget anderledes, end hvis du bygger en hjemmeside eller en e-handelsplatform eller hvad som helst. Men du har brug for noget, der indsamler hændelser eller registrerer, når der sker noget, og gemmer dem et sted, hvor det er nemt at analysere dem.

Hvis du bygger et spil, findes der ideelt set Unity-udvidelser, der kan registrere hændelser, som sker i spillet, og gemme dem i Snowflake. Hvis du kan få noget, der gør det, bliver det meget lettere rent faktisk at begynde at analysere dataene. Det er det grundlæggende krav. Til e-handel og den slags findes der en masse branchespecifikke løsninger, der gør den slags. Så jeg vil sige, at det afhænger af, hvad du bygger.

Hannah Clark: Hvad angår AI og AI’s rolle i at hjælpe med selve fortolkningen af data, nævnte du, at det bedste valg er at have en eller flere dataforskere ansat.

Er der en plads til AI, når det handler om at hjælpe med at få data til at give mere mening for folk, især ikke-tekniske personer?

Mo Hallaba: Absolut. Det er jo hele vores forretning hos Datawisp. Hvad AI kan hjælpe med, er den tekniske kunnen, der kræves for at kunne fortolke data og omdanne og forme dem, som man ønsker, for at få de svar, man gerne vil have.

AI er virkelig god til det. Det er noget, som kun dataforskere kunne gøre før i tiden. Men nu kan alle, inklusive mig, som er fuldstændig ikke-teknisk, bruge et af disse AI-værktøjer, og AI’en klarer bare kodningsdelen. Man kan stille spørgsmål på almindeligt sprog. Alle med en smule nysgerrighed og en grundlæggende forståelse af virksomheden eller produktet kan begynde at grave i data.

Jeg synes, det er spændende, fordi det skaber en slags positiv spiral: Jo flere mennesker der interesserer sig for data, desto mere vil virksomheden investere i at have gode, rene data og gøre dem tilgængelige for folk og alt det der. Og så får virksomheden endnu mere ud af at have det.

Hannah Clark: Lad os tale lidt om at bruge data til iteration. Når man for eksempel har anvendt data og læring på en bestemt funktion, hvordan skaber man så en feedbacksløjfe, der kan kvalificere fremtidige iterationer af funktionen?

Mo Hallaba: Absolut. Jeg vil give dig et eksempel på noget, vi faktisk gjorde hos Datawisp.

Med Wispy, vores AI, går vi meget op i, hvor mange mennesker der bruger den, og endnu vigtigere hvor længe de er villige til at vente på et svar. Tidligt havde vi mulighed for at have en meget hurtig Wispy, der gav okay svar, eller en meget langsommere Wispy, der gav langt bedre svar – ikke altid langt bedre, men nogle gange langt bedre.

Vi fandt hurtigt ud af ved at se på data, hvor længe folk var villige til at vente. Efter et vist punkt falder folk bare fra; de er ikke villige til at vente mere end 30 sekunder til et minut. Vores smarte version af Wispy kunne nogle gange tage to minutter, men den gav virkelig spændende resultater, og ingen ville sidde og vente på det.

Derfor besluttede vi, at vi ville fokusere på hastighed. Vi forsøgte at gøre Datawisp så hurtig som muligt. Man kunne se målingerne stige. Først havde vi den langsomme version. Derefter havde vi en fordeling på 50/50, hvor halvdelen fik den ene og halvdelen den anden. Til sidst gik vi over til den hurtige version.

Man kunne se tallene stige, efterhånden som vi gennemførte denne iteration. Det er den slags, hvor Moritz og jeg – Moritz er vores teknologidirektør – sad i et opkald og designede de små beskeder, der vises, mens Wispy arbejder på svaret. Hvis det tager 30 sekunder, kan man jo ikke bare vise en spinner i 30 sekunder.

Derfor havde den beskeder som: Jeg arbejder stadig på det, eller data science er svært, eller hvad det nu kunne være. Vi forsøgte at finde ud af, hvor lang tid der skulle gå mellem beskederne. Så tænkte vi: Vent, vi kan jo bare se på data. Vi så på, hvor længe folk var villige til at vente, fordelte beskederne efter det og lancerede funktionen.

Det er et konkret eksempel på, hvordan man itererer ved hjælp af data.

Hannah Clark: Det er virkelig interessant, og jeg spekulerer lidt på, fordi vi ofte taler om at træne AI-modeller og om, hvordan det ser ud. Er der et element af at træne brugerne – for når du siger, at brugerne bliver utålmodige, når de venter på et svar af højere kvalitet, virker det som en adfærd, man kan træne. Hvordan griber I den beslutning an?

Mo Hallaba: Du holder den forkert. Sådan gør man ikke. Kan du ikke huske det? Var det Steve Jobs? Det var noget med: Du holder telefonen forkert. Det var den berømte sag, hvor den nye iPhone kom ud og ikke fik god forbindelse, fordi antennen var placeret et sted, hvor ens hånd var, og så sagde de bare: Du holder den forkert.

Du skal holde telefonen sådan her. Det er et eksempel på den forkerte måde at gøre det på. Det er den absolut værste måde. Generelt handler det om at afstemme forventninger. Det er en blanding af oplysning og forventningsafstemning. De to ting hænger sammen, men i sidste ende har brugeren en idé om, hvad de vil have.

Det ender derfor som et kompromis. Vi forstår, at Datawisp er lavet til ikke-tekniske personer. Den eksisterende adfærd er: Jeg sender en e-mail til Joe, og Joe skaffer mig svarene. Det er altså allerede mennesker, som ikke behøver lægge særlig meget arbejde i at få noget.

Det er synd for Joe, men det er virkeligheden for denne person. Vi kan ikke bede dem om at udføre en masse arbejde. Vi kan bede dem om at gøre en lille smule. Men hvis det er mere end det, handler det samtidig om markedsføring og forventningsafstemning. Hvad vil du have? Et godt svar? Hvornår vil du have svaret?

Hvor lang tid tager det Joe at svare dig? En uge? Er det værd at vente et minut på at få et svar fra Datawisp? 30 sekunder ville være rart, men et minut er stadig kortere end en uge. Man skal altså give små hints, og man har brug for en god tekstforfatter til det, for eksempel på hjemmesiden, så forventningerne bliver afstemt helt fra begyndelsen.

Få dit svar på minutter, ikke uger. Man bør ikke skrive sekunder, for hvis man skriver sekunder, forventer folk, at det sker med det samme. Hvis du siger, at man får et svar på sekunder, skaber det et misforhold mellem forventning og virkelighed. Det er sjovt, for jeg siger alt det her, og vores hjemmeside skriver sikkert stadig sekunder. Men på salgssamtaler skal man være meget ærlig over for kunden og sige: Hvis det her normalt tager dig så lang tid – og så fortæller de dig det – kan man sige, at vi kan gøre det på en brøkdel af den tid. På den måde afstemmer man forventningerne lidt.

Hannah Clark: Ja, det er interessant. Jeg føler, at der findes en eksisterende adfærd hos folk, der er så vant til at bruge søgemaskiner, at svar bør komme øjeblikkeligt, selv om teknologien er meget anderledes.

Mo Hallaba: ChatGPT har også forkælet folk, fordi de tror, at AI er magi. De forstår slet ikke, hvordan det fungerer. De har også set, hvor hurtigt det kan producere en masse tekst. Hvis jeg siger: ChatGPT, skriv en rejseplan til en femdagesrejse til Milano, så svarer den bare: Værsgo, færdig.

Almindelige mennesker antager derfor bare, at det er magi, og at det kan gøre alting hurtigt. Men der er en forskel. Når man forbinder sig til en database, og databasen indeholder en milliard rækker data, er AI’en ikke engang den del, der tager tid. Man skal køre forespørgslen, og den kan tage tid at behandle.

Der er absolut intet, vi kan gøre ved det. Men fordi nogen har set ChatGPT være virkelig hurtig, tænker de, at det burde tage to sekunder. Derfor gør Wispy nu noget, den ikke gjorde tidligere: Når den arbejder, fortæller den faktisk, hvilken tilstand den er i.

Nu siger den først: Jeg tænker. Når den er færdig med at tænke og bare venter på din database, siger den: Venter på din database. På den måde kommunikerer den hele tiden, hvad der sker, så forventningerne bliver afstemt under hele processen.

Hannah Clark: Jeg kan se, at det kan være virkelig nyttigt. Jeg tror også, at brugere er meget indlært i, at når noget viser en spinner i det, de oplever som for lang tid, antager de, at det er gået i stykker, eller at de skal sende anmodningen igen. Det er meget interessant.

Mo Hallaba: Vi kiggede på en masse data om det. Først og fremmest skal man registrere alt. Så snart man har et liveprodukt, skal man begynde at registrere ting. Vi registrerede alt – hver eneste knap, man kan trykke på i Datawisp, registrerer vi, hver gang nogen trykker på den.

Vi har derfor en virkelig god idé om, hvordan alt det her fungerer. Vi lavede også brugertests, og ja, vi lagde mærke til, at hvis noget viste en spinner i et stykke tid, opdaterede folk siden med F5. Produktet skal virkelig kommunikere, hvad det foretager sig, hvis det får folk til at vente i mere end fem sekunder.

Hannah Clark: Det giver rigtig god mening. Og ja, jeg tror, at registrer alt kunne være sloganet for denne episode.

Mo Hallaba: Ja, registrer alt, hvad dine brugere gør i dit produkt, for det bliver nyttigt på et tidspunkt.

Hannah Clark: Jeg ved, at du allerede har delt et eksempel på, hvordan data kvalificerede en beslutning. Jeg synes, det var et virkelig godt, konkret eksempel. Jeg er nysgerrig på, hvad det mest triumferende eksempel på, at data kvalificerede en beslutning, er – uanset om det handler om en kunde eller dit eget team.

Mo Hallaba: Det var ikke hos Datawisp, men det mest triumferende eksempel er fra dengang, jeg fortalte, at jeg arbejdede med e-sport. Vi vandt bogstaveligt talt en turnering på baggrund af dette, på baggrund af data.

Den måde, softwaren fungerede på, var faktisk virkelig cool. Jeg kan også give dig et Datawisp-eksempel, hvis du vil. Softwaren gjorde det muligt at filtrere data baseret på forskellige betingelser og den slags. De fleste værktøjer ville give dig varmekort.

Her er hele kortet, og her er det sted, hvor spillerne på det andet hold normalt opholder sig. Hvis man ser på et varmekort over en en time lang kamp, ser det bare grønt ud overalt. Men det er ikke nyttigt. Hvis jeg er midt i et spil, og hele kortet er grønt, fortæller det mig ikke, hvor de er.

Det virkelig spændende var, når man begyndte at opdele det efter situation. Hvor er de i første runde af spillet? Hvor er de, når de har så mange penge? Hvor er de, når de ikke har penge? Hvor står de, når de har disse våben, sammenlignet med når de har andre våben?

På den måde kan man skabe scenarier, hvor varmekortet pludselig kun viser fem røde prikker, og så ved man præcis, hvor modstanderen er. Man kan bruge den slags i konkurrencer, og de brugte det til at vinde med det laveste lønbudget af alle holdene i konkurrencen.

Det var helt utroligt.

Hannah Clark: Det er fantastisk. Jeg er sikker på, at nogle e-sportsfolk sidder og savler over det lige nu.

Mo Hallaba: Det bedste Datawisp-eksempel, jeg kan give dig, er, at vi hjalp et spil med stort set at tredoble sin brugerbase på meget kort tid. Det gjorde de ved at segmentere brugerne efter, hvilken kilde de var blevet skaffet gennem.

Derefter ledte de efter bestemte adfærdsmønstre i spillet, som de satte større pris på end andre. De fandt ud af, at når vi skaffer brugere gennem denne kanal, opfører de sig i spillet på den måde, vi gerne vil have. Derfor kunne de fokusere deres indsats på bestemte kanaler, som de foretrak.

Virksomheden hedder Honeyland. Vi lavede en case med dem. Den ligger på vores hjemmeside. Det var virkelig spændende.

Hannah Clark: Ja, det er virkelig interessant. Den vil jeg gerne se nærmere på.

Mo, tusind tak, fordi du ville være med i dag. Hvor kan folk følge dig online?

Mo Hallaba: Hvis du er på X, hedder jeg ElectronicMo. Ellers kan du følge mig på LinkedIn. Der bruger jeg bare mit navn. Det samme gælder Datawisp, så du kan følge Datawisp på X og LinkedIn.

Hannah Clark: Fantastisk, tusind tak, fordi du ville være med, og tak for lynkurset. Det var meget tilgængeligt for ikke-datafolk som mig.

Mo Hallaba: Jeg prøver at gøre det enkelt. Tusind tak, fordi jeg måtte være med, Hannah.

Hannah Clark: Tak, fordi du lyttede med. Hvis du vil have flere gode indsigter, vejledninger og værktøjsanmeldelser, kan du abonnere på vores nyhedsbrev på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved at abonnere på The CPO Club, uanset hvor du hører dine podcasts.