Hvordan kan generativ AI gøre analyse mere tilgængelig for produktteams?

Læs transskriptionen:

Vi prøver at transskribere vores podcasts ved hjælp af et softwareprogram. Bær over med eventuelle tastefejl, da botten ikke er korrekt 100 % af tiden.

Hannah Clark: Uanset om du foretrækker udtrykket datadrevet, datainformeret eller dataforblændet, er det ligegyldigt – nutidens teknologi kan ikke fungere uden datasæt af høj kvalitet OG værktøjerne til at bruge dem effektivt. Men vi har heller ikke råd til at betragte data som ansvaret for blot én eller to afdelinger i organisationen. I stedet skal vi gå ind i 2025 med en tilgang, hvor data demokratiseres. Med andre ord er vores virksomhed vores kunder, så det, vores kunder siger, bør være alles ansvar.

Min gæst i dag er Mario Ciabarra, grundlægger og administrerende direktør for Quantum Metric. Quantum er en analyseplatform drevet af generativ AI, som gør det muligt for virksomheder at omsætte data til nyttig indsigt for forskellige interessenter, så alle – fra den nyansatte produktdesigner til virksomhedens grundlægger – kan integrere empati for kunderne i enhver beslutning. Vi talte om, hvordan det fungerer i praksis, overvejelser om datahygiejne og nogle forudsigelser om, hvordan generativ AI vil drive udviklingen inden for analyse i år og fremover. Lad os komme i gang.

Velkommen tilbage til The CPO Club-podcasten. I dag er vi sammen med Mario Ciabarra.

Mario, tak fordi du har fundet tid i din travle kalender til at tale med os i dag.

Mario Ciabarra: Hannah, det er en fornøjelse. Tak fordi du inviterede mig.

Hannah Clark: Lad os begynde, som vi altid gør. Kan du fortælle lidt om din baggrund, og hvordan du endte, hvor du er i dag hos Quantum Metric?

Mario Ciabarra: Ja, det vil jeg gerne. Hvis man ser tilbage på min barndom, kunne man måske have set tegnene på, at jeg en dag ville blive iværksætter.

Jeg har altid været passioneret omkring software, computerteknik og softwareudvikling. At finde ud af, hvordan vi gør oplevelser bedre, endte naturligt i centrum af den passion.

Det begyndte med spørgsmål som: Hvordan gør jeg ting hurtigere og mere effektive? Men jeg indså, at man godt kan gøre noget hurtigt, uden at det dermed er godt. Hvordan skaber man gode oplevelser for alle målgrupper – fra min 13-årige datter til min 87-årige far, som har forskellige behov?

Hvordan sikrer vi, at vores oplevelser fungerer for alle?

Hannah Clark: Jeg vil gerne tale lidt med dig om din tilgang til ledelse, for du har haft en lang karriere, og du har tidligere nævnt, at din passion har udviklet sig fra produkt og teknik til at fokusere på mennesker og empati. Hvordan har det påvirket din tilgang til ledelse?

Mario Ciabarra: Når jeg tænker på virksomheden, nærmer januar sig, og det markerer mit tiårsjubilæum hos Quantum. Hvis du havde spurgt mig for otte eller ni år siden, hvad jeg brændte for hos Quantum, ville svaret helt klart have været at skabe produkter. Det er stadig min passion i dag, men noget ændrede sig.

Det er min fjerde virksomhed. De andre virksomheder var små, typisk med én til tre personer, hvor vi byggede produkter og forbedrede dem, indtil de lykkedes. Det gik op for mig, at Quantum nu har over 400 medarbejdere. Jeg behøvede ikke vente, til vi blev hundredvis; allerede da vi blev et dusin, indså jeg, at succesfulde virksomheder bygges på baggrund af teamet.

Man skal have et fantastisk team, og den administrerende direktør, grundlæggeren og lederen af organisationen er ansvarlig for at lede teamet. Man kan have alle de gode produkter, man vil, men hvis tingene ikke fungerer sammen, lykkes det ikke. Ægte succes handler derfor om menneskeledelse og investering i mennesker.

Derfor er vores første virksomhedsmål glade mennesker og en sund og mangfoldig kultur. Det andet er at gøre kunderne til begejstrede fans. Det tredje handler om at opnå økonomisk succes i året. De første to ændrer sig ikke fra år til år, mens vi naturligvis flytter målstolperne for det tredje mål.

Nogle mennesker og organisationer vender det om. De fokuserer på at vinde en økonomisk målsætning. Men jeg tror ikke, man kan nå dertil uden glade medarbejdere og kunder, der er begejstrede fans. Jeg ønsker naturligvis økonomisk succes, men vi skal fokusere på vores mennesker og på at levere værdi til de kunder, der har vist os tillid.

Hannah Clark: Og empati er naturligvis en stor del af det. I dag fokuserer vi på generativ AI, og hvordan det kan gøre analyse mere tilgængelig for produktteams.

Før vi går ind i selve diskussionen, vil jeg tale om at styrke empati i stor skala, når man skal tage højde for så mange brugere. Hvordan ser du analyser spille en rolle i at fremme empati på tværs af en stor brugerbase?

Mario Ciabarra: Hvis man kun skulle betjene et encifret antal mennesker med sit produkt eller sin service, ville analyse ikke være særlig nyttig. Man kunne bare hjælpe personen direkte eller tage en samtale med de to kunder, man havde.

Når to kunder bliver til to millioner, opstår erkendelsen: Jeg kan ikke tale med alle to millioner. Jeg har brug for analyser for at forstå kunden. Derfor tænker jeg i stigende grad mindre på at spørge og mere på at lytte.

Det er det, analyse er: at lytte gennem data. Når jeg tænker på traditionel analyse, ser jeg ofte et diagram på en skærm. Det er fint, men skaber det empati? For mig opstår empatien, når jeg kan forbinde diagrammet med virkelige mennesker.

Jeg har set det i øjnene på vores kunder og medarbejdere. Det handler om at forbinde diagrammet med de brugere, det repræsenterer. Det er grundlaget for det, Quantum er blevet: Hvordan forbinder jeg oplevelser med information og skaber empati, så vi kan handle og skabe forandring?

Hannah Clark: Jeg elsker også det citat. Det handler om at lytte. Vi tænker ikke ofte på empati, når vi tænker på analyse, men analyser gør det faktisk muligt for teams at forstå, hvad brugerne forsøger at fortælle os.

Fortæl lidt om generativ AI, og hvordan det kan gøre produktanalyse mere tilgængelig for teams, så de bedre kan forstå, hvad brugerne siger.

Mario Ciabarra: Tidligt i Quantums rejse talte jeg med en dygtig produktleder i detailbranchen. Efter vores formelle møde sagde han: “Mario, du ville ikke forstå den skyldfølelse, produktchefer føler over ikke at bruge data nok.”

Det har hængt ved mig i syv år. Hvordan gør vi data tilgængelige, så folk ikke føler skyld over ikke at bruge dem? Hvordan gør vi data nemme at indtage, så folk kan bruge lytteevnen i stor skala og træffe de rigtige beslutninger for både virksomheden og kunderne?

Det er svært. Man har sit daglige arbejde og vil gerne bruge data, men det virker overvældende at finde de rigtige data, der taler til det problem, man forsøger at løse. Data findes måske 16 forskellige steder i forskellige værktøjer, og man ved ikke, hvilket værktøj der kan besvare det rigtige spørgsmål. Til sidst giver man op og følger sin intuition.

Vi har derfor hele tiden forsøgt at gøre data lettere at tilgå. Vores oprindelige grundidé var: Vi gør analyse enkelt. Vi forsøger altid at gøre det mere enkelt og mere tilgængeligt for marketingfolk, produktejere, merchandisere, DevOps-medarbejdere, ledere og analyseteams.

Alle disse teams har brug for adgang til oplysninger om, hvad der sker set fra kundens perspektiv, og hvordan det kan blive bedre. Generativ AI kommer ind i billedet, når vi spørger: Hvilke opgaver forsøger disse teams at udføre for at forstå dataene?

Mange produktledere bruger tid på at se optagelser af brugeres sessioner og rejser. De opdager spændende ting, men problemet er, at det er langsomt og monotont. Jeg har altid moret mig, når folk siger, at de holder filmaften med popcorn, mens de ser brugere navigere i en time foran et konferencelokale. Det er værdifuldt, men ikke en god anvendelse af tiden.

Hvad nu hvis generativ AI kunne se optagelserne for os? Generativ AI er god til at opsummere ting. Hvad nu hvis vi kunne bruge dens evner til at opsummere en brugers rejse?

Vi lancerede Felix AI i slutningen af februar eller begyndelsen af marts 2024. Forretningen er accelereret hvert kvartal, fordi flere teams får adgang til at forstå, hvad der fungerer og ikke fungerer for brugeren. Det sker i stor skala. Hvis det tager 20 minutter at forstå én bruger, og man har to millioner brugere, fungerer det ikke. Hvis det tager to sekunder at forstå én bruger, bliver det pludselig muligt.

Generativ AI kan også hjælpe med at oprette segmenter. Hvis én bruger har problemer, repræsenterer det så én bruger eller ti millioner? AI kan hjælpe med at finde ud af det automatisk. Det giver adgang til at lytte til en større gruppe mennesker.

Vi er meget begejstrede for, hvordan generativ AI kan gøre det muligt for mennesker at lytte bedre.

Hannah Clark: Der er et stort pres på produktchefer for at være eksperter i data og stille de rigtige spørgsmål til de rigtige kilder. Hvor let er det egentlig at bruge generativ AI til at analysere data i platformen?

Mario Ciabarra: Et af mine yndlingseksempler viser værdien af at forbinde information med forskellige målgrupper. Tænk på sidste gang, du ringede til din bank, dit teleselskab, din sundhedsudbyder eller dit flyselskab. Du ringede sandsynligvis først, efter at du havde forsøgt at klare det selv på deres app eller hjemmeside.

Når selvbetjeningen ikke virker, ender du ofte i et telefonisk menusystem, hvor du trykker dig gennem flere valgmuligheder. Virksomheden har allerede samlet data om, hvad du gjorde på hjemmesiden eller i appen, men har ikke kunnet aktivere den information i kundecenteret.

Generativ AI kan opsummere Hannahs rejse på to sekunder. I stedet for at spørge hende, hvad der skete, kan medarbejderen få at vide, at hun forsøgte at se sin dækning i appen, men fik en fejl. Så kan hun sendes direkte til den rette ekspert.

Det samme gælder produktchefen, der forsøger at forstå, hvorfor en bruger ikke konverterede, tilmeldte sig, bestilte en flyrejse eller ændrede sin adresse. Hvordan forstår man hvorfor’et bag rejsen? Det kræver ofte sessionsafspilninger, logfiler og flere forskellige værktøjer. Quantum gør denne forståelse tilgængelig på få sekunder ved hjælp af generativ AI.

Det er vigtigt at forstå den enkelte bruger, men også at vide, om et friktionspunkt repræsenterer et lille eller stort problem. Jeg hørte for nylig en person bruge udtrykket “operationel produktchef”. Det betyder at bruge data til at forstå, hvad der fungerer for kunden i realtid, og løbende tilpasse sig for at sikre tilfredse kunder.

Man bør ikke afslutte en lancering og straks gå videre til næste sprint. Man skal bruge data til at vurdere, om ændringen eller eksperimentet havde den ønskede effekt. Data kan vise, om man traf en god eller dårlig beslutning, og om man skal ændre sin tilgang.

Hannah Clark: Mange produktchefer skal træffe datadrevne beslutninger, selv om de ikke er dataforskere. Det er let at misfortolke data. Kan generativ AI som en slags mellemled mindske risikoen for forkerte antagelser?

Mario Ciabarra: Det afgørende er ikke kun, om man bruger generativ AI, men hvilken datakilde man bruger. De data, vi indsamler, viser en ubestridelig sandhed om brugerens oplevelse. Når man ser, at en kunde forsøger at ændre sin service eller bestille en flyrejse, men ikke kan, er det svært at ignorere.

Organisationer har ofte mange datakilder, og man kan næsten altid finde en kilde, der bekræfter ens egen beslutning. Det er en frygtelig tilgang og et eksempel på bekræftelsesbias.

Det vigtige er at tage udgangspunkt i kundens perspektiv. Kunden siger ikke, at en bestemt API er langsom. Kunden siger, at hjemmesiden eller appen er dårlig, og at vedkommende er frustreret. Derfor skal produktorganisationen forstå oplevelsen gennem kundens øjne.

Generativ AI kan gøre disse data lettere at forstå, men virksomheder skal stadig sikre, at de ser på de rigtige data. Man bør først fokusere på kundens oplevelse og derefter undersøge, om problemet skyldes en API, en logfil, en uklar knap eller noget, der ligger under folden.

Hannah Clark: Du har tidligere arbejdet for at demokratisere data i organisationer. Hvad betyder det for dig, og hvilke udfordringer møder virksomheder typisk?

Mario Ciabarra: Dataanalyse har udviklet sig fra logfiler og marketinganalyse til systemer til overvågning af applikationer, DevOps-analyse, oplevelsesanalyse og produktanalyse. I dag ser jeg et behov for at samle disse løsninger og demokratisere data på tværs af organisationen, så man kan forstå hvorfor’et.

Det har været relativt let at forstå hvad’et – for eksempel at brugere falder fra på trin tre i en salgstragt. Det sværere spørgsmål er, hvorfor de falder fra. Svaret er forskelligt for en produktejer, en DevOps-ansvarlig, en merchandiser og en marketingmedarbejder.

Målet er at gøre det samme datagrundlag anvendeligt for forskellige roller. En UX-designer arbejder måske ikke normalt i analyseværktøjer, men hvis analysedata lægges oven på den skærm, designeren arbejder med, bliver det lettere at se, hvad brugerne klikker på, og om det fører til succes.

En DevOps-medarbejder vil måske vide, hvilke sider der indlæses langsomt, og om der er API-fejl. En produktejer vil måske vide, hvilket eksperiment brugeren deltog i, og hvilke funktioner der blev brugt. Generativ AI kan forme svaret efter den relevante målgruppe.

Det er det, demokratisering af data betyder for mig: Det samme grundlag af data skal kunne bruges af forskellige roller, så organisationen ikke skal vedligeholde 16 separate løsninger.

Hannah Clark: Lad os tale om datahygiejne. Mange virksomheder kæmper med dette. Hvordan kan generativ AI hjælpe?

Mario Ciabarra: Det er et projekt, der har ligget mig meget på sinde siden 2015. Vi har længe ønsket at kunne finde de data, virksomheden har brug for, for at træffe beslutninger. Nu kommer generativ AI til undsætning.

Jeg har spurgt kunder og potentielle kunder, hvor ofte deres data er korrekte, og hvor ofte de er forkerte. Mange oplever hver uge, at de må træffe beslutninger uden de fuldstændige eller rigtige data.

Produktchefer fortæller ofte, at analyse ligger i deres tidsplan, men at fejl dukker op sidst i sprintet. De må vælge mellem at mærke de rigtige data eller rette fejlene, og de vælger ofte fejlene. Derfor går nye funktioner i produktion uden tilstrækkelige data til at afgøre, om de lykkes.

Hvad hvis man kunne bede generativ AI om at finde bestemte oplysninger i eksperiment A, B og C uden manuelt at angive præcis, hvor de findes? Man kunne udtrække de rigtige oplysninger fra interaktioner med brugere på hjemmesider og i apps uden at belaste udviklerne med manuel mærkning.

Hannah Clark: Det er nok til at få tårer i øjnene.

Mario Ciabarra: Jeg er begejstret for, hvordan vi i 2025 kan give organisationer de rigtige data til at træffe beslutninger i realtid.

Hannah Clark: Lad os tale om fremtiden. Du har forudsagt, at produktanalyse i løbet af de næste år vil udvikle sig til kunde- eller oplevelsesanalyse. Hvilke tendenser driver denne udvikling?

Mario Ciabarra: At forstå og lytte til kunden handler om mere end digital analyse. Organisationer har allerede indsamlet store mængder information, men dataene bliver ikke altid sat sammen.

Vi kan sammenholde spørgeskemadata med data om den faktiske oplevelse. Hvis de stemmer overens, er det godt. Hvis ikke, er der noget i oplevelsen, vi ikke forstår.

Men det handler også om anmeldelser og andre signaler. Hvis en kunde gentagne gange oplever afbrudte telefonsamtaler eller bestiller en telefon, der aldrig bliver leveret, påvirker det sandsynligvis kundens loyalitet og lyst til at forny abonnementet.

Vi skal samle offline- og onlineoplevelser for at skabe et 360-graders billede. Har kunderne det bedre eller dårligere i dag? Er de mere eller mindre loyale? Det handler om mere end spørgeskemaer og digitale oplevelser. Vi skal kombinere oplysningerne, så ledere, produktejere, DevOps-teams og andre kan forstå, hvilke øjeblikke der betyder noget for kunden, og hvordan de kan forbedres.

Hvordan fokuserer vi på de øjeblikke, der betyder noget?

Hannah Clark: Det har været utrolig interessant. Det er spændende at høre, hvordan generativ AI vil ændre analyse og gøre det langt lettere og mere tilgængeligt for alle – både meget dataorienterede produktchefer og dem, der i højere grad arbejder med bløde kompetencer.

Tak fordi du var med, Mario. Hvor kan vores lyttere følge dit arbejde online?

Mario Ciabarra: Følg mig gerne på LinkedIn. Du kan også finde virksomheden på quantummetric.com, hvor vi deler mange historier om kundernes succes, kommende initiativer og nye udgivelser.

Besøg quantummetric.com, følg Quantum Metric på LinkedIn, og lyt til fremtidige podcasts med Hannah og mig.

Hannah Clark: Fantastisk. Tusind tak fordi du deltog.

Mario Ciabarra: Tak, Hannah.

Hannah Clark: Tak fordi du lyttede med. Du kan få flere gode indsigter, vejledninger og anmeldelser af værktøjer ved at abonnere på vores nyhedsbrev på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved at abonnere på The CPO Club, uanset hvor du får dine podcasts.