Hvordan kan generativ kunstig intelligens gjøre analyse mer tilgjengelig for produktteam?

Les transkripsjonen:

Vi prøver ut et dataprogram for å transkribere podkastene våre. Tilgi eventuelle skrivefeil, siden roboten ikke er korrekt 100 % av tiden.

Hannah Clark: Enten du foretrekker begrepet datadrevet, datainformert eller databegeistret, spiller det ingen rolle – dagens teknologi kan ikke overleve uten datasett av høy kvalitet OG verktøyene som trengs for å bruke dem effektivt. Men vi har heller ikke råd til å se på data som ansvaret til bare én eller to avdelinger i organisasjonen. I stedet må vi gå inn i 2025 med en tankegang om demokratisering av data. Med andre ord: Virksomheten vår er kundene våre, så det kundene våre sier, bør angå alle.

Gjesten min i dag er Mario Ciabarra, grunnlegger og administrerende direktør i Quantum Metric. Quantum er en analyseplattform drevet av generativ kunstig intelligens som lar selskaper tolke data til nyttig innsikt for ulike interessenter, slik at alle – fra den nyansatte produktdesigneren til selskapets grunnlegger – kan ta hensyn til kundene i alle beslutninger. Vi diskuterte hvordan dette fungerer i praksis, hensyn knyttet til datakvalitet, og noen spådommer om hvordan generativ kunstig intelligens vil drive utviklingen av analyse i år og videre fremover. La oss sette i gang.

Velkommen tilbake til podkasten The CPO Club. I dag er vi her sammen med Mario Ciabarra.

Mario, takk for at du tar deg tid i den travle timeplanen din til å snakke med oss i dag.

Mario Ciabarra: Hannah, det er en stor glede. Takk for at du inviterte meg.

Hannah Clark: La oss begynne slik vi alltid gjør. Kan du fortelle oss litt om bakgrunnen din og hvordan du endte opp der du er i dag, hos Quantum Metric?

Mario Ciabarra: Ja, gjerne. Når jeg ser tilbake på barndommen, kunne man ha sett tegnene på at jeg kom til å bli entreprenør.

Vi kan kanskje komme inn på noe av dette i samtalen vår, men hvordan endte jeg opp her i dag som en del av denne entreprenørreisen? Jeg har alltid vært lidenskapelig opptatt av programvare, datateknikk og programvareutvikling, og av å finne ut hvordan vi kan gjøre opplevelser bedre. Det falt rett inn i sentrum av denne lidenskapen.

Det begynte kanskje med spørsmålet om hvordan jeg kunne gjøre ting raskere og mer effektive. Så begynte jeg å innse at man kan gjøre ting raske, men hvis de ikke er gode, spiller det ingen rolle. Hvordan skaper man gode opplevelser for målgrupper – fra min 13 år gamle datter til min 87 år gamle far? De har ulike behov.

Hvordan sørger vi for at opplevelsene våre fungerer for alle?

Hannah Clark: Jeg vil gjerne snakke litt med deg om ledertilnærmingen din, fordi du har hatt en ganske lang karriere, og du har tidligere nevnt at lidenskapen din har utviklet seg fra produkt og utvikling til å fokusere på mennesker og empati. Hvordan har dette påvirket ledertilnærmingen din?

Mario Ciabarra: Hvis du spør meg om selskapet, nærmer januar seg, og da markerer jeg tiårsjubileum her i Quantum. Hvis du hadde spurt meg for ni eller åtte år siden hva jeg brant for i Quantum, ville svaret absolutt vært å skape produkter. Det er fortsatt lidenskapen min i dag. Men noe merkelig skjedde, og dette er mitt fjerde selskap.

De andre selskapene mine var små. De hadde én til tre ansatte. De bygde produkter, utviklet dem og forbedret dem frem til de lykkes. Det som kom snikende på meg, var at vi nå er over 400 medarbeidere i Quantum. Det var ikke da vi nådde hundre ansatte, men da vi var noen titalls personer, at jeg innså at vellykkede selskaper bygges på grunnlaget av teamet.

Derfor må man ha et fantastisk team, og man må innse at administrerende direktør, grunnleggeren og lederen av organisasjonen har ansvaret for å lede teamet. Uten at alt dette fungerer godt sammen, hjelper det ikke hvor gode produkter du har. Å skape virkelig suksess handler derfor om å lede mennesker og investere i dem.

Det er grunnen til at vårt første selskapsmål er fornøyde mennesker og en sunn og mangfoldig kultur. Det andre er kunder som er begeistrede ambassadører. Det tredje handler om å oppnå økonomisk suksess i løpet av året. Men de to første endres ikke fra år til år. Det tredje målet flytter vi naturligvis stadig på når det gjelder hva vi skal oppnå økonomisk.

Jeg tror noen mennesker og organisasjoner snur dette på hodet. De fokuserer på å nå et økonomisk mål og sier at det er formålet vårt i år. Jeg tror ikke man kommer dit uten fornøyde medarbeidere. Jeg tror ikke man kommer dit uten begeistrede kunder. Det handler virkelig om å si: Ja, jeg ønsker økonomisk suksess.

Selvfølgelig gjør jeg det. Men la oss fokusere på menneskene våre, og la oss levere for kundene som har investert tilliten og pengene sine i oss.

Hannah Clark: Og empati er selvfølgelig en stor del av dette. I dag skal vi fokusere på generativ kunstig intelligens og hvordan det kan gjøre analyse mer tilgjengelig for produktteam.

Men før vi går inn i kjernen av diskusjonen, vil jeg snakke om å styrke empati i stor skala, når man må ta hensyn til så mange brukere. Hvordan ser du at analyse kan bidra til å fremme empati på tvers av en stor brukerbase?

Mario Ciabarra: Hvis du skulle hjelpe mennesker med et produkt eller en tjeneste, og antallet var ensifret, tror jeg ikke analyse ville vært særlig nyttig.

Du ville bare hjulpet personen direkte, eller hatt en samtale med de to kundene du hadde. Når to blir til to millioner, oppstår plutselig et lysglimt: Jeg kan ikke snakke med alle to millionene. Jeg trenger analyse for å forstå kunden. Derfor har jeg i det siste tenkt mindre på å spørre og mer på å lytte.

Og det er det analyse handler om. Det handler egentlig om å lytte med data. Når jeg tenker på tradisjonell analyse, ser jeg for meg en graf eller et diagram på en skjerm. Det er flott å se grafen, men skaper den ofte empati hos de fleste? Jeg tror empati oppstår når jeg kan knytte grafen til virkelige mennesker.

Det er da empatien oppstår for meg. Jeg har sett det i øynene til kundene våre og menneskene jeg snakker med, og i teamet vårt. Det handler virkelig om å knytte diagrammet til brukerne det representerer. Det er grunnlaget for det Quantum har blitt: Hvordan knytter jeg opplevelsene til informasjonen og fremkaller empati for å skape endring?

Hannah Clark: Ja, og jeg liker også det sitatet. Det handler nettopp om å lytte. Jeg synes det er en veldig interessant tilnærming. Vi tenker ikke ofte på empati når vi tenker på analyse. De to virker nesten som motsetninger, men egentlig gjør de det mulig for teamene våre å utvikle en forståelse av hva brukerne prøver å fortelle oss.

Fortell meg litt om generativ kunstig intelligens og hvordan det kan gjøre produktanalyse mer tilgjengelig for team, slik at de som arbeider med produktene, får en bedre forståelse av hva brukerne prøver å si.

Mario Ciabarra: Tidlig i denne reisen i Quantum satt jeg sammen med en fantastisk produktleder i en stor detaljhandelsbedrift.

Vi har vært venner de siste sju–åtte årene. Han har byttet organisasjon flere ganger, men noe han sa da han tok meg med inn i et rom etter det formelle møtet med teamet sitt, har festet seg. Han sa: «Mario, du ville ikke forstått hvor skyldige produktledere føler seg fordi de ikke bruker data nok.»

Det har fulgt meg i sju år. Hvordan gjør vi data tilgjengelig, slik at folk ikke føler skyld fordi de ikke bruker dem? Hvordan gjør vi data enkelt å ta til seg, slik at mennesker etter hvert kan bruke denne lytteevnen i stor skala, på enorme datamengder, for å ta riktige beslutninger som både flytter virksomheten fremover?

Men virksomheten handler selvfølgelig bare om å betjene kunden. Hvordan kan de betjene kundene bedre ved hjelp av data? Det er vanskelig. Derfor beskrev han denne skyldfølelsen. Jeg har en jobb å gjøre, og jeg ønsker å bruke data, men det virker overveldende å finne de riktige dataene som belyser problemet jeg prøver å løse.

Jeg vet ikke hvordan jeg skal bruke dataene. De finnes på 16 ulike steder, på tvers av alle disse forskjellige verktøyene. Jeg vet ikke hvilket verktøy som kan besvare det riktige spørsmålet. Og ærlig talt gir jeg opp. Jeg går for magefølelsen. Jeg er ferdig. Derfor har vi samlet inn alle disse dataene og forsøkt å gjøre dem stadig enklere å få tilgang til.

Faktisk var utgangspunktet for hele selskapet at vi laget T-skjorter med teksten «Vi gjør det enkelt». Vi gjør analyse enkelt, og vi har hele tiden forsøkt å finne ut hvordan vi kan gjøre det enklere og mer tilgjengelig for ulike målgrupper: markedsførere, produkteiere, varehandlere, utviklings- og driftsteam, ledere og analyseteam.

Alle disse teamene trenger tilgang til informasjon om hva som skjer sett fra kundens perspektiv, og hvordan vi kan gjøre det bedre. For oss handler generativ kunstig intelligens om hvilke oppgaver disse teamene prøver å utføre for å forstå dataene. Mange produktledere har for eksempel brukt tid på å se gjennom opptak av en bruker og brukerreisen deres.

«Oi, jeg visste ikke at de klikket der. Jeg visste ikke at de gikk dit først og så gjorde dette.» Det finnes mange fantastiske innsikter. Problemet med å se på øktopptak er at det går veldig sakte og er svært kjedelig. Jeg har alltid ledd når folk sier: «Ja, vi har filmkveld. Vi tar med popcorn og ser på mennesker og brukerreisen deres i en time foran et konferanserom.» Det er fascinerende fordi det er verdifullt, men det er ikke god bruk av tiden.

Hva om vi kunne få generativ kunstig intelligens til å se på opptakene for oss? Det var tanken i januar, fordi vi vet at generativ kunstig intelligens er svært god til å oppsummere ting. Hva om vi kunne bruke denne magien til å oppsummere brukerreisen?

Virksomhetene våre har akselerert gjennom 2024. Vi lanserte produktet Felix AI i slutten av februar eller begynnelsen av mars 2024, og hvert kvartal har virksomheten akselerert fordi produktet gir flere team tilgang til å forstå hva som fungerer og ikke fungerer for brukeren. Det skjer i stor skala. Hvis det tar 20 minutter å forstå én bruker, og du har to millioner brukere, kan du selv regne ut hvor lang tid det tar.

Det fungerer ganske enkelt ikke. Men hvis vi kan bruke to sekunder på å forstå én bruker, blir det mulig. Generativ kunstig intelligens kan også hjelpe oss med å opprette et segment. Denne brukeren hadde problemer. Gjelder problemet én bruker eller ti millioner? Hjelp meg med å finne ut av det automatisk. Det gjør det mulig å lytte til en større gruppe mennesker.

Vi er derfor veldig begeistret for hvordan generativ kunstig intelligens kan gjøre det mulig for mennesker å lytte bedre.

Hannah Clark: Som du sa tidligere, tror jeg det er et stort press om å være dataekspert, virkelig kunne tolke data, stille de riktige spørsmålene og finne de riktige kildene. Bryt det ned for meg. Hvor enkelt er det egentlig når vi sier at vi bruker generativ kunstig intelligens til å tolke data, for eksempel når en produktleder bruker plattformen?

Kan du gå gjennom et scenario med meg, kanskje et mulig scenario, der de faktisk bruker dataene og plattformen i praksis?

Mario Ciabarra: En av favoritthistoriene mine har virkelig tydeliggjort verdien av det vi gjør: evnen til å knytte denne informasjonen til ulike målgrupper.

Jeg velger et eksempel vi alle kan kjenne oss igjen i. Hannah, når ringte du sist banken, teleoperatøren, helseleverandøren eller flyselskapet ditt? Hvis du tenker på sist gang du ringte en av leverandørene eller tjenesteyterne du bruker, ringte du sannsynligvis ikke før du først hadde prøvd å løse problemet selv, ikke sant?

Du er i appen deres eller på nettstedet deres. Du prøver å gjøre det selv, men det fungerer ikke. Da ringer du. Du våknet ikke og tenkte: «I dag skal jeg ringe helseleverandøren min som det første jeg gjør.» Du ønsket å løse det selv. Men da du hadde prøvd og det ikke fungerte, ringte du sannsynligvis inn og endte i et interaktivt talesvarsystem, der du trykket på knappene én til ni flere ganger for å komme til riktig person.

De svarer og sier: «Hei, Hannah. Hvordan har du det?» Og du sier: «La meg fortelle deg hvordan jeg har det.» Jeg prøver å endre helseforsikringen min for året eller finne ut hva forsikringen dekker, men det fungerte ikke. «Vent litt, Hannah. Jeg skal sette deg over til en ekspert.» «Hei, Hannah. Hvordan har du det?»

Det hadde vært fantastisk om vi kunne endre denne samtalen til: «Vi vet hva Hannah holdt på med. Vi vet hvorfor hun ringer oss. Vi setter henne direkte over til riktig ekspert.» «Hei, Hannah. Det ser ut til at du prøvde å finne informasjon om dekningen i appen, men fikk en feilmelding. Vi beklager virkelig. Kan jeg hjelpe deg med dette eller noe annet?»

Det jeg prøver å formidle, er at alle disse selskapene har samlet inn data om hva Hannah har gjort på nettstedet eller i appen deres. De har bare ikke klart å aktivere denne informasjonen i kundesenteret. Dette er bare ett eksempel på en målgruppe som kan ha nytte av informasjonen.

Generativ kunstig intelligens har gjort det mulig å oppsummere Hannahs brukerreise på to sekunder. Tidligere hadde vi alltid informasjonen, men var den tilgjengelig i sanntid? Quantum har hatt denne muligheten, men selv med tilgjengelighet i sanntid ville det blitt: «Vent litt, Hannah. La meg se på hva du har gjort de siste 30 minuttene, så kommer jeg tilbake til deg.» Nei, det er enklere å spørre Hannah hva hun ønsker, eller be henne trykke på knappene én til ni på telefonen.

Muligheten til å oppsummere hva Hannah gjorde, og det faktum at vi vet at generativ kunstig intelligens er god på oppsummeringer, har vært en omveltende faktor for virksomheten vår.

Når det gjelder produktmålgruppen, kan du tenke på produktlederen som prøver å forstå hvorfor denne brukeren ikke konverterte, ikke registrerte seg, ikke bestilte flyreisen eller ikke endret tjenesten eller adressen sin riktig – hva enn oppgaven var som brukeren prøvde å utføre.

Hvordan forstår jeg hvorfor denne brukerreisen gikk som den gikk? Det krever ofte analyse og øktopptak. Vi har mange ulike verktøy og loggfiler. Hvordan gjør vi dette enklere? Hvordan gjør vi det enkelt for produkteieren å forstå kundens brukerreise? Det er dette Quantum gjør med generativ kunstig intelligens.

La oss gjøre denne forståelsen om til sekunder. Jeg tror også det er viktig å forstå enkeltbrukeren, men deretter må vi forstå om denne opplevelsen, dette friksjonspunktet eller dette optimaliseringspunktet representerer et lite eller stort bruksområde.

Jeg var faktisk i en stor amerikansk bank denne uken, og jeg smilte fra øre til øre da jeg hørte et sitat fra et av teammedlemmene: «Dette hjelper meg å være en operativ produktleder.» Jeg hadde aldri hørt uttrykket før, men det traff meg, fordi vi må endre måten produktledere tenker på til operativ produktledelse.

Hvordan bruker jeg data til å forstå hva som fungerer og ikke fungerer for kunden min i sanntid, og justerer kursen i sanntid for å sørge for at kundene våre er fornøyde? Mye produktansvar handler om å si: «Jeg har oppgavene mine. Jeg har sprintene mine. Jeg skal gjøre dette. Jeg skal fokusere. Jeg blir ferdig. Når lanseringen er ferdig, er jeg ferdig, og så går jeg videre til neste sprint.»

Det er vanvittig etter min mening. Jeg må bruke data. Jeg må vite om jeg satser på riktig endring. Jeg må bruke data for å sikre at endringen, eksperimentet eller hva jeg enn gjør, er riktig for brukerne mine, på en prioritert måte.

Når jeg lanserer det, enten det er et eksperiment eller en full lansering, må jeg lese dataene riktig for å forstå om det har riktig effekt. Ikke gå videre til neste sprint. Sørg for at du bruker data til å bekrefte at du tar gode beslutninger, eller at du tar dårlige beslutninger og må endre måten du tenker på.

Kanskje dette ikke flytter målene slik jeg trodde, eller kanskje det gjør det. Og forresten: Jeg vil løfte dette frem for ledelsen. Jeg bruker ressursene våre godt. Jeg påvirker kundeopplevelsen. Kanskje jeg fortjener en forfremmelse, lønnsøkning eller bonus i år. Data kan bidra til å bekrefte om jeg tar gode eller dårlige beslutninger.

Det er det jeg mener med en operativ produktleder.

Hannah Clark: Det finnes et problem nå, der produktledere opplever et stort press om å ta gode beslutninger ved hjelp av data, selv om de ikke egentlig er dataforskere. Det er lett å trekke feil konklusjoner eller tolke data på en måte som villeder forståelsen vår, og dermed føre til feilaktige antakelser.

Det virker som om bruk av generativ kunstig intelligens som et mellomledd, der man kommuniserer mer samtalebasert, kan redusere noen av disse antakelsene. Stemmer det? Eller må vi fortsatt ta forholdsregler for å sikre at vi tar gode beslutninger ved hjelp av verktøyet?

Mario Ciabarra: Jeg tror ikke det handler om generativ kunstig intelligens eller ikke. Men jeg vil snakke om delen som gjelder generativ kunstig intelligens. Jeg tror det handler om hvilken datakilde vi bruker. Det jeg liker ved dataene vi samler inn, er at de viser en ubestridelig sannhet. Dette er ord kundene våre selv bruker. Når du ser at en kunde prøver å endre tjenesten sin eller teleoperatør, eller bestille en flyreise, og det ikke fungerer, kan du ikke se bort.

Det finnes så mange datakilder som alle i et team kan bruke, men la oss holde oss til produktledere. Hvis du sier: «Mario, jeg trenger at du viser meg at beslutningen min er riktig», kan jeg bokstavelig talt finne en datakilde i organisasjonen som beviser at jeg har rett. Det er en forferdelig tilnærming – ikke gjør det.

Men det er en del av problemet: Alle kan finne data som bekrefter bekreftelsesbiasen sin. «Jeg gjør det riktige.» Derfor snakket jeg tidligere om den operative produktlederen som bruker virksomhetsdata til å bekrefte at beslutningene er korrekte. Når lanseringen flytter virksomhetsmålene i riktig retning, er det fantastisk.

Det handler derfor om hvilke data jeg bruker til bekreftelsen. Jeg tenker på hva vi fokuserer på: Hvordan ser alt ut fra kundens perspektiv? Jeg bryr meg faktisk om loggfiler, ytelse på backend-servere og lignende, men jeg vil ikke avvise dette. Jeg bryr meg bare om det når jeg trenger å bry meg om det.

Jeg mener ikke at vi skal begynne der, enten vi er produktledere, ledere eller virksomhetseiere. Det handler ikke om å starte med: «Se, API-et er raskere. Flott, da får alle bonus i år.» Hvem bryr seg? Jeg sier ikke at jeg ikke bryr meg. Jeg spør om jeg bør bry meg.

En kunde ringer ikke eller fyller ut en undersøkelse, skriver til administrerende direktør på Twitter eller sender en e-post og klager: «Jeg er med i B-eksperimentet, jeg er med i C-kampanjen, og dette API-et er ødelagt.» De snakker ikke slik. De sier: «Nettstedet deres er dårlig, appen deres er dårlig, og jeg er frustrert.»

Hvordan får vi produktorganisasjonen til å se ting fra kundens perspektiv? Det er nøkkelen til spørsmålet ditt. Og ja, jeg vil absolutt legge til generativ kunstig intelligens for å gjøre dataene mer tilgjengelige og enklere å forstå.

Jeg tror ikke utfordringen er om organisasjonene har tilgang til kundeperspektivet. Det finnes mange måter å få tilgang på. Spørsmålet er hvordan de tolker informasjonen for å ta gode og velbegrunnede beslutninger, i stedet for å løpe av gårde fordi én loggfil sier én ting og ett API sier noe annet. Jeg har sett dette skje i organisasjoner. Jeg har sett dusinvis av mennesker bruke timevis på å prøve å ta den riktige beslutningen basert på feil data.

Det handler om hvorvidt du ser ting fra kundens perspektiv. Det er egentlig den eneste måten en virksomhet bør drives på: Kunden først. Deretter kan du si: «Kunden er frustrert her. Oi, jeg har sporet dette tilbake til et API eller en linje i loggfilene. La oss rette innsatsen mot dette.»

Men noen ganger var det bare ikke åpenbart at brukeren måtte klikke på denne knappen, eller at knappen lå under det synlige området og aldri ville bli sett. Det er mange ting fra brukerens perspektiv som ikke fanges opp i loggfiler og API-er.

Datakilden bør i bunn og grunn være å lytte til kunden, ikke nødvendigvis å spørre kunden. Jeg forbinder en kundeundersøkelse med spørsmålet om kunden er fornøyd eller ikke. Jeg ser verdien av undersøkelser, og jeg avviser ikke noen av disse andre metodene, men de bør brukes på riktig tidspunkt. Det handler virkelig om å se eller lytte fra kundens perspektiv først.

Hannah Clark: Du har tidligere vært en forkjemper for demokratisering av data i organisasjoner. Hva betyr det for deg, først og fremst, og hvilke utfordringer møter selskaper ofte når de prøver å gjøre data mer tilgjengelig på tvers av avdelinger?

Mario Ciabarra: Vi har sett en utvikling i hvordan data konsumeres, særlig frem mot år 2000. Jeg er sikker på at noen lyttere tenker at folk brukte data før 2000 også, men for meg ble den digitale verden virkelig levende gjennom bruk av data. Jeg tenker for eksempel på de erfarne lytterne som brukte Webtrends. Jeg husker at jeg rundt 1995 brukte Webtrends til å hente analytiske data fra loggfiler.

Deretter utviklet vi oss til selskaper som Omniture, og Urchin var det tidligere navnet på Google Analytics. Vi begynte å samle inn pikseldata og forstå brukerreiser og opplevelser på den måten. Det startet innen markedsanalyse. Hvis vi skal plassere forståelsen av det digitale et sted, skjedde det innen markedsføring. Deretter kom APM-verdenen, og vi så analyse for utvikling og drift vokse frem.

Så kom opplevelsesanalyse, med selskaper som TeaLeaf og ClickTale. De finnes generelt ikke lenger i sin opprinnelige form, men de var tidlige forsøk på å forstå brukeropplevelsen, fra varmekart til øktopptak. De siste fem til ti årene har vi sett produktanalyse vokse frem som en egen kategori.

Når jeg tar et skritt tilbake og lytter til kundene våre, ser jeg virkelig en sammenslåing av alle disse ulike punktløsningene og isolerte analysene. Hvordan tar jeg disse dataene og demokratiserer dem på tvers av organisasjonen for å forstå hvorfor?

Det har vært enkelt å forstå hva som skjer i hvert av disse systemene. «Se, det er frafall på trinn tre i salgstrakten, og vi har bare to prosent konverteringsrate på detaljhandelsnettstedet vårt.» Det tror jeg alle systemer har gjort ganske bra.

Men hvorfor faller folk fra på trinn tre? Jeg tror reisen mot å forstå hvorfor ser ulik ut for en produkteier, en utviklings- og driftseier, en varehandler og en markedsfører. Dataene er så like på tvers av disse bruksområdene at jeg ikke tror det gir mening å ha alle disse punktløsningene.

Målet vårt er derfor å ta denne forståelsen av data og gjøre den tilgjengelig for alle disse ulike rollene. Reisen vil se forskjellig ut. Verktøyene vil også være forskjellige. Ta for eksempel en UX-designer. De bruker vanligvis ikke tiden sin i analyseverktøy.

Men når vi legger de analytiske dataene oppå det formatet de er komfortable med – for eksempel selve skjermen – kan vi vise hva folk klikker på, og om det fører til suksess. I en nettbutikk kan dette koble sammen innholdet, utformingen og varene med de økonomiske målene vi prøver å nå.

Til syvende og sist var det nettopp derfor kundene kom til nettstedet ditt. De kom ikke først og fremst for å bla gjennom og lese innhold. De kom sannsynligvis fordi de tenkte: «Hvis du har produktet jeg ønsker til riktig pris, kjøper jeg.» Hvordan gjør vi det enklere for forbrukeren?

For oss betydde det å gjøre dataene tilgjengelige for UX-designeren ved å legge dataene oppå nettstedet de arbeider med. For en APM-person kan det handle om noe annet, og for en utviklings- og driftsperson kan det handle om hvorvidt siden lastes raskt nok, om det finnes API-feil og så videre.

For produkteieren kan det handle om: «Hvilket eksperiment var brukeren med i? På hvilket trinn oppsto feilen?» Vi må tenke på hvilke ulike spørsmål de forskjellige rollene har, og hvilke formater som er riktige for å presentere informasjonen.

Det er dette demokratisering av data betyr for meg: å gjøre det samme grunnlaget av data tilgjengelig for de ulike rollene, slik at organisasjonen ikke trenger å vedlikeholde 16 ulike punktløsninger.

Når jeg besøker disse organisasjonene, ser jeg ofte at folk krangler om de mest trivielle tingene: «Dataene dine er annerledes enn mine. Jeg har 2,3 prosent, og du har 2,4 prosent.» De bruker timer og dager på å finne ut av dette. Hvis vi bare hadde hatt ett system og blitt enige, hadde vi sluppet mye av dette.

Jeg tror ikke forskjellen mellom 2,3 og 2,4 prosent er det viktigste å diskutere. La oss heller akseptere at definisjonen av en økt eller en bruker kan variere. Hvor har brukerne problemer? Hvor kan vi optimalisere opplevelsen? Hvordan får vi dem raskere gjennom betalingen, med færre klikk og mindre friksjon? Hvordan gjør vi opplevelsen bedre?

Dette er en mulighet for generativ kunstig intelligens til å gjøre ting enklere. Da vi innså at Felix AI kunne oppsummere intensjonen til en bruker, forsto vi at vi kunne tilpasse dette til ulike målgrupper.

Noen vil kanskje ha en rask oppsummering. Jeg nevnte kundesenterrollen. De ønsker ikke alle detaljene. De vil bare vite hvordan de kan samhandle med kunden på en effektiv måte. Produkteieren vil kanskje vite hvilket eksperiment brukeren var med i, hvilke trinn de gikk gjennom og hvilke funksjoner de brukte.

En utviklings- og driftsperson vil kanskje vite hvilke sider som lastes sakte eller raskt. Vi kan tilpasse svaret fra generativ kunstig intelligens til målgruppen. Dette har vært omveltende for kundene våre, fordi det gjør det enklere å få tilgang til informasjonen de trenger, tilpasset riktig rolle.

Hannah Clark: Vi har et par temaer til som er litt annerledes, så jeg kommer til å stille noen raske spørsmål.

Datakvalitet. La oss snakke om det. Mange selskaper sliter med datakvaliteten. Hvordan kan generativ kunstig intelligens bidra til å redusere noen av problemene vi ofte ser i organisasjoner?

Mario Ciabarra: Hannah, jeg smiler fra øre til øre, fordi dette er et prosjekt som har stått hjertet mitt nær siden 2015.

Da laget vi den første forklaringsvideoen vår. I den sa vi at vi skulle gjøre dette. Jeg har ikke funnet en måte å gjøre det på. Så kom generativ kunstig intelligens. Jeg er så begeistret for at vi innen utgangen av dette kvartalet, altså i løpet av de neste ukene, lanserer et produkt som faktisk finner dataene vi trenger for å ta beslutninger i virksomheten vår.

Jeg har reist mye de siste ukene, og jeg har stilt alle kunder og potensielle kunder et enkelt spørsmål: Hvor ofte er dataene dine riktige? Og hvor ofte er de feil? Du ville blitt overrasket over at alle sier at de hver uke må ta beslutninger uten å ha alle dataene.

Hvor vanskelig er det å ta beslutninger uten å ha riktige data? Hva er verdien av å ha riktige data hele tiden? Det har oppstått en viss forvirring innen markedsføring og i markedet om automatisk innsamling, automatiske tagger og alt dette. Vi har egentlig ikke kommet til punktet der vi kan hente ut riktig informasjon – kanskje gå lenger enn tagging – for å samle inn den riktige informasjonen som trengs for å drive virksomheten.

Jeg ser stadig mennesker som ikke har riktig informasjon. Produktledere har fortalt meg det samme om og om igjen: «Vi er i en sprint. Analyse står i tidsplanen vår. Vi har en rekke feil som dukker opp mot slutten av sprinten. Jeg kan enten tagge de riktige dataene og få den analytiske informasjonen, eller jeg kan rette feilene.»

Og du vet hva de alle velger. De ender med å lansere uten de analytiske dataene som trengs for å forstå om de lykkes med de nye funksjonene de har lansert. Hvor sprøtt er ikke det?

Hva om vi kan automatisere dette med generativ kunstig intelligens? Hva om vi kan be den om å si: «Jeg trenger disse informasjonsdelene. Finn dem i eksperiment A, B og C», uten at jeg må angi nøyaktig hvor de ligger?

Jeg trenger ikke tagge det sammen med utviklerne mine. Bare hent ut den riktige informasjonen fra samhandlingen med brukerne av nettstedet og appen vår. Ansiktsuttrykket folk får når vi demonstrerer dette produktet, er fantastisk.

Jeg snakket med en bransjeanalytiker og sa: «På en skala fra én til ti vil jeg at du skal fortelle meg hva du synes om dette.» Jeg demonstrerte produktet i praksis. Hun svarte: «Ti pluss. Dette er utrolig.»

Hannah Clark: Ja. Det er nok til å bli litt rørt.

Mario Ciabarra: Jeg gleder meg til suksessen i 2025 og til å se hvordan vi kan gi organisasjoner de riktige dataene, slik at de kan ta beslutninger i sanntid.

Hannah Clark: Det er virkelig spennende. Og gratulerer på forskudd.

La oss snakke om fremtiden, siden vi snakker om 2025. Du har spådd at produktanalyse i løpet av de neste årene vil utvikle seg til kunde- eller opplevelsesanalyse. Hvilke trender eller innovasjoner ser du som drivere for denne utviklingen?

Mario Ciabarra: Å forstå kunden og lytte til kunden handler om mer enn digital analyse.

Det finnes mye informasjon som allerede er samlet inn i organisasjonene. Den blir bare ikke satt sammen. Jeg kan gi et eksempel. I Quantum henter vi i dag inn data fra kundeundersøkelser. Vi integrerer med de største leverandørene av undersøkelser. Noen ganger ønsker vi å bruke data til å lytte uten å måtte spørre, for å finne ut hvor friksjonspunktene er.

Noen ganger er det likevel fantastisk å bare spørre: «Hannah, er du fornøyd eller ikke?» Brukte vi data til å forstå Hannahs opplevelse på en god måte? Når dette samsvarer med dataene vi samler inn, er det flott. Når det ikke gjør det, finnes det noe vi mangler, og vi kan finne den delen av opplevelsen som vi ikke forsto for Hannah.

Men det handler om mer enn undersøkelser. Hva skjer når Hannah skriver en anmeldelse? Det er ikke nødvendigvis noe vi har bedt henne om. Hun sier bare: «Jeg elsker dette produktet», eller «Jeg er veldig misfornøyd med dette produktet.»

La oss bruke en teleoperatør som eksempel. Hannah har hatt tre avbrudd i telefonsamtalene sine denne måneden. Tror du hun vil fornye abonnementet hos teleoperatøren neste måned? Kanskje det ikke er det eneste som må skje. Kanskje hun bestilte en ny iPhone som aldri kom frem. Et av teammedlemmene mine bestilte faktisk en ny iPhone gjennom en teleoperatør i år og fikk den aldri. Tror du denne personen fortsatt ønsker å fornye og bli hos teleoperatøren?

Det finnes altså mange datadeler vi kan forstå gjennom et 360-graders perspektiv, som omfatter både erfaringer utenfor nettet og erfaringer på nettet.

I bunn og grunn har det vi har forsøkt å gjøre gjennom Quantum i ti år, vært å lytte til kundene. Er de mer fornøyde i dag eller mindre fornøyde? Er de mer lojale i dag eller mindre lojale? Det handler definitivt om mer enn undersøkelser. Det handler definitivt om mer enn digitale opplevelser.

Hvordan kombinerer vi all denne informasjonen for å hjelpe ledere, produkteiere, utviklings- og driftsteam og alle disse ulike teamene med å forstå hvilke punkter som betyr noe for kunden, abonnenten eller den målgruppen vi har, og hvordan vi kan gjøre det bedre for dem?

Hvordan fokuserer vi på de viktige øyeblikkene?

Hannah Clark: Dette har vært utrolig interessant. Det er veldig spennende å høre hvordan generativ kunstig intelligens fullstendig kommer til å endre analyse og gjøre det så mye enklere og mer tilgjengelig for alle, enten du er en produktleder som er svært dataorientert, eller en produktleder som i større grad bruker myke ferdigheter. Det er virkelig spennende.

Takk for at du ble med oss, Mario. Hvor kan lytterne følge arbeidet ditt på nettet?

Mario Ciabarra: Følg meg gjerne på LinkedIn. Når det gjelder arbeidet mitt og selskapet, kan dere besøke quantummetric.com. Vi har mye innhold med suksesshistorier fra kundene våre, samt informasjon om det som kommer og lanseres.

Bli med oss på quantummetric.com, følg Quantum Metric på LinkedIn og lytt til fremtidige podkaster her sammen med Hannah og meg.

Hannah Clark: Flott. Tusen takk for at du ville komme.

Mario Ciabarra: Takk, Hannah.

Hannah Clark: Takk for at du lyttet. For flere gode innsikter, veiledninger og verktøyanmeldelser kan du abonnere på nyhetsbrevet vårt på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved å abonnere på The CPO Club, uansett hvor du henter podkastene dine.