Hur kan generativ AI göra analys mer tillgänglig för produktteam?

Läs transkriberingen:

Vi testar att transkribera våra poddar med hjälp av ett datorprogram. Ursäkta eventuella skrivfel, eftersom boten inte är korrekt till 100 procent hela tiden.

Hannah Clark: Oavsett om du föredrar termen datadriven, datainformerad eller dataförbluffad spelar det ingen roll – dagens teknik kan inte överleva utan datamängder av hög kvalitet OCH verktygen för att använda dem effektivt. Men vi har inte heller råd att se data som något som bara ett eller två avdelningar i organisationen ansvarar för – i stället behöver vi gå in i 2025 med ett synsätt som bygger på demokratisering av data. Med andra ord är vår verksamhet våra kunder, så det våra kunder säger bör angå alla.

Min gäst i dag är Mario Ciabarra, grundare och vd för Quantum Metric. Quantum är en analysplattform som drivs av generativ AI och som låter företag omvandla data till användbara insikter för olika intressenter, så att alla – från den nyanställda produktdesignern till företagets grundare – kan integrera empati för kunderna i varje beslut. Vi diskuterade hur detta fungerar i praktiken, vad man bör tänka på kring datahygien och några förutsägelser om hur generativ AI kommer att driva utvecklingen av analys under året och framöver. Då kör vi.

Välkomna tillbaka till podden The CPO Club. I dag är vi här med Mario Ciabarra.

Mario, tack för att du tog dig tid ur ditt hektiska schema för att prata med oss i dag.

Mario Ciabarra: Hannah, det är ett stort nöje. Tack för att du bjöd in mig.

Hannah Clark: Vi börjar på det sätt vi alltid gör. Kan du berätta lite om din bakgrund och hur du hamnade där du är i dag på Quantum Metric?

Mario Ciabarra: Ja, gärna. Om man såg på mig som barn kunde man ha anat att jag skulle bli entreprenör i framtiden.

Vi kanske kan gå in på en del av det under samtalet, men hur hamnade jag här i dag som en del av den entreprenöriella resan? Jag har alltid brunnit för programvara, datorteknik och programvaruutveckling, och för att upptäcka hur vi kan förbättra upplevelser. Det hamnade helt enkelt mitt i centrum för den passionen.

Det började med frågan: hur gör jag saker snabbare och mer högpresterande? Sedan insåg jag att man kan göra något snabbt, men om det inte är bra spelar det ingen roll. Hur skapar man fantastiska upplevelser för målgrupper från min 13-åriga dotter till min 87-årige far? De har olika behov.

Hur ser vi till att våra upplevelser fungerar för alla?

Hannah Clark: Jag vill gärna prata lite med dig om ditt ledarskap, eftersom du har gjort en omfattande karriärresa och tidigare nämnde att din passion har utvecklats från produkt och teknik till att fokusera på människor och empati. Hur har det påverkat ditt sätt att leda?

Mario Ciabarra: Om du frågar mig om företaget – januari närmar sig och då firar jag tioårsjubileum här på Quantum. Om du hade frågat mig för nio eller åtta år sedan vad jag brann för på Quantum hade svaret absolut varit att skapa produkter. Det är fortfarande min passion i dag. Men något märkligt hände, och detta är mitt fjärde företag.

De andra företagen jag hade var små, med en till tre personer. Vi byggde produkter, utvecklade teknik och itererade produkter mot framgång. Det som smög sig på mig var att vi nu är fler än 400 medarbetare på Quantum, och det var inte först när vi blev hundratals – det var egentligen när vi blev dussintals – som jag insåg att framgångsrika företag byggs på teamet.

Därför måste man ha ett fantastiskt team och inse att vd:n, grundaren och organisationens ledare ansvarar för att leda teamet. Utan det fungerar inget särskilt bra tillsammans. Man kan ha hur bra produkter som helst, men det fungerar ändå inte. Att skapa verklig framgång handlar därför om att leda människor och investera i människor.

Det är också därför vårt första företagsmål är glada människor och en hälsosam och mångfaldig kultur. Det andra är kunder som är entusiastiska ambassadörer. Det tredje handlar om att nå ekonomisk framgång under året. De två första förändras inte från år till år. Det tredje målet flyttar vi naturligtvis fram varje år beroende på vad vi vill uppnå.

Jag tror att vissa människor och organisationer vänder på det. De fokuserar på att nå ett ekonomiskt mål och säger att det är årets syfte. Jag tror inte att man kan nå dit utan glada människor. Jag tror inte att man kan nå dit utan kunder som är entusiastiska ambassadörer. Det handlar verkligen om att säga: ja, jag vill nå ekonomisk framgång.

Självklart vill jag det. Men låt oss fokusera på våra människor och på att leverera för de kunder som har investerat sitt förtroende och sina pengar hos oss.

Hannah Clark: Och empati är naturligtvis en stor del av det. I dag ska vi fokusera på generativ AI och hur den kan göra analys mer tillgänglig för produktteam.

Men innan vi går in på kärnan i diskussionen vill jag prata om att möjliggöra empati i stor skala, när man måste ta hänsyn till så många användare. Hur ser du på analysens roll när det gäller att främja empati hos en stor användarbas?

Mario Ciabarra: Om du hade några få personer att hjälpa med den produkt eller tjänst du erbjuder tror jag inte att analys skulle vara särskilt användbart.

Du skulle helt enkelt hjälpa personen och prata med de två kunderna du har. När två plötsligt blir två miljoner kommer insikten: jag kan inte prata med alla två miljoner. Jag behöver analys för att förstå kunden. En tanke jag har haft på sistone är att fråga mindre och lyssna mer.

Det är vad analys handlar om. Att lyssna med hjälp av data. När jag tänker på traditionell analys ser jag en graf eller ett diagram på en skärm. Det är bra, men väcker det ofta empati hos de flesta? För mig händer det när jag kan koppla grafen till verkliga människor.

Då uppstår empati. Jag har sett det i ögonen hos våra kunder, hos människorna jag pratar med och hos vårt team. Det handlar verkligen om att koppla diagrammet till de användare det representerar. Det är grunden för vad Quantum har blivit: hur kopplar jag ihop upplevelser med information och väcker empati för att skapa förändring?

Hannah Clark: Ja, och jag älskar också det citatet. Det handlar helt och hållet om att lyssna. Jag tycker att det är ett intressant angreppssätt. Vi tänker inte ofta på empati när vi tänker på analys – de två verkar nästan stå i motsats till varandra. Men egentligen hjälper de våra team att utveckla en förståelse för vad användarna försöker säga.

Berätta lite om generativ AI och hur den kan göra produktanalys mer tillgänglig för team, så att de som arbetar med produkterna bättre kan förstå vad användarna försöker säga.

Mario Ciabarra: Tidigt under den här resan på Quantum satte jag mig ner med en ledare för produktområdet inom detaljhandeln, en fantastisk person.

Vi har fortsatt vara vänner under de senaste sju eller åtta åren. Han har bytt organisation flera gånger, men något som verkligen fastnade hos mig var när han efter vårt formella möte med teamet tog med mig in i ett rum och sa: Mario, du skulle inte förstå den skuld som produktchefer känner över att de inte använder data tillräckligt.

Det har stannat kvar hos mig i sju år. Hur gör vi data tillgänglig så att människor inte känner skuld över att de inte använder den? Hur gör vi den lätt att ta till sig, så att människor till slut kan använda denna lyssnande förmåga i stor skala, med enorma mängder data, för att fatta rätt beslut som både utvecklar verksamheten och hjälper kunderna bättre?

Det är svårt. Jag förstår varför han beskrev skuldkänslan. Man har sitt dagliga arbete och vill använda data, men det känns överväldigande att hitta rätt data som talar till problemet man försöker lösa.

Man vet inte hur man ska använda den. Den finns på 16 olika platser i en mängd olika verktyg. Man vet inte vilket verktyg som kommer att besvara rätt fråga. Till slut ger man upp och går på intuition i stället.

Vi har samlat in all denna data och försökt göra den enklare och enklare att komma åt. Hela företagets grundidé var faktiskt att göra analys enkelt. Vi försöker hela tiden hitta sätt att göra den ännu enklare och mer tillgänglig för allt från marknadsförare, produktansvariga och merchandisers till DevOps-team, chefer och analysteam.

Alla dessa team behöver tillgång till information om vad som händer ur kundens perspektiv och hur det kan förbättras. För oss handlar generativ AI om vilka uppgifter dessa team försöker utföra för att förstå datan. Många produktledare har till exempel ägnat tid åt att titta på inspelningar av en användares resa.

Genom generativ AI kan vi låta tekniken titta på inspelningarna åt oss. Generativ AI är mycket bra på att sammanfatta saker. Vad händer om vi använder den för att sammanfatta en användares resa?

Detta har accelererat vår verksamhet under 2024. Vi lanserade produkten Felix AI i slutet av februari eller början av mars 2024, och varje kvartal har verksamheten accelererat eftersom fler team får tillgång till förståelse för vad som fungerar och inte fungerar för användaren. Det sker i stor skala. Om det tar 20 minuter att förstå en enskild användare och man har två miljoner användare fungerar det helt enkelt inte.

Om vi kan använda två sekunder för att förstå en enskild användare blir det möjligt. Den generativa AI:n kan också hjälpa till att skapa ett segment. Om en användare hade problem – gäller det bara en användare eller tio miljoner? Hjälp mig att automatiskt ta reda på det. Det ger tillgång till att lyssna på en större grupp människor.

Vi är verkligen entusiastiska över hur generativ AI kan hjälpa människor att lyssna bättre.

Hannah Clark: Som du sa tidigare finns det ett stort tryck på att vara dataexpert, kunna tolka data, ställa rätt frågor och hitta rätt källor. Hur enkelt är det egentligen när vi säger att vi använder generativ AI för att tolka data, till exempel när en produktchef använder plattformen?

Kan du beskriva ett möjligt scenario och hur personen konkret skulle kunna använda datan och plattformen?

Mario Ciabarra: En av mina favorithistorier, som tydliggör värdet av det vi gör, handlar om vår förmåga att koppla information till olika målgrupper.

Tänk på när du senast ringde din bank, teleoperatör, vårdgivare eller ett flygbolag. Du ringde förmodligen inte förrän du först hade försökt lösa problemet själv.

Du var i appen eller på webbplatsen och försökte göra något, men det fungerade inte. Då ringde du. Du vaknade inte och tänkte att det första du skulle göra var att ringa vårdgivaren. Du ville lösa det själv. Men när det inte fungerade hamnade du kanske i ett talsvarssystem och fick trycka dig fram för att nå rätt person.

Tänk om samtalet kunde börja så här: Vi vet vad Hannah gjorde. Vi vet varför hon ringer och kan koppla henne direkt till rätt expert. Det ser ut som att du försökte hitta information om din försäkring i appen men fick ett felmeddelande. Vi beklagar felet – kan vi hjälpa dig med det eller något annat?

Alla dessa företag har samlat in data om vad Hannah gjort på webbplatsen eller i appen. De har bara inte kunnat aktivera den informationen i kundtjänsten. Generativ AI har gjort det möjligt för oss att sammanfatta Hannahs resa på två sekunder.

För produktchefen handlar det om att förstå varför en användare inte konverterade, registrerade sig, bokade sitt flyg eller ändrade sin tjänst eller adress. Hur förstår man varför? Det kräver ofta analys, inspelningar av sessioner och loggfiler. Hur gör vi det enklare?

Det är vad Quantum gör med generativ AI: vi omvandlar förståelsen till sekunder. Sedan behöver man förstå om en viss friktionspunkt representerar ett litet eller stort användningsfall.

Jag var på en stor bank i USA den här veckan och log från öra till öra när en teammedlem beskrev detta som att det hjälpte honom att bli en operativ produktchef. Jag hade aldrig hört termen förut, men den säger mycket. Produktchefer behöver använda data för att förstå vad som fungerar och inte fungerar för kunden i realtid och justera arbetet i realtid för att göra kunderna nöjda.

När man släpper en förändring eller ett experiment måste man läsa datan korrekt och förstå om den har rätt effekt. Man ska inte bara gå vidare till nästa sprint. Man ska använda data för att bekräfta att man fattar bra beslut eller upptäcka att man måste ändra sitt sätt att tänka.

Hannah Clark: Det finns ett problem just nu: många produktchefer förväntas fatta mycket välgrundade beslut med hjälp av data, trots att de inte själva är dataforskare. Det är lätt att göra felaktiga antaganden eller misstolka data. Om man använder generativ AI som mellanhand och arbetar mer konversationsbaserat, minskar det vissa av dessa antaganden?

Mario Ciabarra: Jag tror inte att frågan är generativ AI eller inte. Det handlar om vilken datakälla vi använder. Den data vi samlar in visar vad som faktiskt händer. När man ser att en kund försöker ändra en tjänst eller boka ett flyg och det inte fungerar går det inte att bortförklara.

Om någon ber mig visa att ett beslut är rätt kan jag bokstavligen hitta en datakälla i organisationen som bevisar det. Det är ett fruktansvärt angreppssätt. Problemet är att vem som helst kan hitta data som bekräftar den egna bekräftelsebiasen.

Det viktiga är vilken data man använder för bekräftelsen och om man tittar på allt ur kundens perspektiv. Det är nyckeln. Generativ AI kan göra informationen mer tillgänglig och lättare att förstå, men vi måste fortfarande grunda besluten i rätt data och lyssna på kunden.

Hannah Clark: Du har tidigare förespråkat demokratisering av data i organisationer. Vad betyder det för dig, och vilka utmaningar möter företag när de försöker göra data mer tillgänglig mellan avdelningar?

Mario Ciabarra: Jag ser en utveckling från marknadsföringsanalys och DevOps-analys till upplevelseanalys och produktanalys. I dag behöver vi samla dessa olika lösningar och analyssystem för att förstå varför.

Det har länge varit lätt att förstå vad som händer – till exempel att användare lämnar tratten vid steg tre och att webbplatsen bara har två procents konverteringsgrad. Den svårare frågan är varför de lämnar. Svaret ser olika ut för en produktansvarig, DevOps-ansvarig, merchandiser och marknadsförare.

Demokratisering av data innebär att samma grundläggande datalager görs användbart för olika roller. En UX-designer kanske vill se data ovanpå själva skärmen. En DevOps-person vill veta om sidor laddas långsamt eller om API-fel uppstår. En produktansvarig vill veta vilket experiment användaren deltog i och vid vilket steg det gick fel.

Generativ AI kan anpassa svaret efter målgruppen. En kundtjänstmedarbetare vill ha en kort sammanfattning för att kunna hjälpa kunden effektivt. Produktansvarig vill veta vilka experiment och funktioner användaren interagerade med. DevOps-personen vill veta vilka sidor som laddades långsamt. Det gör informationen enklare att komma åt för rätt person.

Hannah Clark: Datahygien är något många företag kämpar med. Hur hjälper generativ AI till att minska de problem som organisationer ofta ser?

Mario Ciabarra: Det här är ett projekt som legat mig varmt om hjärtat sedan 2015. Nu kommer generativ AI in i bilden. Vi lanserar en produkt som faktiskt hittar den data vi behöver för att fatta beslut.

Jag har frågat kunder hur ofta deras data är korrekt och hur ofta den är felaktig. Alla säger att de varje vecka måste fatta beslut utan fullständig eller rätt data. Tänk på värdet av att alltid ha rätt data.

Produktansvariga berättar att analys finns med i sprintplanen, men att buggar dyker upp mot slutet av sprinten. De måste välja mellan att tagga rätt data eller åtgärda buggarna. Ofta väljer de buggarna och går till produktion utan den analytiska data som krävs för att förstå om den nya funktionen lyckas.

Tänk om generativ AI kunde automatisera detta? Man skulle kunna säga vilken information man behöver och låta AI hitta den i olika experiment, utan att ingenjörer manuellt behöver tagga allt. Den kan extrahera rätt information från interaktioner på webbplatser och i appar.

Hannah Clark: Det räcker nästan för att bli tårögd.

Mario Ciabarra: Jag ser fram emot framgångarna under 2025 och hur vi kan ge organisationer rätt data för att fatta beslut i realtid.

Hannah Clark: Du har förutspått att produktanalys under de kommande åren kommer att utvecklas till kund- eller upplevelseanalys. Vilka trender och innovationer driver den förändringen?

Mario Ciabarra: Att förstå och lyssna på kunden handlar om mer än digital analys. Organisationer har redan mycket information som bara inte sätts samman. Det kan vara enkätdata, omdömen, avbrutna telefonsamtal, uteblivna leveranser och andra signaler.

Vi behöver kombinera offline- och onlineupplevelser för att få en 360-gradersbild. Är kunden nöjdare eller mindre nöjd i dag? Är kunden mer lojal eller mindre lojal? Det handlar om mer än enkäter och mer än digitala upplevelser.

Vi måste hjälpa chefer, produktansvariga, DevOps-team och andra grupper att förstå vilka ögonblick som är viktiga för kunden, abonnenten eller den målgrupp vi arbetar med – och hur vi kan förbättra dem.

Hannah Clark: Det här har varit oerhört intressant. Det är spännande att höra hur generativ AI kommer att förändra analys och göra den mycket enklare och mer tillgänglig, oavsett om man är en mycket datainriktad produktchef eller främst arbetar med mjuka färdigheter.

Tack för att du var med oss, Mario. Var kan våra lyssnare följa ditt arbete på nätet?

Mario Ciabarra: Följ mig gärna på LinkedIn. När det gäller mitt arbete kan ni besöka quantummetric.com. Där delar vi mycket innehåll och framgångshistorier från våra kunder, liksom information om vad som är på gång och vad som lanseras.

Besök quantummetric.com, följ Quantum Metric på LinkedIn och lyssna på framtida poddavsnitt här med Hannah och mig.

Hannah Clark: Fantastiskt. Tack så mycket för att du kom.

Mario Ciabarra: Tack, Hannah.

Hannah Clark: Tack för att ni lyssnade. För fler insikter, guider och verktygsrecensioner kan ni prenumerera på vårt nyhetsbrev på theproductmanager.com/subscribe. Ni kan höra fler samtal som detta genom att prenumerera på The CPO Club där ni brukar lyssna på poddar.