Hoe kan GenAI analyses toegankelijker maken voor productteams?

Lees het transcript:

We proberen onze podcasts te transcriberen met behulp van een softwareprogramma. Vergeef ons eventuele typefouten, want de bot heeft niet altijd 100% gelijk.

Hannah Clark: Of je nu de voorkeur geeft aan de term datagedreven, datageïnformeerd of verblind door data, het maakt niet uit—de technologie van vandaag kan niet overleven zonder datasets van hoge kwaliteit EN de hulpmiddelen om die effectief te gebruiken. Maar we kunnen het ons ook niet veroorloven om data te zien als de verantwoordelijkheid van slechts één of twee afdelingen binnen de organisatie—in plaats daarvan moeten we 2025 ingaan met een mentaliteit van datademocratisering. Met andere woorden: ons bedrijf draait om onze klanten, dus wat onze klanten zeggen, zou ieders zaak moeten zijn.

Mijn gast vandaag is Mario Ciabarra, oprichter en CEO van Quantum Metric. Quantum is een door Gen-AI aangedreven analyseplatform waarmee bedrijven data kunnen interpreteren in bruikbare inzichten voor verschillende belanghebbenden, zodat iedereen—van de productontwerper die net begint tot de oprichter van het bedrijf—empathie voor klanten kan verweven in elke beslissing. We bespraken hoe dit in de praktijk werkt, aandachtspunten rond datakwaliteit en enkele voorspellingen over hoe Gen-AI dit jaar en daarna de ontwikkeling van analyses zal aandrijven. Laten we beginnen.

Welkom terug bij de podcast van The CPO Club. We zijn hier vandaag met Mario Ciabarra.

Mario, bedankt dat je tijd hebt vrijgemaakt in je drukke agenda om vandaag met ons te praten.

Mario Ciabarra: Hannah, het is een absoluut genoegen. Bedankt dat je me hebt uitgenodigd.

Hannah Clark: Laten we beginnen zoals we dat altijd doen. Kun je ons iets vertellen over je achtergrond en hoe je terecht bent gekomen waar je nu bent bij Quantum Metric?

Mario Ciabarra: Ja, graag. Als kind kon je al aan de muur lezen dat ik later ondernemer zou worden.

Misschien kunnen we daar tijdens ons gesprek wat dieper op ingaan, maar hoe ben je als onderdeel van die ondernemersreis uiteindelijk hier terechtgekomen? Ik ben altijd gepassioneerd geweest door software, computertechniek en software-engineering, en het uitzoeken hoe we ervaringen beter kunnen maken viel eigenlijk precies in het centrum van die passie.

Het begon met de vraag: hoe maak ik dingen sneller, hoe maak ik ze performanter? En ik begon me te realiseren: kijk, je kunt ze snel maken, maar als ze niet goed zijn, maakt dat niets uit. Hoe creëer je geweldige ervaringen voor doelgroepen, van mijn 13-jarige dochter tot mijn 87-jarige vader? Zij hebben verschillende behoeften.

Hoe zorgen we ervoor dat onze ervaringen voor iedereen werken?

Hannah Clark: Ik wil het ook een beetje hebben over jouw leiderschapsaanpak, omdat je een behoorlijke reis in je carrière hebt afgelegd en eerder zei dat je passie zich heeft ontwikkeld van product en engineering naar aandacht voor mensen en empathie. Hoe heeft dat je leiderschapsaanpak beïnvloed?

Mario Ciabarra: Als je me vraagt naar het bedrijf: ik zat eraan te denken dat januari eraan komt en dat ik hier bij Quantum mijn tienjarig jubileum vier. Als je me negen of acht jaar geleden had gevraagd waar mijn passie bij Quantum lag, dan was dat absoluut het creëren van producten. Dat is nog steeds mijn passie. Maar er gebeurde iets vreemds, en dit is mijn vierde bedrijf.

De andere bedrijven die ik had waren klein. Ze bestonden uit één tot drie mensen. We bouwden producten, ontwikkelden engineeringproducten en verbeterden producten totdat ze succesvol waren. Wat me overviel, is dat we nu meer dan 400 teamleden hebben bij Quantum en dat ik niet eerst honderden mensen hoefde te bereiken. Het was toen we met tientallen mensen waren dat ik me realiseerde dat succesvolle bedrijven worden gebouwd op de rug van het team.

Je moet dus een geweldig team hebben en vervolgens beseffen dat de CEO, de oprichter en de leider van de organisatie verantwoordelijk zijn voor het leiden van dat team. En als dat allemaal niet goed samenwerkt, werkt het niet. Je kunt alle geweldige producten hebben die je wilt, maar het werkt niet. Echt succesvol worden draait dus om leiderschap over mensen en investeren in mensen.

Daarom is ons eerste bedrijfsdoel ook: gelukkige mensen en een gezonde, diverse cultuur. Ons tweede doel is klanten die enthousiaste fans zijn. Ons derde doel gaat over het behalen van economisch succes voor het jaar. Maar die eerste twee veranderen niet van jaar tot jaar. Natuurlijk verleggen we bij het derde doel elk jaar de lat als het gaat om ons succes voor dat jaar.

Ik denk dat sommige mensen en organisaties dat omdraaien. Ze richten zich op: hé, laten we een financiële doelstelling behalen. Dat is dit jaar ons doel. Ik denk niet dat je daar komt zonder gelukkige mensen. Ik denk niet dat je daar komt zonder enthousiaste fans onder je klanten. Het gaat er echt om dat je zegt: ja, ik wil economisch succes.

Natuurlijk wil ik dat. Maar laten we ons richten op onze mensen en op het leveren van waarde aan de klanten die hun vertrouwen en financiële middelen in ons hebben geïnvesteerd.

Hannah Clark: En natuurlijk is empathie daar een groot onderdeel van. Vandaag richten we ons op Generatieve AI en hoe die analyses toegankelijker kan maken voor productteams.

Maar voordat we de kern van dat gesprek bespreken, wil ik het hebben over het op schaal mogelijk maken van empathie, met zoveel gebruikers om rekening mee te houden. Welke rol zie je voor analyses bij het bevorderen van empathie binnen een grote gebruikersgroep?

Mario Ciabarra: Als je mensen moest bedienen met welk product of welke dienst dan ook, en het aantal mensen uit één cijfer bestond, denk ik niet dat analyses nuttig zijn.

Je helpt die persoon gewoon, je gaat een gesprek voeren met de twee klanten die je hebt. Wanneer twee verandert in twee miljoen, gaat er plotseling een lampje branden: ik kan niet met alle twee miljoen praten. Ik heb analyses nodig om de klant te begrijpen. Een gedachte die ik de laatste tijd heb, is: minder vragen en meer luisteren.

En dat zijn analyses. Het gaat echt om luisteren met data. Als ik bij traditionele analyses aan een grafiek of diagram op een scherm denk, dan is dat geweldig. Ik heb de grafiek gezien. Roept dat bij de meeste mensen vaak empathie op? Ik denk aan het moment waarop ik die grafiek kan verbinden met echte mensen.

Dan ontstaat bij mij empathie. Ik heb het gezien in de ogen van onze klanten en de mensen met wie ik spreek, en binnen ons team. Het gaat er echt om de grafiek te verbinden met de gebruikers die hij vertegenwoordigt. Dat is de basis geworden van wat Quantum is: hoe verbind ik ervaringen met informatie en wek ik empathie op om verandering in gang te zetten?

Hannah Clark: Ja. En ik vind dat citaat over luisteren ook geweldig. Dat is echt een interessante benadering. We denken niet vaak aan empathie wanneer we aan analyses denken; die twee lijken bijna tegengesteld aan elkaar. Maar in werkelijkheid stellen ze onze teams juist in staat om te begrijpen wat de gebruikers ons proberen te vertellen.

Vertel me iets meer over Generatieve AI en hoe die productanalyses toegankelijker kan maken voor teams, zodat de teams die aan de producten werken beter begrijpen wat gebruikers proberen te zeggen.

Mario Ciabarra: Er was een vroeg moment in deze reis bij Quantum waarop ik ging zitten met een geweldige productleider uit de retailsector.

We zijn de afgelopen zeven of acht jaar bevriend gebleven. Hij is naar verschillende organisaties gegaan, maar iets wat me bijbleef, gebeurde toen hij me na onze formele vergadering met zijn team meenam naar een kamer. Hij zei: Mario, je zou niet begrijpen hoeveel schuldgevoel productmanagers hebben omdat ze data niet genoeg gebruiken.

Dat is me de afgelopen zeven jaar bijgebleven. Hoe zorgen we ervoor dat de data toegankelijk is, zodat mensen zich niet schuldig voelen omdat ze die niet gebruiken? Dat de data eenvoudig te consumeren is en mensen uiteindelijk op grote schaal naar enorme hoeveelheden data kunnen luisteren om de juiste beslissingen te nemen die hun bedrijf vooruithelpen.

Maar dat bedrijf draait natuurlijk alleen maar om de klant bedienen. Hoe kunnen ze hun klanten beter bedienen met data? Dat is moeilijk. Daarom zei hij dat schuldgevoel: ik heb mijn dagelijkse werk en ja, ik wil data gebruiken, maar het lijkt overweldigend om de juiste data te vinden die iets zegt over het probleem dat ik probeer op te lossen.

Ik weet niet hoe ik ermee moet werken. De data staat op zestien verschillende locaties verspreid over allerlei hulpmiddelen. Ik weet niet welk hulpmiddel de juiste vraag zal beantwoorden. En eerlijk gezegd geef ik het gewoon op. Ik ga op intuïtie af. Klaar. Wij verzamelen al deze data en proberen die steeds eenvoudiger toegankelijk te maken.

Sterker nog, het uitgangspunt van het hele bedrijf was in het begin dat we T-shirts maakten met de tekst: we maken het eenvoudig. We maken analyses eenvoudig. En dat doen we: we proberen voortdurend uit te zoeken hoe we het eenvoudiger en toegankelijker kunnen maken voor allerlei doelgroepen, van marketeers, producteigenaren, merchandisers, DevOps-medewerkers en leidinggevenden tot analyseteams.

Al deze teams moeten toegang hebben tot informatie over wat er vanuit het perspectief van de klant gebeurt, en over hoe we het beter kunnen maken. Voor ons draait de komst van Generatieve AI dus om de taken die deze teams proberen uit te voeren om die data te begrijpen. Veel productleiders besteden bijvoorbeeld tijd aan het bekijken van herhalingen van gebruikerssessies en hun klantreis.

O, wauw. Ik wist niet dat ze daarop zouden klikken. O, ik wist niet dat ze daar eerst naartoe zouden gaan en daarna dit zouden doen. Er zijn allerlei geweldige inzichten. Het probleem met het bekijken van sessieherhalingen is dat het erg langzaam en vervelend is. Ik heb altijd gelachen wanneer mensen zeiden: o ja, we hebben filmavond, we halen popcorn en bekijken vervolgens een uur lang mensen en hun klantreis in een vergaderruimte.

Het is boeiend omdat het waardevol is, maar het is geen goed gebruik van je tijd. Wat als we Generatieve AI de herhalingen voor ons konden laten bekijken? Dat was het idee in januari, omdat we weten dat Gen-AI erg goed is in het samenvatten van dingen. Wat als we de magie van Gen-AI konden gebruiken om de klantreis van een gebruiker samen te vatten?

Dat heeft onze bedrijven versneld in de loop van 2024. Eind februari, begin maart 2024 brachten we dit product uit, Felix AI, en elk kwartaal versnelt onze onderneming omdat het meer teams toegang geeft tot inzicht in wat wel en niet werkt voor de gebruiker. En het gebeurt op schaal, want als het twintig minuten kost om één gebruiker te begrijpen en je hebt er 2.000.000, kun je de rekensom maken.

Het werkt gewoon niet. Als we twee seconden nodig hebben om één gebruiker te begrijpen, lukt het wel. Met Generatieve AI kunnen we ook helpen een segment te creëren. Deze gebruiker had moeite. Vertegenwoordigt die moeite één gebruiker of tien miljoen? Help me dat automatisch te doen. Zo wordt het toegankelijker om naar een grotere groep mensen te luisteren.

We zijn dus erg enthousiast over de manier waarop Gen-AI mensen beter kan laten luisteren.

Hannah Clark: Zoals je eerder zei, denk ik dat er enorm veel druk is om een data-expert te zijn, de juiste vragen te kunnen stellen en naar de juiste bronnen te gaan. Leg het voor me uit: hoe eenvoudig hebben we het precies over wanneer we zeggen dat we Gen-AI gebruiken om de data te analyseren, bijvoorbeeld wanneer een productmanager het platform gebruikt?

Kun je me misschien meenemen in een scenario, een mogelijk scenario, van hoe ze die data praktisch zouden kunnen gebruiken en het platform zouden kunnen inzetten?

Mario Ciabarra: Een van mijn favoriete verhalen, dat de waarde van wat we doen echt duidelijk maakt, gaat over het verbinden van deze informatie met verschillende doelgroepen.

Ik kies er een die we allemaal kunnen herkennen. Hannah, wanneer heb je voor het laatst je bank, telecomprovider, zorgverzekeraar of luchtvaartmaatschappij gebeld? Als je voor jezelf kunt bedenken wanneer je voor het laatst een van die aanbieders of dienstverleners hebt gebeld, dan heb je waarschijnlijk niet gebeld voordat je eerst zelfbediening had geprobeerd, toch?

Je zit in hun app of op hun website. Je probeert het te doen. Het werkt niet. En dan bel je. Je dacht niet: man, ik ben vandaag wakker geworden en het eerste wat ik ga doen is mijn zorgverzekeraar bellen. Je wilde het zelf regelen. Maar toen je aan het einde van die poging tot zelfbediening kwam en het niet werkte, belde je waarschijnlijk en kwam je in een interactief keuzemenu terecht waarin je een paar keer op één tot en met negen moest drukken om bij de juiste afdeling uit te komen.

Ze nemen op en zeggen: hoi Hannah, hoe gaat het? Laat me vertellen hoe het met mij gaat, toch? Ik probeer mijn zorgverzekering voor dit jaar te wijzigen of mijn dekking op te zoeken, en het werkte niet. O, wacht even, Hannah. Ik verbind je met een expert. Hoi Hannah, hoe gaat het? Zou het niet geweldig zijn als we dat gesprek konden veranderen in: we weten wat Hannah aan het doen was.

We weten waarvoor ze ons belt. We verbinden haar rechtstreeks met de expert. Hoi Hannah, het lijkt erop dat je je dekking in de app opzocht, maar een foutmelding kreeg. Onze excuses voor die foutmelding. Kan ik je daarmee helpen of met iets anders? Wat ik eigenlijk probeer over te brengen, is dat al deze bedrijven data hebben verzameld over wat Hannah op hun website of in hun app heeft gedaan.

Ze hebben die informatie alleen nog niet kunnen activeren in het callcenter. Dat is slechts één voorbeeld van een doelgroep waarvoor die informatie waardevol kan zijn. Dankzij Gen-AI konden we Hannahs klantreis in twee seconden samenvatten. In het verleden hadden we dit altijd al, maar was het beschikbaar in realtime?

Quantum had de realtimebeschikbaarheid, maar zelfs dan zou je kunnen zeggen: wacht even Hannah, laat me bekijken wat je de afgelopen dertig minuten hebt gedaan en dan kom ik bij je terug. Nee, het is eenvoudiger om Hannah te vragen wat ze wil of haar aan de telefoon op één tot en met negen te laten drukken. De mogelijkheid om samen te vatten wat Hannah deed, en het feit dat we weten dat Gen-AI goed is in samenvatten, heeft ons bedrijf veranderd.

Die toepassing in het callcenter is natuurlijk minder relevant voor onze productdoelgroep, maar denk aan de productmanager. Denk aan iemand die probeert te begrijpen waarom deze gebruiker niet heeft geconverteerd, zich niet heeft aangemeld, geen vlucht heeft geboekt, zijn dienst niet correct heeft gewijzigd of zijn adres niet heeft aangepast—wat de taak ook was die de gebruiker probeerde uit te voeren.

Hoe begrijp ik het waarom achter die klantreis? Daarvoor zijn vaak analyses, sessieherhalingen en allerlei verschillende hulpmiddelen nodig. We hebben logbestanden. Hoe maken we dat eenvoudiger? Hoe maken we het begrijpen van de klantreis eenvoudig voor de producteigenaar? Dat is wat Quantum met Gen-AI doet.

Laten we dat begrip in seconden transformeren. Ik denk bovendien dat het belangrijk is om het individu te begrijpen, maar daarna ook om te begrijpen: vertegenwoordigt deze ervaring, dit knelpunt of dit optimalisatiepunt een klein of een groot gebruiksscenario? Ik was deze week bij een grote bank hier in de VS en glimlachte van oor tot oor toen ik een uitspraak hoorde van een van de teamleden. Die zei: dit helpt me een operationele productmanager te zijn.

Ik had die term nog nooit gehoord, maar hij spreekt me erg aan. Er zijn productmanagers en ik denk dat we het denken van productmanagers moeten veranderen naar operationeel productmanagement. Hoe gebruik ik data om in realtime te begrijpen wat wel en niet werkt voor mijn klant, en hoe stuur ik in realtime bij om ervoor te zorgen dat onze klanten tevreden zijn?

Ik denk dat veel producteigenaren zeggen: ik heb mijn taken, ik heb mijn sprints, ik ga die uitvoeren. Ik richt me daarop. Ik ben klaar. Als de release klaar is, ben ik klaar en ga ik door naar de volgende sprint. Dat vind ik gek. Ik moet data gebruiken. Ik moet weten of ik op de juiste verandering wed, toch? Data gebruiken om ervoor te zorgen dat de verandering, het experiment of wat ik ook doe, het juiste is voor mijn gebruikers, op een geprioriteerde manier.

En wanneer ik het uitbreng, of het nu een experiment of een volledige release is, moet ik de data goed lezen om te begrijpen of het de juiste impact heeft. Ga niet door naar de volgende sprint. Zorg ervoor dat ik data gebruik om te bevestigen dat ik goede of slechte beslissingen neem en dat ik mijn manier van denken moet veranderen.

Want dit heeft niet de beweging veroorzaakt die ik dacht, of juist wel. En trouwens, ik wil dat aan mijn leidinggevenden laten zien. Ik gebruik onze middelen goed. Ik beïnvloed de klantervaring. En misschien verdien ik dit jaar wel een promotie, salarisverhoging of bonus. Data kan helpen bevestigen of ik goede of slechte beslissingen neem.

En dat is volgens mij wat een operationele productmanager is.

Hannah Clark: Er is momenteel een probleem waarbij er veel druk ligt op productmanagers om zeer degelijke beslissingen te nemen met behulp van data, terwijl ze zelf geen datawetenschappers zijn. Het is heel eenvoudig om verkeerde aannames te doen of data verkeerd te interpreteren, waardoor ons begrip en onze interpretatie worden misleid en er vervolgens onjuiste aannames ontstaan.

Het lijkt mij dat je sommige van die aannames beperkt wanneer je Gen-AI als een soort tussenpersoon gebruikt en er meer conversatiegericht mee werkt. Klopt dat? Of moeten we nog steeds voorzorgsmaatregelen nemen om ervoor te zorgen dat we met behulp van deze tool degelijke beslissingen nemen?

Mario Ciabarra: Ik denk niet dat het gaat om Gen-AI of geen Gen-AI, maar ik wil wel ingaan op het Gen-AI-gedeelte. Ik denk dat het gaat om de databron die we gebruiken. Wat ik geweldig vind aan de data die wij verzamelen, is dat die onbetwistbare waarheid biedt. Dit zijn woorden die onze klanten gebruiken. Wanneer je ziet dat een klant zijn dienst of telecomabonnement probeert te wijzigen of een vlucht probeert te boeken en dat niet lukt, kun je niet wegkijken.

Er zijn gewoon zoveel databronnen beschikbaar voor elk teamlid. Ik blijf even bij productmanagers. Als je tegen me zegt: Mario, ik moet dat je laat zien dat mijn beslissing juist is, dan kan ik letterlijk een databron binnen de organisatie vinden die bewijst dat ik gelijk heb. Dat is trouwens een vreselijke aanpak, doe dat niet.

Maar dat is een deel van het probleem: iedereen kan data vinden die zijn bevestigingsbias ondersteunt. O, ik doe het juiste. Daarom had ik het eerder over de operationele productmanager die bedrijfsdata gebruikt om te bevestigen dat zijn beslissingen juist zijn. Wanneer ze die release uitvoeren en die de bedrijfsindicatoren vooruithelpt, is dat geweldig.

Het gaat er dus om: welke data gebruik ik voor die bevestiging? Wij richten ons op de vraag hoe alles eruitziet vanuit het perspectief van de klant. Ik geef wel om logbestanden, prestaties van back-ends en dergelijke. Ik wil dat niet wegwuiven. Ik geef er alleen om wanneer ik erom moet geven. Ik denk niet dat we daar moeten beginnen, of we nu productmanagers, leidinggevenden of bedrijfseigenaren zijn.

Het begint niet met: hé, kijk, de API is sneller. Geweldig, iedereen krijgt dit jaar een bonus. Wie kan dat wat schelen? En ik zeg niet dat het mij niets kan schelen. Ik vraag: zou het mij iets moeten kunnen schelen? Een klant belt geen klantenservice, vult geen enquête in en tweet of mailt de CEO niet met een klacht waarin staat: hé, ik zit in experiment B, ik zit in campagne C en deze API is defect. Zo praten ze gewoon niet. Ze zeggen: je website is waardeloos, je app is waardeloos en ik ben gefrustreerd.

Hoe zorgen we er dus voor dat de productorganisatie ernaar kijkt vanuit het perspectief van de klant? Dat is volgens mij de kern van je vraag. En ja, absoluut, ik wil Gen-AI toevoegen om die data toegankelijker en gemakkelijker te begrijpen te maken. Volgens mij ligt de uitdaging niet in de vraag of organisaties toegang hebben tot het perspectief van de klant.

Er zijn allerlei manieren om dat te doen. De vraag is hoe ze die informatie interpreteren om de juiste, weloverwogen beslissingen te nemen en niet te denken: o, maar dit logbestand zegt dit en deze API zegt dat. Ik heb dat binnen organisaties zien gebeuren. Ik heb tientallen mensen urenlang zien zwoegen om de juiste beslissing te nemen op basis van de verkeerde data.

Volgens mij komt het er echt op neer of je ernaar kijkt vanuit het perspectief van de klant. Dat is eigenlijk de enige manier waarop een bedrijf geleid zou moeten worden. Richt je eerst op de klant. En zeg vervolgens: ja, de klant is hier gefrustreerd. Wauw, ik heb dat kunnen terugbrengen tot een API of de logbestanden die deze regel code volgen. Laten we daar onze energie en inspanningen op richten.

Maar soms was het gewoon niet duidelijk dat iemand op deze knop moest klikken, of stond de knop onder de vouw en zou de gebruiker hem nooit zien. Er zijn allerlei onderdelen vanuit het perspectief van de gebruiker die worden gemist in logbestanden en API's. De databron zou in wezen moeten luisteren naar de klant, niet noodzakelijkerwijs de klant vragen stellen.

Ik verbind dat in mijn hoofd met een enquête: is een klant tevreden of niet? Ik zie de waarde van enquêtes en wijs geen van deze andere technieken af, maar ze moeten op het juiste moment worden gebruikt. Het gaat er volgens mij echt om eerst te kijken en te luisteren vanuit het perspectief van de klant.

Hannah Clark: Je hebt je in het verleden ingezet voor het democratiseren van data binnen organisaties. Wat betekent dat om te beginnen voor jou, en met welke uitdagingen krijgen bedrijven doorgaans te maken wanneer ze data toegankelijker proberen te maken tussen afdelingen?

Mario Ciabarra: We hebben volgens mij een evolutie gezien in het gebruik van data tot het jaar 2000. Sommige luisteraars denken misschien: ja, mensen gebruikten ook vóór 2000 data. Maar voor mij kwam digitaal tot leven door het gebruik van data. Ik noem bijvoorbeeld voor de oudere luisteraars webtrends. Ik herinner me dat ik rond 1995 webtrends gebruikte om analytische data uit logbestanden te halen.

Daarna gingen we verder met bedrijven als Omniture, en Urchin was de vroegere naam van Google Analytics. We begonnen pixels te verzamelen en klantreizen en ervaringen op die manier te begrijpen. Het begon dus bij marketinganalyses. Als we het ergens moeten plaatsen, dan vond het begrijpen van digitaal plaats binnen marketing. Vervolgens zagen we de opkomst van de wereld van APM en ontstonden allerlei DevOps-analyses.

Daarna zagen we ervaringsanalyses met bedrijven als TeaLeaf en ClickTale. Die bestaan vandaag over het algemeen niet meer in hun oorspronkelijke vorm, maar ze waren de eerste poging om de gebruikerservaring te begrijpen, van heatmaps tot sessieherhalingen. En in de afgelopen vijf tot tien jaar zijn productanalyses als categorie ontstaan.

Ik neem afstand, luister naar onze klant en zie echt de consolidatie van al deze verschillende puntoplossingen of geïsoleerde analyses. Hoe neem ik deze data en democratiseer ik die binnen de organisatie om het waarom te begrijpen? In elk van die systemen was het eenvoudig om het wat te begrijpen: hé, kijk, er is uitval bij fase drie van de trechter en we hebben slechts 2 procent conversie op onze retailwebsite.

Dat hebben volgens mij alle systemen redelijk goed gedaan. Maar waarom vallen mensen uit bij stap drie? Ik denk dat de reis naar het begrijpen van dat waarom er anders uitziet voor een producteigenaar, DevOps-eigenaar, merchandiser en marketeer. Omdat data voor die toepassingen zo vergelijkbaar is, denk ik niet dat het logisch is om al die puntoplossingen te hebben.

Het doel voor ons is dus: hoe nemen we dat begrip van data en maken we het bruikbaar voor al deze verschillende persona's? Die reis ziet er anders uit. De hulpmiddelen ook. Neem bijvoorbeeld een UX-ontwerper. Die besteedt doorgaans geen tijd in analysehulpmiddelen.

Maar wanneer we de analytische data over elkaar heen leggen in een vorm waar zij vertrouwd mee zijn—bijvoorbeeld het scherm—kunnen we zien waar mensen op klikken en of dat tot succes leidt. Bij retail of een aankoop begint dat de verbinding te leggen tussen de inhoud, de indeling en de merchandise enerzijds en de financiële doelen die we proberen te behalen anderzijds.

Uiteindelijk is dat waar klanten voor naar je website kwamen. Ze kwamen meestal niet om inhoud te bekijken en te lezen. Ze kwamen waarschijnlijk met de gedachte: hé, als je het product hebt dat ik wil en de prijs klopt, dan koop ik het. Hoe maken we dat eenvoudiger voor die consument?

Voor ons betekende het bruikbaar maken van die data voor een UX-ontwerper dat we de data over de website legden waarop die persoon werkte. Voor een APM-medewerker of DevOps-medewerker kan het bijvoorbeeld gaan om de vraag of de pagina snel genoeg laadt en of er API-fouten zijn. Voor een producteigenaar kan het gaan om: hé, aan welk experiment namen ze deel en bij welke stap ging het mis?

Je denkt dus na over de verschillende soorten vragen en de juiste vormen om die informatie voor de verschillende persona's te presenteren. Dat betekent dat data voor mij democratiseren: dezelfde basislaag van data bruikbaar maken voor verschillende persona's, zodat we niet zestien puntoplossingen hebben die door onze organisatie moeten worden onderhouden.

Wanneer ik deze organisaties binnenga, zie ik mensen ruzie maken over de meest alledaagse dingen: hé, jouw data verschilt van die van mij. Ik heb 2,3 procent. Jij hebt 2,4 procent. Er klopt iets niet. Wat is er aan de hand? Vervolgens besteden ze uren en dagen aan het terugbrengen van dat verschil. Als we gewoon één systeem hadden en het eens konden worden, zou dat beter zijn.

Ik denk niet dat 2,3 tegenover 2,4 procent het belangrijkste punt is om over te discussiëren. Laten we accepteren dat onze definitie van een sessie of gebruiker kan verschillen. Waar hebben ze moeite mee? Waar kunnen we de ervaring optimaliseren? Hoe krijgen we ze met minder klikken of minder knelpunten sneller door het afrekenen?

Hoe maken we de ervaring beter? Dat is een kans voor Gen-AI om dit eenvoudiger te maken. Een van de dingen die we met Felix AI deden nadat we beseften dat we intentie en een gebruiker konden samenvatten, was: wauw, we kunnen dit voor een andere doelgroep vormgeven.

Iemand wil misschien een korte samenvatting. Maar ik noemde de persona van het callcenter. Die wil niet alle details kennen. Die wil alleen weten: hoe communiceer ik op een zeer efficiënte manier met de klant? De producteigenaar wil misschien weten aan welk experiment de gebruiker deelnam, welke stappen hij doorliep en met welke functies hij interactie had.

Een DevOps-medewerker wil misschien weten welke pagina's langzaam of snel laden. We kunnen de reactie van Gen-AI afstemmen op die doelgroep. Dat heeft onze klantenbasis veranderd, omdat het eenvoudigere toegang biedt tot de informatie die ze nodig hebben voor de juiste persona.

Hannah Clark: We hebben nog een paar onderwerpen te behandelen die behoorlijk van elkaar verschillen. Dus ik ga hier wat sneller doorheen.

Datakwaliteit. Laten we het daarover hebben. Veel bedrijven worstelen met datakwaliteit. Hoe helpt Gen-AI enkele van de problemen te beperken die we vaak binnen organisaties zien?

Mario Ciabarra: Hannah, ik glimlach van oor tot oor, want dit is een project dat me sinds 2015 na aan het hart ligt.

Toen we onze eerste uitlegvideo maakten, zeiden we in die video dat we dit zouden gaan doen. Ik heb geen manier gevonden om het te doen. En toen kwam Gen-AI. Ik ben zo enthousiast dat we tegen het einde van dit kwartaal, dus binnen de komende paar weken, een product uitbrengen dat dit doet en daadwerkelijk de data vindt die we nodig hebben om beslissingen te nemen voor ons bedrijf.

Ik heb de afgelopen weken gereisd en elke klant en potentiële klant die ik sprak, stelde ik een heel eenvoudige vraag: hoe vaak klopt je data? En hoe vaak is die fout? Je zou ervan schrikken dat ze allemaal zeggen dat ze wekelijks beslissingen moeten nemen zonder over de volledige data te beschikken.

Hoe moeilijk is het om beslissingen te nemen zonder de juiste data? Wat is dus de waarde van altijd over de juiste data beschikken? Er bestaat in marketing en op de markt wat verwarring over automatisch vastleggen, automatisch taggen en dergelijke. We zijn nog niet op het punt gekomen waarop we de juiste informatie kunnen extraheren—misschien verdergaand dan taggen—om de juiste informatie te verzamelen om ons bedrijf te runnen, omdat ik steeds zie dat mensen niet over de juiste informatie beschikken.

Wat ik telkens weer van producteigenaren hoor, is: we zitten in een sprint. Analyses staan in onze planning. Aan het einde van de sprint duiken er allerlei bugs op. Ik kan de juiste data taggen en mijn analytische informatie ophalen, of ik kan de bugs oplossen. En je weet wat ze allemaal kiezen.

Ze gaan uiteindelijk naar productie zonder de analytische data te hebben om te begrijpen of ze succesvol zijn met de nieuwe mogelijkheden die ze hebben uitgebracht. Hoe gek is dat? Wat als we dat met Gen-AI konden automatiseren? Wat als we Gen-AI konden vragen: hé, ik heb deze stukjes informatie nodig, zoek ze in experiment A, B en C, zonder dat ik specifiek hoef te zeggen waar ze staan?

Ik hoef het niet samen met mijn engineers te taggen. Haal gewoon de juiste informatie uit de interacties van onze website- en appgebruikers. De blik op iemands gezicht wanneer we dit product demonstreren—ik sprak met een brancheanalist en zei: op een schaal van één tot tien wil ik weten wat je hiervan vindt.

Ik liet het product werkend zien. Ze zei: tien plus. Dit is geweldig.

Hannah Clark: Ja. Daar krijg je bijna vochtige ogen van.

Mario Ciabarra: Ik ben enthousiast over het succes van 2025 en over hoe we organisaties in staat stellen om de juiste data te hebben om in realtime beslissingen te nemen.

Hannah Clark: Dat is echt spannend. En alvast gefeliciteerd.

Oké, laten we het, nu we het over 2025 hebben, over de toekomst hebben. Je hebt voorspeld dat productanalyses zich de komende jaren zullen ontwikkelen tot klant- of ervaringsanalyses. Welke trends of innovaties zie je deze transformatie aandrijven?

Mario Ciabarra: De klant begrijpen en naar de klant luisteren gaat verder dan alleen digitale analyses.

Er is veel informatie die we kunnen halen uit wat al binnen organisaties is verzameld. Die informatie wordt alleen nog niet samengevoegd. Ik geef je een voorbeeld. Bij Quantum halen we vandaag enquêtegegevens op. We integreren met de belangrijkste aanbieders van enquêtes. Soms willen we data gebruiken om te luisteren zonder te hoeven vragen waar de knelpunten liggen.

Soms is het juist geweldig om het gewoon te vragen: Hannah, ben je tevreden of niet? Hebben we data gebruikt om Hannahs ervaring succesvol te begrijpen? Als dat overeenkomt met de data die we verzamelen, geweldig. Als dat niet zo is, ontbreekt er iets en kunnen we het deel van de ervaring vinden dat we voor Hannah nog niet goed begrepen.

Maar het gaat om meer dan enquêtes. Wat gebeurt er wanneer Hannah een beoordeling invult? We hebben haar dat niet gevraagd. Ze zegt gewoon: hé, ik ben dol op dit product, of: ik ben echt ontevreden over dit product. Neem een telecomprovider. Wat gebeurt er wanneer Hannah deze maand drie keer een telefoongesprek verliest? Denk je dat ze haar abonnement volgende maand bij die telecomprovider zal verlengen?

Misschien is dat niet het enige wat moet gebeuren. Maar misschien heeft ze een nieuwe iPhone besteld en komt die aan. Een van mijn teamleden bestelde dit jaar letterlijk een nieuwe iPhone bij een telecomprovider, maar kreeg hem nooit. Denk je dat die persoon nog steeds bij die telecomprovider wil blijven en verlengen?

Er zijn dus allerlei stukjes data die we kunnen begrijpen in een 360-gradenbeeld, waarin zowel onze offline- als online-ervaringen samenkomen. Fundamenteel proberen we bij Quantum al tien jaar naar klanten te luisteren. Zijn ze vandaag tevredener of minder tevreden? Zijn ze vandaag loyaler of minder loyaal?

Het gaat absoluut om meer dan enquêtes. Het gaat absoluut om meer dan digitale ervaringen. Hoe combineren we al die informatie om leidinggevenden, producteigenaren, DevOps-medewerkers en al die verschillende teams te helpen begrijpen welke punten belangrijk zijn voor de klant, abonnee of welke doelgroep we ook hebben, en hoe maken we het voor hen beter?

Hoe richten we ons op de momenten die ertoe doen?

Hannah Clark: Dit was allemaal ontzettend interessant. Het is geweldig om te horen hoe Generatieve AI het speelveld voor analyses volledig gaat veranderen en het zoveel eenvoudiger en toegankelijker gaat maken voor iedereen, of je nu een zeer datagerichte productmanager bent of juist veel meer op soft skills gericht bent. Heel spannende ontwikkelingen dus.

Bedankt dat je bij ons was, Mario. Waar kunnen onze luisteraars je werk online volgen?

Mario Ciabarra: Volg me gerust op LinkedIn. Voor mijn werk kun je terecht op quantummetric.com. We delen daar veel content over succesverhalen van onze klanten, wat eraan komt en wat er wordt uitgebracht.

Bezoek dus quantummetric.com, volg Quantum Metric op LinkedIn en luister naar toekomstige podcasts hier met Hannah en mij.

Hannah Clark: Geweldig. Heel erg bedankt dat je er was.

Mario Ciabarra: Dank je, Hannah.

Hannah Clark: Bedankt voor het luisteren. Abonneer je voor meer geweldige inzichten, praktische handleidingen en beoordelingen van hulpmiddelen op onze nieuwsbrief via theproductmanager.com/subscribe. Je kunt meer gesprekken zoals dit horen door je te abonneren op The CPO Club, waar je je podcasts ook beluistert.