In che modo GenAI può rendere l’analisi dei dati più accessibile ai team di prodotto?

Leggi la trascrizione:

Stiamo iniziando a trascrivere i nostri podcast utilizzando un software automatico. Per favore perdona eventuali errori di battitura, il bot non è sempre preciso al 100%.

Hannah Clark: Che tu preferisca il termine orientato ai dati, informato dai dati o affascinato dai dati, non importa: la tecnologia di oggi non può sopravvivere senza set di dati di alta qualità E gli strumenti per utilizzarli in modo efficace. Ma non possiamo più permetterci di pensare ai dati come responsabilità di uno o due dipartimenti dell'organizzazione—invece, dobbiamo entrare nel 2025 con una mentalità di democratizzazione dei dati. In altre parole, il nostro business sono i nostri clienti, quindi ciò che dicono i clienti deve essere affare di tutti.

Il mio ospite di oggi è Mario Ciabarra, Fondatore e CEO di Quantum Metric. Quantum è una piattaforma di analytics alimentata da Gen-AI che permette alle aziende di interpretare i dati e trasformarli in intuizioni utili per diversi stakeholder, in modo che tutti—dal designer di prodotto del primo giorno al fondatore dell’azienda—possano integrare empatia per i clienti in ogni decisione. Abbiamo parlato di come tutto ciò funzioni nella pratica, delle considerazioni sulla qualità dei dati e di alcune previsioni su come Gen-AI guiderà l’evoluzione dell’analisi dei dati quest’anno e oltre. Iniziamo subito.

Bentornati a The CPO Club podcast. Siamo qui oggi con Mario Ciabarra.

Mario, grazie per aver trovato il tempo nella tua agenda fitta per parlarci oggi.

Mario Ciabarra: Hannah, è un vero piacere. Grazie per avermi invitato.

Hannah Clark: Iniziamo come sempre. Raccontaci qualcosa del tuo background e di come sei arrivato dove sei oggi in Quantum Metric?

Mario Ciabarra: Certo, volentieri. Guardando indietro, fin da bambino si poteva intuire che sarei diventato un futuro imprenditore.

Magari ne parleremo nel corso della discussione, ma come sono arrivato qui oggi fa parte di quel percorso imprenditoriale? Ho sempre avuto una passione per il software, l’ingegneria informatica, lo sviluppo software e il desiderio di migliorare le esperienze, che è perfettamente al centro di quella passione.

All’inizio si trattava di come rendere le cose più veloci, più performanti. Poi mi sono reso conto che puoi renderle veloci ma, se non sono eccellenti, non serve a nulla. Come si creano esperienze straordinarie per pubblici diversi, dalla mia figlia tredicenne a mio padre ottantasettenne, con esigenze diverse?

Come facciamo a garantire che le nostre esperienze funzionino per tutti?

Hannah Clark: Vorrei parlarti un po’ del tuo approccio alla leadership, perché hai fatto un percorso notevole nella tua carriera e hai detto che la tua passione si è evoluta dal prodotto e dall’ingegneria fino a concentrarsi sulle persone e sull’empatia. Come questo ha influenzato il tuo stile di leadership?

Mario Ciabarra: Se mi chiedi, l’azienda tra poco, a gennaio, festeggerà il mio decimo anniversario qui in Quantum. E se me lo avessi chiesto otto o nove anni fa, la mia passione era assolutamente creare prodotto. Lo è ancora oggi. Ma è successa una cosa strana—questa è la mia quarta azienda.

Le altre aziende erano piccole, una o tre persone. Creavano prodotto, lo ingegnerizzavano, iteravano il prodotto fino al successo. Quello che mi ha colto di sorpresa è che ora siamo oltre 400 persone in Quantum e, non c’è stato bisogno di arrivare a centinaia, già con le prime dozzine ho capito che le aziende di successo si costruiscono sulle spalle del team.

E quindi serve un team incredibile e poi capire che il CEO, il fondatore, il leader ha la responsabilità di guidarlo. E se questo non funziona, puoi avere il miglior prodotto del mondo, ma non basta. Creare il vero successo riguarda la leadership sulle persone, investire sulle persone.

Ed è per questo che il nostro primo obiettivo aziendale è “persone felici, una cultura sana e diversificata”. Il secondo sono “clienti come fan entusiasti”. Il terzo riguarda il raggiungimento del risultato economico annuale. Ma i primi due non cambiano anno dopo anno. Ovviamente il terzo lo aggiustiamo ogni anno secondo gli obiettivi di successo.

Credo che alcune aziende sbaglino in questo: mettono davanti la metrica finanziaria. Non ci arrivi se prima non hai persone felici. Non ci arrivi se non hai clienti entusiasti. Certo che voglio il successo economico, ma concentriamoci sulle persone e sui clienti che ci hanno affidato la loro fiducia e il loro denaro.

Hannah Clark: E ovviamente, l’empatia è una parte fondamentale. Oggi ci concentreremo sull’intelligenza artificiale generativa e su come possa rendere l’analisi dati più accessibile ai team di prodotto.

Ma prima di entrare nel vivo, vorrei parlare di come sviluppare empatia su larga scala, considerando il gran numero di utenti. Come vedi l’analisi dati nel favorire l’empatia su una vasta base di utenti?

Mario Ciabarra: Se avessi solo pochi clienti da servire con il tuo prodotto o servizio, l’analisi dati non servirebbe molto.

Basterebbe aiutare il cliente direttamente, parlare con i due clienti che hai. Ma quando quei due diventano 2 milioni, scatta la lampadina: non posso più parlare con tutti. Ho bisogno degli analytics per capire i clienti. Negli ultimi tempi sto inseguendo il concetto di chiedere meno e ascoltare di più.

E questo è ciò che fanno gli analytics: ascoltare attraverso i dati. Quando penso ai grafici o i diagrammi a schermo, riguardo alle analitiche tradizionali, certo, vedi il grafico, ma non genera spesso empatia. Per me, l’empatia nasce quando riesco a collegare il grafico alle persone reali.

L’ho visto negli occhi dei nostri clienti e delle persone con cui parlo, anche tra il nostro team: si tratta davvero di collegare i grafici agli utenti che rappresentano. Questa è la base di ciò che è diventato Quantum: come connettere le esperienze alle informazioni e stimolare empatia per generare cambiamento.

Hannah Clark: Sì. Mi piace la frase “è tutto sull’ascolto”. È un approccio molto interessante. E spesso non pensiamo all’empatia quando pensiamo agli analytics—sembrano quasi opposti—ma in realtà permettono ai team di capire che cosa stanno cercando di dirci gli utenti.

Raccontami un po’ di intelligenza artificiale generativa e di come può rendere le analytics di prodotto più accessibili, permettendo ai team di prodotto di cogliere meglio i bisogni degli utenti.

Mario Ciabarra: All’inizio del percorso in Quantum ho parlato con un importante leader di prodotto retail, persona fantastica.

Siamo rimasti in contatto anche dopo sette-otto anni. Ha cambiato più aziende ma mi ha colpito quando, dopo una riunione con il suo team, mi ha preso da parte e mi ha detto: “Mario, non puoi immaginare il senso di colpa che i product manager provano per non usare abbastanza i dati”.

Mi è rimasto impresso per sette anni. Come rendiamo i dati accessibili senza far sentire nessuno in colpa se non li usano, così semplici da consultare da rendere lo “skill di ascolto” applicabile su grandi volumi di dati e prendere decisioni migliori per il business?

Ma in fondo il business serve solo il cliente. Come si usano i dati per servire meglio il cliente? Ed è difficile. Per questo si sente quella colpa: voglio usare i dati, ma è difficile trovare quelli giusti per il problema che devo risolvere.

Non so come interfacciarmi, sono in 16 posti diversi, su tantissimi strumenti. Non so quale strumento risponde alla domanda giusta. E spesso ci si arrende: si va di intuito. Fine. Per questo, raccogliendo tutti questi dati, cerchiamo di renderli sempre più semplici e accessibili.

All’inizio facevamo anche le magliette: “rendiamo semplice l’analisi dei dati”. E ci siamo riusciti: sempre alla ricerca della semplicità e maggiore accessibilità per pubblici diversi: marketing, product owner, visual merchandiser, dev ops, executive, team di analytics.

Tutti questi team hanno bisogno di accedere alle informazioni dal punto di vista del cliente. Come migliorare? Qui entra in gioco la GenAI: quali sono i task che questi team devono compiere per comprendere i dati? Ad esempio, molti leader di prodotto passano tempo a guardare replay delle sessioni utente.

“Wow, non sapevo che cliccassero lì”, “non pensavo facessero prima questo e poi quello”. Sono insight fantastici. Il problema è che vedere sessioni utente è lento e noioso. Mi fa sorridere quando dicono: “organizziamo una serata cinema con popcorn e guardiamo le sessioni insieme per un’ora”.

È affascinante, certo, ma non ottimizza il tempo. E se l’AI generativa guardasse le sessioni per noi? È stato proprio così che a gennaio, sapendo che la GenAI è brava nei riassunti, abbiamo pensato: “applichiamo la GenAI per riassumere il percorso utente”.

E così è stato: la nostra attività si è accelerata durante il 2024 col lancio di Felix AI tra febbraio e marzo 2024, crescendo ogni trimestre perché offre più comprensione a sempre più team su cosa funziona (e cosa no) per l’utente, su larga scala. Perché se ci vogliono 20 minuti per capire un solo utente e tu ne hai 2 milioni, fa presto a non funzionare.

Se invece servono 2 secondi, la GenAI aiuta anche a segmentare: “questo utente ha avuto problemi: quanti sono come lui?” Fatto automaticamente. Ecco l’accessibilità del “listening” su ampie platee.

Siamo davvero entusiasti di come GenAI permetta ascolto su larga scala.

Hannah Clark: Concordo: c’è moltissima pressione sui PM e sugli altri ruoli ad essere “esperti dei dati”, sapersi porre le domande giuste, andare alle fonti giuste. Come quanto è davvero semplice? Potresti raccontare una situazione tipo in cui, ad esempio, un product manager usa la piattaforma con la GenAI per leggere i dati?

Mario Ciabarra: Una delle mie storie preferite che chiarisce il valore di quello che facciamo riguarda la capacità di collegare le informazioni a diversi tipi di pubblico.

Ecco un esempio: Hannah, qual è l’ultima volta che hai chiamato la tua banca, la tua compagnia telefonica, il tuo assicuratore sanitario o la compagnia aerea? Probabilmente ci hai provato da sola prima, giusto?

Sei andata sull’app o sul sito. Ci hai provato senza riuscirci, e allora hai chiamato. Non hai pensato: “oggi mi sveglio e chiamo l’assicurazione sanitaria!” Ci hai provato, non ha funzionato e allora hai chiamato.

E dopo l’infinito IVR tra 1 e 9, ti risponde qualcuno: “Ciao Hannah, come stai?” Spieghi e loro ti dicono: attenda che la passo all’esperto… “Ciao Hannah, come posso aiutare?” Non sarebbe fantastico se la conversazione fosse: “Ciao Hannah, vediamo che stai cercando la copertura nell’app e hai ricevuto un errore. Possiamo aiutarti con questo o c’è altro?” Tutte queste aziende raccolgono dati su ciò che fa Hannah, ma non li hanno “attivati” al contact center.

La GenAI permette di riassumere il percorso di Hannah in 2 secondi. Prima avevamo la possibilità di girare i dati in tempo reale, ma comunque serviva tempo per guardarli. Adesso basta: si risparmia tempo sia per l’agente che per il cliente.

Questo esempio riguarda il call center (meno per chi fa prodotto), ma pensa a un product manager. Sta provando a capire perché un utente non converte, non si registra, non riesce a prenotare il volo, cambiare servizio ecc.

Come capire il perché dietro al percorso? Analytics, session replay, log… Come rendere tutto più semplice? Come dare al product owner una comprensione veloce del percorso? Quantum, con Gen-AI, trasforma questa comprensione in pochi secondi.

Capire il singolo è importante—ma poi: “questa frizione è diffusa o rara?” Proprio questa settimana ero in una grande banca negli USA, dove ho sentito dire “questo mi aiuta ad essere un product manager operativo”—una definizione che condivido molto. Spesso il PM classico termina lo sprint e pensa di aver finito. Ma bisogna usare i dati, capire se si è puntato sulla modifica giusta, misurare l’impatto sul dato vero, non passare subito allo sprint successivo.

Serve leggere i dati per vedere se la soluzione proposta funziona e, in caso contrario, correggere. Solo così si può dimostrare alla leadership che si stanno usando bene le risorse, migliorando l’esperienza cliente e—magari—meritare una promozione o un bonus. I dati servono a convalidare buone o cattive decisioni.

Questo per me è il vero product manager operativo.

Hannah Clark: C’è il problema che molti PM sono sotto pressione per prendere decisioni impeccabili coi dati ma non sono scienziati dei dati. È facile fare assunzioni errate o interpretare male i dati. Se usi GenAI come intermediario e lo usi in modo conversazionale, questa cosa si riduce? O servono comunque cautele per assicurare la bontà delle decisioni prese?

Mario Ciabarra: Non credo che sia una questione di Gen-AI sì o no, ma riguarda la fonte dati usata. Quello che adoro dei dati che raccogliamo è che sono “verità indiscutibili”. E sono parole dei nostri clienti: se vedi che un cliente prova a cambiare il suo piano telefonico o prenotare un volo senza riuscirci, non puoi ignorare il dato.

Ci sono tantissime fonti di dati nelle aziende—facciamo l’esempio del PM—e se mi chiedi: “Mario, mi serve la prova che la mia decisione sia giusta”, posso trovare un dato in azienda che lo conferma. Terribile! Non si deve fare. Ma succede: ognuno cerca la conferma dei propri bias. Per questo parlo di product manager operativo: bisogna usare i dati “di business” veri per confermare che ci si sta muovendo nella direzione giusta. Se la feature lanciata muove la metrica business, perfetto! Ma quale fonte uso?

Io guardo tutto dal punto di vista del cliente. Certo, mi interessano i log o le prestazioni server, ma solo quando necessario. Non bisogna partire da lì: “l’API è veloce, basta”. Chi se ne importa. Perché il cliente che chiama o invia una survey non dice: “sono nell’esperimento B con l’API C guasta”, dice invece: “il sito non funziona e sono frustrato!”

Quindi, bisogna partire dal punto di vista del cliente: questa è la chiave. Sì, usare Gen-AI per rendere tutto più accessibile e comprensibile. Il problema non è più tanto l’accesso alla visione del cliente, ma interpretare correttamente quei dati per non perdersi dietro a log o API. Ho visto team perdere giorni a prendere una decisione sui dati sbagliati.

Alla fine è: state guardando dal punto di vista del cliente? È l’unico modo in cui un’azienda deve essere gestita. Prima il cliente. Se poi serve, allora si cercano i bug tecnici. Ma a volte sono cose più semplici—un bottone nascosto, un testo poco visibile—ma fondamentali per l’esperienza utente e spesso invisibili su log e API.

Bisogna ascoltare prima il cliente. Survey e tutto il resto vanno bene, ma usati nel modo e momento giusto. Ma partire “guardando” (cioè ascoltando) dal punto di vista di chi usa.

Hannah Clark: Hai sempre sostenuto la democratizzazione dei dati nelle aziende. Che cosa significa per te, innanzitutto, e quali sono le sfide che le aziende incontrano nel rendere i dati più accessibili tra i dipartimenti?

Mario Ciabarra: Abbiamo visto un’evoluzione nel modo di consumare i dati. Negli anni 2000, e sicuramente chi ascolta lo faceva anche prima, è nel digitale che ho visto emergere l’uso dati. Faccio l’esempio degli OG: web trends, nel 1995 usavo web trends per estrarre analytics dai log file.

Poi siamo evoluti su strumenti come Omniture e Urchin (diventato Google Analytics), iniziando a collegare pixel e capire i percorsi utenti—nate come analytics per il marketing. Poi è arrivato l’APM, analytics DevOps. Poi ancora analytics di esperienza utente, con aziende come tea leaf e click tail (ormai non esistono più come allora) che offrivano le prime analisi esperienziali (heatmap, session replay).

Infine, negli ultimi 5-10 anni sono nate le product analytics. Io ascolto i nostri clienti e vedo la convergenza di tutte queste soluzioni verticali verso un bisogno di democratizzazione: come trasformare questi dati per tutta l’azienda per capire davvero il “perché” dietro i numeri. Ogni sistema è bravo a dire “cosa” succede (es: solo il 2% completa il funnel), pochi sul “perché”.

Il viaggio per capire quel “perché” è diverso per ogni ruolo—owner di prodotto, DevOps, merchandiser, marketer—ma i dati di base sono simili. Non ha senso avere 16 soluzioni verticali. Il nostro obiettivo è rendere i dati fruibili da ogni persona. Lo strumento cambia a seconda del ruolo: ad esempio, un UX designer non sta dentro ai tool analytics, ma se sovrapponiamo i dati sullo schermo che usa (es: sul sito), ecco che superficie e conversione si collegano ai risultati economici.

I clienti non entrano sul sito per navigare a caso ma spesso per comprare, portarli a completare meglio il compito è ciò che vogliono. Quindi, per il designer, mostriamo i dati direttamente sulla pagina; per il DevOps verifiche API e performance; per il product owner: quale esperimento, quale step ha avuto problemi?

Questa per me è democratizzazione: rendere i dati base accessibili a tutti in formati diversi evitando mille soluzioni e discussioni inutili (“Il mio 2.3% è diverso dal tuo 2.4%”). Se avessimo un unico sistema concordato, discuteremmo sulle cose che contano: dove sta la frizione, come miglioriamo l’esperienza, come completiamo acquisti più rapidamente e facilmente per il cliente.

La GenAI qui aiuta moltissimo: ad esempio, con Felix AI possiamo modellare il riassunto dei dati per ognuno—il call center vuole solo il punto chiave, il product owner cerca step, esperimenti e feature, il DevOps vede performance. Così ognuno trova ciò che serve in modo rapido secondo il proprio ruolo.

Hannah Clark: Ancora due temi, ma veloce.

Qualità dei dati. Molte aziende fanno fatica. Come può Gen-AI mitigare problemi tipici in tema di data hygiene?

Mario Ciabarra: Hannah, sorrido da un orecchio all’altro perché questo progetto mi sta a cuore dal 2015.

Allora realizzammo il primo video esplicativo e dicemmo che avremmo fatto proprio questo. Non ci ero riuscito—fino ad ora. Ora con GenAI è possibile! Sono felice che entro fine trimestre (tra poche settimane) lanciamo un prodotto che individua automaticamente i dati necessari per prendere decisioni.

In ogni azienda dove sono stato di recente chiedo: “quanto spesso i vostri dati sono corretti? E quanto spesso sono sbagliati?” Tutti rispondono: settimanalmente prendono decisioni senza dati completi! Quanto costa decidere con dati sbagliati? Valore enorme avere dati giusti, sempre.

C’è tanta confusione sul “auto-capture” e “auto-tag”, ma spesso ancora non si riesce a estrarre le informazioni corrette senza tagging manuale, perché si preferisce risolvere bug piuttosto che sistemare i dati in sprint. Così si va in produzione senza poter capire se la nuova funzione ha successo! Con GenAI possiamo invece chiedere: “trova automaticamente queste informazioni in esperimento A, B, C”, senza coinvolgere sviluppo.

Quando presentiamo la demo, vedo sguardi increduli! Una volta una analista del settore alla fine della demo ha dato voto “10+”, magnifica reazione.

Hannah Clark: Fa quasi commuovere!

Mario Ciabarra: Sono entusiasta pensando al 2025 e a come aiuteremo le aziende ad avere sempre i dati giusti in tempo reale per decidere.

Hannah Clark: Complimenti in anticipo! Restando sul tema futuro: hai previsto che le product analytics diventeranno sempre più analytics di customer/experience. Che trend o innovazioni guideranno questa trasformazione?

Mario Ciabarra: Capire il cliente, ascoltare il cliente—non si tratta solo di analytics digitale.

Le aziende già raccolgono una montagna di dati—devono solo riuscire a “ricucirli”. Facciamo un esempio: oggi Quantum importa dati da sondaggi, integrandosi con i principali provider. Spesso preferiamo ascoltare i segnali (es: punti di frizione) senza dover domandare. Ma a volte basta domandare: “Hannah, sei soddisfatta?” Se ciò che dichiara coincide con i dati comportamentali, ottimo. Se no, abbiamo altro da indagare.

Ma non solo sondaggi. Se lasci una recensione (senza che ti abbiamo chiesto nulla!) “adoro questo prodotto” oppure “sono arrabbiato per questo servizio”. Oppure, caso telco: tre chiamate interrotte in un mese—prolungherai davvero il contratto? Magari è anche successo che ordini l’iPhone nuovo dal tuo provider e non ti arriva: perderai fiducia nel rinnovo.

Sono tutte informazioni, online e offline, che compongono una visione a 360° dell’esperienza cliente. Da 10 anni Quantum cerca di rispondere a: “Il cliente oggi è più felice o meno felice? Più fedele o meno?” Non si basa solo su survey, ma su tutto ciò che influisce davvero sulle emozioni e la lealtà. Mettere insieme queste fonti aiuta tutti in azienda (executive, product, DevOps) a capire dove migliorare per davvero.

Come focalizzarsi sui momenti che contano.

Hannah Clark: È stato tutto molto interessante. È entusiasmante sentire come l’AI generativa stia rivoluzionando il mondo analytics e lo stia rendendo più semplice e accessibile per tutti, sia per i PM ultra-dati che per quelli più orientati alle soft skill. Argomenti davvero promettenti.

Grazie per essere stato con noi Mario. Dove possono seguirti i nostri ascoltatori online?

Mario Ciabarra: Seguitemi pure su LinkedIn. Quanto alla mia attività, quantummetric.com: abbiamo tanti contenuti e storie di successo dei nostri clienti oltre alle novità in arrivo.

Quindi unitevi a noi su quantummetric.com, seguite Quantum Metric su LinkedIn e seguite i prossimi podcast con me e Hannah.

Hannah Clark: Fantastico. Grazie mille per essere stato con noi.

Mario Ciabarra: Grazie a te, Hannah.

Hannah Clark: Grazie a chi ci ha ascoltato. Per altri spunti, guide pratiche e recensioni di strumenti, iscriviti alla nostra newsletter su theproductmanager.com/subscribe. Puoi ascoltare altre conversazioni come questa iscrivendoti a The CPO Club ovunque trovi podcast.