Come l’IA sta trasformando la scoperta di nuovi prodotti

Leggi la trascrizione:

Stiamo sperimentando la trascrizione dei nostri podcast tramite un programma software. Per favore, perdona eventuali errori di battitura, il bot non è sempre preciso al 100%.

Hannah Clark: So che predico ai convertiti, ma lo dirò lo stesso. I prodotti, prima di tutto, devono essere utili. Eppure non mancano prodotti creati sulla base di una serie di supposizioni su ciò che gli utenti vogliono davvero. Quindi, perché così tante organizzazioni trascurano il processo di scoperta del prodotto? Beh, sono sicura che qualsiasi Product Manager che ha anche fatto da responsabile della ricerca utente può spiegare il motivo. È dispendioso in termini di tempo, è costoso ed è davvero molto difficile non solo ottenere un buon campione di dati sui clienti, ma anche sintetizzare quei dati in azioni concrete.

Il mio ospite di oggi è Craig Watson, fondatore e CEO di Arro, uno strumento di ricerca utente potenziato dall’IA. La passione di Craig per la scoperta di nuovi prodotti nel corso della sua carriera gli ha dato alcune grandi intuizioni su come semplificare il processo di ricerca utente per scale-up e altri team di prodotto. E sentirete da lui delle ottime tattiche pratiche su come condurre una scoperta prodotto migliore grazie all’IA generativa. Iniziamo subito.

Bentornati a il Podcast del Product Manager. Sono qui con Craig Watson. È il fondatore e CEO di Arro.

Craig, grazie mille per essere con noi oggi.

Craig Watson: Grazie a voi. Sono felice di essere qui.

Hannah Clark: Allora Craig, puoi raccontarci un po’ del tuo percorso professionale e come sei arrivato dove sei oggi con Arro?

Craig Watson: Certo. Sì, lavoro in ruoli di prodotto ormai da circa 15 anni e ho iniziato in un contesto più da startup. Avevamo alcune startup in Irlanda, create subito dopo l’università, cercando di imparare mentre portavamo avanti questi progetti e davvero affrontando la sfida di costruire prodotti per i consumatori all’epoca.

Dopo circa quattro anni siamo passati oltre; nel 2012 abbiamo creato una società musicale tecnologica chiamata Soundwave. Quella era la classica startup con venture capital. Di nuovo, molti alti e bassi, ho imparato molto velocemente sul campo e probabilmente imparato di più sulla scoperta di prodotto proprio in quel periodo, cosa su cui ci soffermeremo durante la discussione.

Quello che ho davvero apprezzato di quell’esperienza era che, essendo così agli inizi della nostra carriera, eravamo costretti a ricoprire tantissimi ruoli diversi come product manager; ti rendi conto che devi gestire molteplici tipi di attività, dalla ricerca utente alla delivery alla gestione del prodotto in momenti differenti.

Siamo stati poi acquisiti da Spotify nel 2016 e ci siamo trasferiti lì, è stata davvero una grande esperienza. Non pensavo di restare così a lungo, ma sono rimasto per cinque anni. È stata un’esperienza fantastica, Spotify stava crescendo molto rapidamente in quel periodo. Penso che ci fossero probabilmente meno di mille persone in R&D quando sono arrivato, e penso che fossero più di 3.000 quando sono andato via, una crescita enorme.

Ho lavorato per un paio di anni nell’ufficio di Stoccolma nel team growth. Poi mi sono trasferito a Londra quando hanno aperto l’ufficio lì per aiutare ad avviare alcune iniziative di prodotto come TEO, l’app per bambini e Spotify Duo, oltre ad altre cose. Quindi è stato molto diverso, ovviamente, dal mondo startup, ambienti molto diversi per il product manager, ma mi è davvero piaciuto.

Più recentemente, in realtà, sono passato alla consulenza per circa un anno e mezzo, lavorando specificamente sulla scoperta di prodotto, cercando di aiutare altre aziende a migliorare le loro pratiche di ricerca e imparare come entrare davanti ai clienti, prendere decisioni basate sulle evidenze e, in sostanza, aiutarle a costruire prodotti migliori.

Così, quello che è successo è che, circa un anno e mezzo fa, ci siamo resi conto che c’era un’opportunità di costruire tecnologia interessante, visto come stanno evolvendo i foundation LLM. Quindi io e il mio co-fondatore Johannes ci siamo messi insieme. Posso dirvi di più in merito tra poco.

Hannah Clark: Assolutamente. Prima di approfondire, puoi spiegarci un po’ in generale la scoperta di prodotto e perché è diventata una tua passione?

Craig Watson: Quello che mi ha sempre attratto nella scoperta di prodotto credo sia la commistione tra scienza e arte. È interessante pensare a come si può davvero capire cosa vogliono i clienti, quali sono le loro necessità, i loro bisogni. Ma c’è anche una componente artistica, capire quali domande porre, sapere cosa può essere tendenzioso oppure no.

Mi è sempre piaciuta anche la parte di delivery come mestiere, ma è proprio quella parte iniziale del funnel, dove cerchi di capire davvero quale prodotto costruire, che spesso viene trascurata—pur essendo di impatto—e per qualche motivo, forse per la mia personalità, sono stato naturalmente attratto perché la trovo affascinante.

Hannah Clark: Certo, nulla è più interessante che capire cosa vogliono davvero le persone. Se pensi alle tue esperienze precedenti nella scoperta prodotto, prima che l’IA diventasse lo strumento che è oggi, qual era il tuo processo per capire più a fondo i punti dolenti degli utenti e decidere cosa costruire?

Craig Watson: Vale la pena ricordare che abbiamo commesso tutti gli errori classici quando abbiamo iniziato a fare ricerca utente e abbiamo imparato sulla nostra pelle: a volte ci buttavamo subito nella soluzione, facevamo la classica validazione volendo dimostrare che avevamo ragione.

E questa è la trappola più comune che vedo tra i product manager; serve invece una mentalità molto diversa per cercare le falsificazioni. È piuttosto difficile da fare perché hai un’idea, ne sei entusiasta, devi far appassionare anche gli altri, coinvolgere gli stakeholder, ma in realtà i bravi ricercatori fanno come nella scienza: si cerca di falsificare.

Bisogna cioè andare là fuori e vedere cosa NON funziona. Ci abbiamo messo tempo a cambiare mentalità. È anche una questione di metodo nel porre domande: essere sicuri di non essere fuorvianti, mantenere l’obiettività, ecc. Ti do qualche retroscena.

Penso che la prima volta, nei nostri vent’anni, fu con Soundwave: l’app stava decollando, oltre un milione di installazioni, provavamo a creare una nuova funzionalità. Facevamo colloqui uno a uno, di persona (prima che diventasse comune farli da remoto).

Imparavamo velocemente cosa volevano le persone. Però era piuttosto autoreferenziale perché testavamo un set di funzioni piccolo. Non indagavamo davvero i problemi, non era ricerca generativa ma più valutativa.

Era tipo “ecco alcune cose che pensiamo di costruire”, vogliamo capire meglio i vostri gusti musicali dell’epoca. Portammo anche un consulente esterno a fare alcune delle interviste, lui ci disse: “Guardate, quello che fate va bene, ma dovete stare attenti: qui c’è il rischio dei massimi locali”.

Stavate ottimizzando il prodotto ma nello stadio attuale della vostra startup dovevate dedicarvi di più alla ricerca generativa, capire le basi, sapere quali lavori vogliono svolgere gli utenti, il loro contesto, quali risultati cercano.

Solo dopo sviluppare la soluzione su queste basi. È stato un altro grande apprendimento. Quando hai una mentalità troppo orientata alla soluzione e vuoi solo ottimizzare, sembra di avere ottime idee—ma devi mettere da parte l’ego, ascoltare, capire dove sono i vuoti, i passi migliorabili nei flussi dei clienti, e costruire il prodotto intorno a questo.

Non credo di aver raggiunto la perfezione, e sicuramente ho bisogno di supporto; ho lavorato con ottimi ricercatori e data scientist nel tempo. Almeno, ora comprendo meglio i modelli mentali e i framework.

Hannah Clark: Fantastico, sembra davvero che tu abbia abbracciato il framework dei jobs to be done come parte centrale di questo processo.

Puoi raccontarmi in dettaglio come avete strutturato il processo di discovery e come avete applicato queste tecniche alla creazione di Arro?

Craig Watson: Ora adottiamo un processo in cui partiamo dai lavori (job). Quando dico lavori, parlo di ricerca: dipende dal livello di dettaglio che vuoi, ma in sostanza cerchi di imparare dai tuoi clienti.

Capire cosa vogliono o quali problemi hanno nella loro vita, ecc. Quindi partiamo osservando, ok, cosa significa in pratica? Cosa devi fare quando devi impostare uno studio di ricerca? Devi capire cosa vuoi imparare.

Poi devi reclutare, decidere che metodologia userai per coinvolgere i clienti. Poi come sintetizzerai le informazioni, cosa ne trarrai, come condividerai quel sapere internamente con il team o con gli stakeholder e infine come agirai sui risultati.

Tutto questo è abbastanza astratto e ampolloso, ma all’interno di ciascun lavoro ci sono vari esiti importanti. Ad esempio il recruiting di partecipanti alla ricerca: bisogna estrarre delle liste da un database per segmento? Vuoi un panel esterno per agire più rapidamente, anche se magari non sono tuoi clienti? Che aspetti di compliance hai? Quali modalità di ingaggio?

Insomma, c’è un elenco infinito di passi e di risultati che rientrano all’interno di ogni lavoro. Può apparire noioso e schematico, ma quando mappi tutti questi step, riesci davvero a comprendere quali aree sono trascurate e quali invece troppo servite.

Ho preso molto da altri autori, come Anthony Ulwick e altri nell’ambito outcome-driven innovation; tanti dopo di lui hanno affinato il metodo. In informatica è facile perdersi in etichette come le personas, che spesso non sono rilevanti in ambito B2B, dove tutto ruota intorno ai flussi e ai compiti. Nella ricerca vale sempre: c’è un lavoro da fare. È così che abbiamo lavorato con Arro.

Abbiamo mappato il panorama, identificato le lacune. Quello che tornava sempre era la forte resistenza sulle interviste ai clienti: difficili da organizzare, tanti passaggi. Prima trovare le persone, poi ingaggiarle, schedulare, svolgere la chiacchierata, trascrivere, sintetizzare, analizzare, pagare, ripetere per decine di persone.

Poi, sintetizzare tutto questo in una visione di insieme è ancora oggi il metodo più diffuso. Sono un grande sostenitore delle interviste 1-a-1, ma così abbiamo visto che c’era una lacuna. Le IA oggi possono realisticamente sostituire o potenziare molte delle attività relative alle interviste moderate.

Ed è proprio questa la direzione strategica di prodotto che abbiamo seguito.

Hannah Clark: Partendo da questo, quali elementi credi possano essere più rivoluzionati dagli LLM, o hai già visto segnali di questo cambiamento?

Craig Watson: I casi d’uso più evidenti finora, specie nella ricerca prodotto, sono stati la trasformazione di dati non strutturati in dati strutturati. Gli LLM eccellono in questo, spesso meglio delle persone: possono analizzare ampi blocchi testuali e molti dati, restituendo risultati significativi, accurati—quasi sempre corretti, ma non sempre.

I team stanno migliorando su cose come l’attribuzione: vedere chi ha detto cosa e come questo si collega a un team. I primi successi sono stati soprattutto sulla sintesi. Ecco perché ci siamo spostati sull’IA generativa: Arro serve proprio a svolgere interviste simulate con l’IA ai partecipanti.

Imposti delle domande, l’IA gestisce i colloqui, sintetizza le risposte da 50, 100, 1.000 persone e produce un report. È la forza dell’IA: consente di scalare. Ci siamo quindi concentrati sulla generazione, perché le interviste sono proprio un processo generativo.

Un altro aspetto che stiamo considerando sono le vision API: tecnologie multimodali. Ovvero, far analizzare all’IA la navigazione degli utenti su UX/prodotto, aspetto che diventerà centrale nei prossimi 12-18 mesi, anche perché la tecnologia lo permette.

Già ora nei framework “jobs” si usano tool tipo iframe per capire come si naviga in prototipi Figma, ma tra pochi anni sarà più semplice (ed economico/preciso) che sia un’IA a osservare e moderare i test di usabilità e a restituire insight. Ecco le aree su cui stiamo puntando.

Hannah Clark: È affascinante, e fino a qualche anno fa sarebbe stato impensabile. Bello vedere quanto tutto si muova rapidamente.

Quali altri modi vedi nell’utilizzo dell’IA da parte dei team di prodotto nel 2024 per essere più efficaci nella fase di discovery?

Craig Watson: Ce ne sono diversi. Abbiamo svolto noi stessi 150-200 interviste clienti. Ho parlato con molti product people, ricercatori, designer, manager. A volte resto stupito da quanto sia poco usata l’IA.

Sembra strano nel tech, dove molti sono early adopter, ma c’è una certa resistenza all’adozione in ambito lavorativo. I motivi possono essere tanti: policy interne, timori legati alla sicurezza, incertezza sui casi d’uso.

Siamo ancora agli inizi: abbiamo fatto un piccolo sondaggio (100 persone, quindi campione ridotto), ma è stato interessante vedere che tanti non sanno ancora come sfruttare davvero l’IA nel lavoro. Nella vita privata magari usano ChatGPT, Perplexity, Midjourney; sperimentano fuori dal lavoro.

Ma è tutto all’inizio: su Twitter sembra che l’IA sia ovunque, ma in realtà nel B2B è ancora più indietro.

La cosa interessante è cosa potrà succedere. Riguardo a come viene davvero usata, per ora la generazione di contenuto è la funzione principale. Per esempio: scrivere user story se sei un PM; impostare uno studio di ricerca, una discussion guide; oppure, sul lato sintesi, analizzare una trascrizione Zoom o simile.

Noi usiamo Grain per registrare i nostri video, è ottimo perché trascrive tutto e puoi interrogare il modello dati sulle conversazioni: puoi chiedere “che jobs to be done sono emersi?” o “quali personas si riconoscono?”

Si vedono quindi questi due usi: creare contenuti o ridurre l’impegno nell’analizzare i contenuti. Ma, ripeto, siamo ancora agli inizi—ed è entusiasmante.

Hannah Clark: Molto entusiasmante. E viene in mente tutto il tempo che in passato i ricercatori hanno dovuto impiegare per sintetizzare enormi masse di dati disorganizzati.

Lavorando con risposte umane, estrarre insight è spesso difficile e laborioso, specie se hai svolto molte ricerche su diversi prodotti. Molto curiosa di vedere dove ci porterà l’IA. Parlando di strumenti correlati, penso che molto di ciò valga anche per la ricerca del product market fit.

Secondo te c’è qualcosa in arrivo nell’aiuto che l’IA può dare ai team di prodotto nel trovare il fit?

Craig Watson: Bella domanda. Il product market fit è da sempre molto discusso tra chi fa startup da tempo. È quasi il Sacro Graal a cui tutti aspirano, ma sembra sempre una meta che si allontana: il mercato cambia, cambiano i prodotti. Penso sia difficile dire che c’è un solo approccio valido per arrivarci; è un lavoro continuo, una sequenza di tentativi.

Per concretizzare, anni fa Rahul Vohra di Superhuman lanciò il questionario sul product market fit—segmentazione, grado di “sofferenza” se il prodotto sparisse, un modo per capire rapidamente dove si è arrivati. Metodologia interessante, ma non risolutiva: dà la “temperatura”, ma non ti dice cosa fare.

Una delle grandi lezioni da Spotify: quanto serva tempo per cambiare l’inclinazione di una curva di crescita. Ufficialmente c’era un podcast interno chiamato The Curve in cui Gustav Söderström, CPO, intervistava diversi leader.

Io sono stato lì cinque anni, Gustav da più di dodici. In dodici anni la sua lezione è: per raggiungere il product market fit servono tanti esperimenti, decisioni, scommesse fatte anno dopo anno. Non succede in fretta. Nessuno strumento ti porta lì subito. Bisogna unire tanti tasselli diversi. Ma qui l’IA può velocizzare i vari passaggi, non dare la soluzione magica, ma ridurre i tempi.

Hannah Clark: Ha senso. E ripensando all’idea di falsificare, sono d’accordo: molti fanno fatica a lasciare l’ego fuori, ma vorrei parlare della “giusta misura” di IA nelle funzionalità dei prodotti.

Credo ci sia una sorta di sindrome dell’oggetto luccicante: molte aziende, sia consolidate sia startup, sentono la pressione di integrare funzioni IA perché sembra indispensabile. Ma spesso vedo implementazioni IA che, a mio parere, non aggiungono valore.

Se ne vedono sempre di più. Come si fa a valutare se sia davvero necessario usare l’IA, se valga davvero l’investimento di aggiungere una funzione IA in un prodotto esistente e se c’è ritorno da quell’investimento?

Craig Watson: Abbiamo tutti visto casi inquietanti: chatbot che cercano di venderti un’auto, vanno fuori controllo, finiscono pubblicamente causando danni d’immagine enormi. È giusto chiedersi a cosa serva davvero l’IA, anche dal lato compliance ed etico.

Ho visto spesso forzare l’integrazione, tornando a quanto detto: quando parti dalla soluzione senza capire quale lavoro il cliente deve svolgere. Prendi Notion, per esempio: lo usiamo da remoto per condividere documenti. È un contesto ideale per l’IA—può completare un testo, migliorare la scrittura. Aiuta davvero il workflow. Il miglioramento è immediato.

Il problema viene quando si aggiungono funzioni IA senza un reale vantaggio per l’utente: cosa carina, magari interessante, ma irrilevante per il flusso di lavoro. Non migliora davvero: quindi per noi la chiave è sempre tornare ai principi base: cosa vuole ottenere l’utente? L’IA accorcia i tempi, riduce i costi o crea qualche altro vantaggio sufficiente a giustificare il costo di sviluppo?

Non è garantito: bisogna valutare caso per caso. Piccoli dettagli possono valere lo sforzo. Noi, per dire, abbiamo speso mesi per il conversational UX di Arro, perché è il nucleo del prodotto: l’intervista. Ed è giusto dedicare l’80-90% del tempo lì e non sprecare sforzi su funzioni IA superflue solo per fare scena. Quindi: sempre mettersi nei panni dell’utente e chiedersi “l’IA qui migliora davvero ciò che serve?” Solo allora vale l’investimento.

Hannah Clark: Concordo pienamente. A proposito di scelte discutibili e di come si impiega tempo o budget, quali altre insidie, da fondatore, consiglieresti a founder o product manager di evitare durante la discovery, soprattutto oggi?

Craig Watson: È molto situazionale: dipende dalla maturità. All’inizio si tratta quasi sempre di trovare qual è il mercato ideale e capirlo davvero. A volte si parte da un problema personale, altre da un mercato che piace ma tutto da esplorare. Il peggio è creare una soluzione e poi cercare quale problema risolva—but capita anche questo.

Dipende dalla fase: per esempio, la maggior parte dei clienti Arro oggi sono scale-up che hanno prodotti maturi, ma non abbastanza capacità di ricerca per capire come espandere con nuove funzioni.

Quindi Arro aiuta a scalare la ricerca e ad aumentare gli insight. Ma secondo me, per startup molto early stage non è utile: servono relazioni, parlare con clienti potenziali, fare ricerca generativa sulle reali necessità.

Insomma, dipende dal caso specifico. Ci sono libri ottimi: Teresa Torres su Continuous Product Discovery, Michele Hansen su come parlare ai clienti, Jobs to Be Done in diversi saggi.

Cambia molto in base allo stadio dell’azienda, ma oggi rispetto a 5 anni fa l’offerta di strumenti e best practice per la discovery è cresciuta tantissimo: c’è qualcosa per tutti.

Hannah Clark: Sì, sono d’accordo. Abbiamo appena fatto una bella puntata con Steve Portigal (autore di “interviewing users”) su come intervistare senza influenzare le risposte, e la psicologia dietro.

È stata una grande conversazione, Craig, grazie mille per essere stato con noi. Dove possono seguirti gli ascoltatori online?

Craig Watson: Potete visitare Arro su www.arro.co. Potete scrivermi su LinkedIn (Craig Watson), sono fra i co-fondatori Arro. Oppure su Twitter: il mio nick è cdcwatson.

Mi farebbe piacere parlare con chiunque, sono disponibile per qualsiasi domanda.

Hannah Clark: Grazie mille per essere stato con noi, e grazie anche per aver condiviso tutte queste riflessioni.

Craig Watson: Grazie a voi. È stato un vero piacere, Hannah. Mi ha fatto molto piacere parlare con te.

Hannah Clark: Grazie per averci ascoltato! Per altre riflessioni, guide pratiche e recensioni di strumenti, iscrivetevi alla nostra newsletter su theproductmanager.com/subscribe. Potete ascoltare altre conversazioni simili iscrivendovi a Product Manager ovunque troviate i vostri podcast.