Consigli Professionali per Migliorare le Tue Competenze nella Gestione di Prodotti AI

Leggi la Trascrizione:

Stiamo sperimentando la trascrizione dei nostri podcast utilizzando un programma software. Per favore, scusate eventuali errori di battitura poiché il bot non è sempre preciso al 100%.

Hannah Clark: In questo momento, i lavori di prodotto più ambiti riguardano tutti l’AI. E storicamente parlando, è un momento particolarmente insolito perché le competenze fondamentali richieste per competere in questo settore esistono solo da pochi anni. Ancora più strano, il campo si è evoluto così rapidamente che qualsiasi esperienza acquisita quando ChatGPT è stato lanciato al grande pubblico, appena due anni fa per inciso, potrebbe già essere obsoleta. Quindi come possono i PM che cercano lavoro in questo settore mettersi al passo già oggi? E forse ancora più importante, quali abitudini puoi adottare ora per restare aggiornato man mano che la tecnologia si evolve?

La mia ospite di oggi è Lorilyn McCue, Lead AI Product Manager presso Superhuman. Il percorso professionale di Lorilyn è davvero incredibile. Quindi tra poco lascio a lei il compito di raccontarci, ma è anche una testimonianza di quella che considero la vera competenza chiave necessaria per avere successo come AI PM: l’avventurosità. Quindi, mentre ascolti i consigli di Lorilyn, ti suggerisco di adottare la mentalità di un esploratore, perché questo è un campo tutto da scoprire. E la prima cosa di cui avrai bisogno per avere successo è la volontà di esplorare. Cominciamo.

Bentornati ascoltatori al podcast The CPO Club. Oggi sono qui con Lorilyn McCue.

Lorilyn, grazie mille per essere con noi.

Lorilyn McCue: Oh, grazie per avermi invitata.

Hannah Clark: Hai avuto davvero un percorso interessante fino a diventare Lead AI Product Manager presso Superhuman. Di solito ci soffermiamo un po’ su questa parte.

Ma mi piacerebbe molto se potessi raccontarci qualcosa in più sul tuo background, perché è davvero affascinante.

Lorilyn McCue: Il mio background è piuttosto insolito. Ho iniziato come pilota di elicotteri Apache, che ovviamente è un percorso normalissimo per entrare nel mondo tech. Sono stata nell’esercito. L’ho fatto per circa sei anni.

Poi sono andata a insegnare educazione fisica a West Point nell’ultima parte della mia esperienza nell’esercito. Poi sono andata alla business school e sono arrivata a Slack come product manager, prima nel team di crescita e poi nel team piattaforma. Successivamente ho lavorato in una piccola startup di machine learning chiamata Impira.

E ora sono qui a Superhuman a lavorare sull’AI.

Hannah Clark: Un percorso di carriera davvero notevole. Ne sono proprio affascinata.

Andiamo subito al sodo, perché oggi ci concentreremo un po’ di più proprio sull’AI e su come Superhuman sia nata e tutto il percorso che ti ha portato a diventare lead AI product manager.

Parlando di AI in Superhuman, puoi raccontarci un momento in cui hai visto l’AI evolversi significativamente e migliorare l’esperienza utente per gli utenti di Superhuman?

Lorilyn McCue: Sì. Ti racconto una piccola storia. Per me la cosa più importante è far risparmiare tempo agli utenti e consentire al loro cervello di occuparsi di cose più importanti.

Quindi, per me, l’AI di Superhuman permette al tuo cervello di fare cose più significative. Ok, racconto questa storia. Quando ero in Iraq, il mio compito era quello di sorvolare una base in cerchio per tre ore. Letteralmente volavo in cerchio per tre ore senza fare nulla. Ma poi ci diedero una nuova missione: volare molto basso, trovare depositi di bombe e poi distruggerli, che era molto più interessante e un uso molto più intelligente dell’elicottero militarmente più avanzato mai prodotto dall’esercito.

E in modo strano credo di essermi innamorata del concetto di AI già prima che diventasse una realtà. Perché vedevo quanto fosse migliore l’uso dell’elicottero nella seconda missione rispetto alla prima. L’AI è proprio così. L’AI si occupa di girare in cerchio sulla base per tre ore, mentre tu puoi usare la tua mente umana per compiti più interessanti.

Quindi l’AI è un enorme risparmio di tempo per gli utenti. Guardando una delle nostre funzioni chiamata risposta istantanea—un piccolo quick reply che usi per rispondere a qualcuno—si risparmiano due minuti a email per rispondere. Non serve che il tuo cervello usi quei due minuti per elaborare una risposta, quando qualcosa di standardizzato andrebbe bene nella maggior parte dei casi.

Per me questo è stato il grande momento di svolta: ok, l’AI può liberarti dai lavori ripetitivi. Dai all’AI tutto ciò che è routinario, lasciala girare in cerchio per tre ore, e tu vai a fare le cose davvero interessanti. Vai a trovare le bombe e distruggerle.

Hannah Clark: Nessuno aveva mai usato un’analogia del genere in questa trasmissione, ma mi piace.

Lorilyn McCue: Felice di essere la prima.

Hannah Clark: Ok, torneremo tra poco sull’AI perché c’è davvero tanto da approfondire e tanti casi d’uso.

Vorrei invece parlare un po’ della tua carriera. Ripercorrendo la tua crescita in Slack e il passaggio verso la gestione di prodotti AI, come hai assimilato l’AI nel tuo percorso lavorativo, dal ruolo iniziale a quello attuale?

E come l’integrazione dell’AI ha modificato il tuo approccio alla strategia di prodotto?

Lorilyn McCue: Domanda davvero interessante. Credo che per me la cosa più importante sia stata ottimizzare per l’apprendimento. L’ho imparato a Slack, ma in ambito AI è una cosa dieci volte più importante.

Devi ottimizzare per apprendere. Ad esempio, abbiamo lanciato di recente un prodotto chiamato Superhuman Ask AI. Questa funzione è fantastica: anziché fare una ricerca specifica, puoi semplicemente scrivere una domanda. Puoi chiedere: puoi riassumere il feedback più recente su instant event?

Puoi darmi le tre citazioni più positive e alcune negative? Qualcosa che ora richiederebbe 20 minuti, viene fatto in pochi secondi, incredibile. Oppure: quando ho un incontro con Hannah? Quando ho inviato l’ultima email a tizio? Inizialmente pensavamo di metterci circa tre mesi per sviluppare questo prodotto.

Ma abbiamo deciso di lanciare una versione dopo solo un mese, anche se non ci sembrava pronta. L’abbiamo proposta prima al nostro team AI, poi all’intera azienda, e poi a un gruppo via via più grande di beta user. Di fase in fase abbiamo imparato qualcosa di nuovo che ha completamente cambiato la nostra visione del prodotto e del modo di costruirlo.

Così, dopo tre mesi, parecchie persone l’avevano già usato e abbiamo finalmente realizzato la versione giusta, cosa che non sarebbe stata scontata dall’inizio. L’AI è un territorio talmente sconosciuto che spesso non hai idea di come verrà usata. Devi ottimizzare per imparare.

Devi lanciare una piccola versione, iterare, lanciare di nuovo, iterare, e così via.

Hannah Clark: Capisco come questo ciclo accelerato ti dia tanti dati “di fallimento”, spesso molto più utili che non se non avessi nulla su cui lavorare e avessi bruciato tutte le risorse. È davvero interessante.

Abbiamo parlato, in una conversazione precedente, dell’importanza di incorporare l’AI nella strategia di prodotto invece che aggiungerla superficialmente, cosa che succede spesso in molte integrazioni AI odierne.

Quali decisioni avete preso per far sì che l’AI fosse davvero parte integrante del prodotto e non solo un’aggiunta visibile?

Lorilyn McCue: Oggi molti inseriscono l’AI in una barra laterale, in uno spazio chat. Bisogna invece integrare l’AI in modo naturale nel prodotto.

La mia intervista utente ideale sarebbe: “Ehi, hai provato questa funzione AI?”, “Ah, non sapevo fosse una funzione AI!”. Ecco, quando l’AI è perfettamente integrata sembra tutto naturale, quello che ti serve c’è, quando ti serve. Un esempio pratico: ieri abbiamo lanciato una funzione chiamata Instant Event, di cui sono molto entusiasta anche personalmente.

Ricevi un’email—ok, siamo entrambi genitori. Ricevi una mail: “Non dimenticare di portare questo a scuola quel giorno”. Ora devi aprire il calendario, vedere cosa hai quel giorno, creare un evento… è snervante. Ora in Superhuman, con un click, crei subito un evento con data, titolo, dettagli e invitati corretti—utilissimo.

Quando abbiamo lanciato questa funzione era nascosta, accessibile solo dal comando K, cioè il menu dei comandi di Superhuman. Dovevi sapere di premere command K e cercare “crea evento con AI”. Ovviamente così pochi l’avrebbero trovata.

Però in quel modo abbiamo potuto testare e seguire quel primo principio dell’ottimizzare per l’apprendimento. L’abbiamo provata in tante email, capendo cosa funzionava e le casistiche più strane, ma quello non era il risultato finale. Dovevamo integrarla in modo coerente.

Ora è in più posti: con la scorciatoia del calendario (B in Superhuman)—si crea subito un evento con AI invece che un evento vuoto, bellissimo. C’è anche un pulsantino in fondo alle email quando viene rilevata una data: vuoi creare un evento in questo giorno?

Clicchi e si apre. Non fa nessun suono, comunque, quella battaglia non l’ho vinta.

Hannah Clark: A me il suono piace.

Lorilyn McCue: O quando passi il mouse sulle date, il cursore cambia in una mano. Clicchi, si crea l’evento. Volevamo testarla con il comando K, ma la versione finale era molto più integrata e naturale.

E gli utenti la stanno trovando in modi che nemmeno avevamo annunciato via email. Lo scoprono da soli, ed è proprio quello che volevo: vedi una data, clicchi, si crea un evento. Perfetto.

Hannah Clark: Web designer, questo è per voi. Ho 30 secondi per parlarvi di Wix Studio, la piattaforma web per agenzie e aziende. Ecco quattro cose che potete fare in 30 secondi o meno su Studio: adattare i vostri design a ogni dispositivo con l’AI responsiva, riutilizzare asset come template, widget e librerie di design su più siti e condividerli con il team, aggiungere animazioni no code e sfondi sfumati direttamente dall’editor, ed esportare i vostri progetti da Figma a Wix Studio con un solo click. Il tempo è scaduto, ma la lista continua. Provate Wix Studio e scopritelo di persona.

Abbiamo recentemente parlato di empatia, parte del processo di design, e penso che queste funzionalità intuitive siano la chiave per favorire l’adozione: rendere le funzioni talmente naturali e intuitive che gli utenti non possono fare a meno di scoprirle.

Parliamo invece di dati e di come usiamo metriche e insight per guidare le scelte. Prendiamo l’esempio del riepilogo automatico di Superhuman, offerto senza che l’utente debba richiederlo. Che metriche o insight hanno guidato questa scelta di prodotto?

Puoi spiegare meglio quella funzione e come decidete se una funzionalità debba essere proattiva o su iniziativa dell’utente?

Lorilyn McCue: Ci sono in realtà due funzioni di cui voglio parlare a tal proposito. Quando ricevi un’email, prima ancora di aprirla, calcoliamo un riassunto e alcune risposte istantanee suggerite.

Il riassunto automatico è una sola riga presente in ogni email: lo vedi subito. Molti prodotti lo forniscono solo al click perché ovviamente riassumere ogni email costa molto—alcune poi non vengono nemmeno aperte.

Per noi però era cruciale che riassunto e risposte fossero subito pronti appena si apre l’email. Perché magari hai fretta, come dicevi tu prima: bisogna avere empatia con chi usa il prodotto. L’utente non può aspettare quei pochi secondi che servono per generare il riassunto su richiesta.

La seconda funzione è la risposta istantanea. Quali metriche hanno guidato la scelta? Volevamo usare un modello avanzato per questa funzione, la risposta istantanea. Ma quel modello era troppo lento. Era come una tartaruga! Risposte brillanti, ma lentissime: il bot geniale tartaruga. Ok, forse ha senso chiederlo all’utente, dargli la super risposta tartaruga, ottima e accurata. Ma bisogna aspettare un po’, potrebbe non essere pronta quando si apre l’email.

Oppure c’era un’altra opzione: diciamo un “zio veloce ma un po’ goffo”. Fa il suo lavoro, ogni tanto sbaglia. Prima di riuscire a risolvere certi problemi, questa variante dava risposte bizzarre.

Ad esempio, in caso di email di commiato: “Sono stato bene in questa azienda ma è ora di andare”, e altri rispondono “Ci mancherai tanto” eccetera. Lo “zio veloce” rispondeva: “Caro Johnny, grazie per aver salutato Sarah”. Ma no! La risposta giusta è “Ciao Sarah!”—questo avrebbe senso. Il geniale tartaruga lo saprebbe, ma ci mette troppo tempo. Quindi: come fare?

Ci siamo resi conto che dovevamo affidarci allo zio un po’ meno brillante, ma cercare di renderlo più intelligente.

Possiamo fare fine tuning sul modello, fornire più esempi di questi casi specifici. Possiamo anche decidere quali parti della conversazione inviare. Possiamo modificare il prompt. Alla fine, doveva a) essere abbastanza buono, ma b) anche abbastanza veloce.

Era la cosa più importante.

Hannah Clark: Vorrei approfondire questo aspetto perché credo sia una competenza tipica della gestione di prodotti AI e molto rilevante per chiunque voglia migliorare il proprio skillset.

Parlando degli aspetti tecnici come il fine tuning dei modelli, il bilanciamento fra latenza ed efficienza, quali sono concretamente i processi che valutate e quali risorse servono per poter prendere decisioni davvero informate considerando tutti questi fattori?

Lorilyn McCue: Mi piace usare uno strumento che permette di confrontare più prompt e più modelli side by side. Quindi: prompt A con il geniale tartaruga a sinistra, lo stesso prompt con lo zio veloce a destra, il tutto con un dataset reale. Già che ci sono: come si ottiene quel dataset?

Lanci la feature prima agli utenti interni che ti aiutano a raccogliere feedback: pollici in su o giù sui casi reali. E quello poi diventa il tuo dataset su cui testare. Potresti creare esempi di testa tua, ma i casi reali dei tuoi utenti sono molto più utili.

Prendi quel dataset e lo passi ai due prompt. Misuri il tempo che impiega. Magari scopri quanto impiega mediamente a aprire l’email: quello è il tuo benchmark. Deve essere tutto pronto entro uno o due secondi, perché spesso gli utenti aprono subito la mail. Ok, chi vince quella sfida dei 2 secondi?

Ok, questo modello la vince. Ora esamini tutte le risposte. Quali sono strane? “Perché sta ringraziando tizio per aver salutato Sarah?” Ok, aggiungi una nuova colonna. Cambiamo ancora prompt.

Ok, determina il focus della conversazione. Capisci chi deve davvero rispondere. Riprovi su tutti i casi. Ok, ancora, iteri. Devi iterare, iterare, iterare. Magari all’inizio nemmeno sai cosa cercare, ma man mano capisci quali sono i criteri di successo.

Magari ce li hai già: la feature deve essere rapida, precisa, ma… quanto precisa e su quali tipologie di domande? Lo capisci solo provando, toccando con mano.

Hannah Clark: Da qui emerge chiaramente che il prompt engineering è una competenza chiave da padroneggiare per essere efficaci in questo ruolo.

Come hai sviluppato questa abilità, visto che è una disciplina così recente? Hai seguito corsi oppure hai imparato tutto sul campo?

Lorilyn McCue: Direi entrambe le cose. Tantissimo imparando facendo. Letteralmente ero io la sera a testare cose nuove. A volte cercavo su internet:

“Esiste una soluzione a questo problema? Cosa posso fare?” In più avevamo una relazione diretta con OpenAI che ci dava suggerimenti. Alcuni sono curiosi: “Scrivilo in MAIUSCOLO”, ok, oppure “Ripetilo due volte” o “Mettilo anche in fondo”.

Un ottimo suggerimento era: inserisci sempre almeno un esempio (“one shot”), assicurati che il fine tuning comprenda tutte le varianti che ti danno problemi.

Hannah Clark: Questi sono ottimi suggerimenti. Trovo il prompt engineering interessante perché interagendo tutti i giorni in linguaggio naturale, sembra un’attività spontanea, ma invece per ottenere risultati serve metodo.

Hai altri trucchi imparati perfezionando i prompt che ti hanno aiutata a trovare la soluzione più efficace?

Lorilyn McCue: Sì. Un metodo che uso è chiedere all’LLM di spiegare le proprie risposte.

Prendiamo l’esempio della risposta istantanea. Gli chiedevo: “A chi stai rispondendo?” e poi “Perché stai rispondendo a questa persona?”. E lui: “Perché per X, Y, Z…”. Allora capivo dove si sbagliava, questo zio veloce ma ingenuo. E aggiustavo il prompt.

Spiegami ancora perché. Farsi spiegare la scelta aiutava a vedere il ragionamento interno e consentiva di migliorare il prompt. Sì, chiedere la spiegazione funzionava molto bene.

Hannah Clark: Già, serve anche evitare la tentazione di riscrivere tutto il prompt da capo ogni volta! Questo è molto pratico.

Parliamo della parte business dell’AI. Oggi molte funzioni AI sono ormai uno standard nei prodotti digitali, ma integrare l’AI porta molte complessità. Quali sfide avete affrontato in Superhuman nel decidere quali modelli AI o strumenti implementare?

Lorilyn McCue: Chi conosce l’AI, probabilmente ha capito che mi riferivo a GPT-4 (la tartaruga) e GPT-3.5 (lo zio veloce ma meno brillante).

Oggi il problema è meno marcato con GPT-4.0 e GPT-4.0 Mini, che sono già molto rapidi e accurati. È interessante perché ciò che mi tormentava un anno fa ora non è più un grande problema. Ma allora era fondamentale, soprattutto su scala: “riassumi ogni email che riceve un utente”.

Sono numeri enormi. Questo costa molto. Siamo fortunati, il nostro CEO Rahul punta tutto sulla qualità: scegliere sempre la soluzione migliore. Ma a volte “migliore” non significa solo risposte più precise, ma anche soddisfare il bisogno di velocità.

Saremmo stati disposti a pagare GPT-4? Sì, ma non garantiva la velocità che serviva ai nostri utenti. Quindi abbiamo scelto GPT-3.5, perché funzionava e rispettava i requisiti di latenza.

Con tanto lavoro su prompt, PM e QA, abbiamo raggiunto il livello qualitativo necessario. L’aspetto economico è importante, ma abbiamo sempre messo al primo posto il bisogno degli utenti, a qualsiasi costo.

Hannah Clark: Cambiamo argomento: vorrei parlare della tua crescita verso il ruolo di product manager AI. Tutti vogliono sviluppare queste competenze e arricchire il proprio profilo. Quali competenze pratiche o conoscenze (o anche corsi o certificazioni) consiglieresti a chi vuole creare prodotti centrati sull’AI?

Lorilyn McCue: Direi che apprendere facendo, direttamente sulle nuove funzionalità, è la cosa più efficace, restando aggiornati su tutti i trend e le novità che escono, ogni settimana praticamente c’è qualcosa di nuovo.

Provatelo, sperimentatelo. Trovate modi per integrare l’AI nella vita quotidiana, valutate cosa funziona. Un esempio: ho due figli molto carini: vengono sempre nel mio ufficio mentre lavoro: “Mamma, solo cinque minuti ancora!”—Inutile. Ma quello che vogliono davvero sono pagine da colorare stampate.

Ho esaurito tutti i camion monster-truck e carri armati su coloringpages.com. Mi dicono: “No mamma”. Ok, allora andiamo su ChatGPT: fammi una pagina da colorare con un monster truck. Ti piace? No, ne voglio dieci! Ok, dieci monster truck che gareggiano. E così via, finché so cosa vogliono e dico: “Crea una pagina da colorare per bambini con 10 monster truck su una pista, ma senza macchine da corsa”. Poi la stampo. Ma trovando questi casi d’uso quotidiani si capisce davvero cosa si può fare.

Un esempio professionale: lo faccio anche per le micro-copie. Dobbiamo spiegare in un tooltip come funziona una funzione, usando poche parole e un certo linguaggio; scrivo un esempio e genero dieci varianti. Poi ritento.

Usando l’AI ogni giorno ti rendi conto di cosa è possibile. Esce una novità? Provala. Esce un modello nuovo? Provalo. Un’altra azienda propone una soluzione? Provaci anche tu.

Un altro esempio: su Perplexity dico: “Elenca tutti i modelli disponibili e quanto costano per milione di token, in tabella”. Fatto. Bisogna proprio metterci le mani. Onestamente è la cosa più utile.

È una risposta utile? Non è un corso, ma è ciò che puoi cominciare a fare subito nella vita di ogni giorno.

Hannah Clark: Utilissimo. E quel trucco da genitore non me l’aspettavo, lo userò anch’io!

Lorilyn McCue: Funziona alla grande!

Hannah Clark: Sì, anche mio figlio va pazzo per quelle cose. Sarà un bel passatempo per il weekend!

Grazie mille per essere stata con noi oggi, Lorilyn. Ho apprezzato tantissimo i tuoi spunti sulla gestione di prodotti AI. Il consiglio top del decennio in questo momento. Prima di salutarci: dove possono trovarti gli ascoltatori e saperne di più su cosa state costruendo a Superhuman?

Lorilyn McCue: Potete vedere il nostro lavoro sul blog di Superhuman, superhuman.com. Cliccate su blog. Per quanto riguarda me, pubblico aggiornamenti su LinkedIn: Lorilyn McCue.

Hannah Clark: Fantastico. Grazie infinite per la tua presenza.

Lorilyn McCue: Grazie a voi.

Hannah Clark: Grazie a tutti per averci seguito. Per altre idee, guide pratiche e recensioni di strumenti, iscrivetevi alla nostra newsletter su theproductmanager.com/subscribe. Potete ascoltare altre conversazioni come questa iscrivendovi a The CPO Club ovunque ascoltiate i podcast.