In un’epoca in cui l’IA sta trasformando i settori a una velocità vertiginosa, i ruoli di prodotto arricchiti da competenze nell’IA sono tra i più richiesti nel settore tecnologico. Se desideri entrare in questo ambito o perfezionare le tue competenze, comprendere il percorso e le strategie di chi guida questo cambiamento può essere estremamente utile.
In questo episodio, Hannah Clark è affiancata da Lorilyn McCue—AI Product Manager presso Superhuman—per condividere la sua prospettiva su come orientarsi nell’evoluzione della gestione di prodotti IA.
Punti salienti dell’intervista
- Percorso professionale di Lorilyn e competenze chiave [01:06]
- Lorilyn ha iniziato la sua carriera come pilota di elicottero Apache nell’esercito per sei anni.
- Successivamente ha insegnato educazione fisica a West Point.
- Dopo aver lasciato l’esercito, ha frequentato una business school.
- È entrata in Slack come product manager, prima nel team di crescita, poi nel team piattaforma.
- Successivamente ha lavorato in una startup di machine learning, Impira.
- Attualmente, Lorilyn è lead AI product manager presso Superhuman.
- L’IA in Superhuman: migliorare l’esperienza utente [02:08]
- Lorilyn attribuisce valore alla capacità dell’IA di far risparmiare tempo agli utenti, consentendo loro di concentrarsi sui compiti importanti.
- Condivide un episodio dall’Iraq, dove durante una missione noiosa a bordo di un elicottero Apache si è resa conto dell’inefficienza dei compiti ripetitivi.
- Una missione più coinvolgente le ha dimostrato il valore della tecnologia se applicata a compiti complessi, piuttosto che a quelli monotoni.
- Collega ciò all’IA, che gestisce i compiti di routine così che gli utenti possano concentrarsi su lavori significativi.
- La funzione “risposta istantanea” di Superhuman, ad esempio, fa risparmiare agli utenti due minuti per email, automatizzando le risposte di routine.
- Questo momento di “illuminazione” ha confermato il ruolo dell’IA nell’eliminare la monotonia e aumentare la produttività.
L’IA può toglierti la fatica di dosso. Assegna all’IA tutti i compiti ripetitivi, lasciala girare intorno alla base per tre ore, e vai a fare tu le cose interessanti.
Lorilyn McCue
- Progresso di carriera e integrazione dell’IA [04:19]
- Lorilyn dà priorità all’ottimizzazione per l’apprendimento, una lezione rafforzata in Slack e fondamentale nell’IA.
- La funzione “Ask AI” di Superhuman consente agli utenti di porre domande direttamente, risparmiando tempo nella ricerca di informazioni.
- Originariamente pianificato in tre mesi, il team ha lanciato una versione preliminare in un mese per raccogliere feedback.
- Questo rilascio a fasi—prima al team AI, poi internamente, e infine agli utenti beta—ha offerto spunti che hanno plasmato il prodotto finale.
- Lo sviluppo iterativo è stato fondamentale, permettendo al team di adattarsi e creare un prodotto più efficace basato sul comportamento degli utenti.
- La natura imprevedibile dell’IA richiede cicli di apprendimento ripetuti per allinearsi alle esigenze degli utenti.
L’IA è un territorio così sconosciuto che spesso non hai idea di come le persone la utilizzeranno. Quindi, è necessario ottimizzare per l’apprendimento. Devi lanciare poco alla volta, poi iterare e ripetere questo processo.
Lorilyn McCue
- L’importanza di un’integrazione AI senza soluzione di continuità [06:46]
- Lorilyn sottolinea l’importanza di integrare l’AI profondamente nel design del prodotto, evitando che sia percepita come un “accessorio”.
- L’integrazione ideale dell’AI fa sì che le funzionalità risultino naturali e non vengano percepite dagli utenti come “AI”.
- La funzione “Evento Istantaneo” di Superhuman ne è un esempio: permette agli utenti di creare eventi in calendario dalle email con un solo clic.
- Inizialmente, la funzione era situata in una posizione meno accessibile per scopi di test, utilizzando il menu comandi di Superhuman, “Command K”.
- Dopo le prove e i feedback ricevuti, il team l’ha spostata in posizioni più intuitive, come un pulsante nelle email e una scorciatoia per il calendario.
- Questa integrazione senza soluzione di continuità garantisce che le funzionalità AI risultino utili e accessibili quando necessario.
- Ora la funzione “Evento Istantaneo” consente agli utenti di creare eventi cliccando semplicemente sulle date nelle email, con il cursore che cambia in un’icona a mano per segnalare questa azione.
- Dapprima testata nel menu comandi, la funzione è ora completamente integrata per una maggiore facilità d’uso.
- Gli utenti scoprono e utilizzano la funzione in modo naturale senza istruzioni esplicite, in linea con l’obiettivo di Lorilyn per un’integrazione AI senza soluzione di continuità.
- Ottimizzare l’AI per velocità e precisione [10:54]
- Superhuman dà priorità a funzionalità proattive come il riepilogo automatico e le risposte istantanee, mostrandole immediatamente per comodità dell’utente.
- La funzione di riepilogo automatico fornisce un riassunto di una riga per ogni email, permettendo un accesso più rapido alle informazioni senza necessità di azione da parte dell’utente.
- Per le risposte istantanee, il team ha affrontato un compromesso tra un “bot tartaruga” (intelligente ma lento) e un modello “zio veloce e impacciato” (rapido ma meno preciso).
- Pur riconoscendo l’elevata qualità del bot tartaruga, il team ha scelto il modello più veloce, privilegiando velocità ed esperienza utente.
- Hanno perfezionato il modello più veloce per migliorarne la precisione, assicurando risposte rapide e ragionevolmente accurate.
- Bilanciare qualità e velocità è fondamentale per decidere se le funzionalità devono essere proattive o attivate dall’utente.
- Decisioni tecniche nell’AI [14:24]
- Lorilyn utilizza uno strumento per confrontare più prompt e modelli affiancati, valutandone le prestazioni con dati reali.
- Crea un dataset dai feedback degli utenti interni (pollice su/giù) per riflettere scenari reali.
- Le valutazioni si concentrano sulla latenza, puntando a risposte entro 1–2 secondi per soddisfare le esigenze degli utenti.
- Attraverso test ripetuti, individua problemi (ad esempio errori di contesto nelle risposte) e affina i prompt per migliorare la precisione.
- I test iterativi aiutano a definire i criteri di successo, bilanciando velocità e precisione e comprendendo le specifiche necessità di accuratezza.
- Padronanza dell’ingegneria dei prompt [16:38]
- Lorilyn ha sviluppato competenze nell’ingegneria dei prompt attraverso l’apprendimento pratico e la sperimentazione.
- Di tanto in tanto ha fatto ricerche online per soluzioni specifiche.
- Ha ricevuto anche suggerimenti da OpenAI, come l’utilizzo di comandi scritti in maiuscolo, la ripetizione delle istruzioni e l’inserimento di esempi one-shot.
- Il fine-tuning comprendeva l’aggiunta di esempi per gestire i casi più difficili e migliorare la precisione.
- Lorilyn ha usato una tecnica in cui chiedeva al LLM di spiegare il proprio ragionamento per affinare i prompt.
- Ad esempio, le chiedeva a chi stava rispondendo e perché.
- Questo processo ha svelato fraintendimenti nelle risposte del LLM, consentendole di apportare aggiustamenti specifici ai prompt.
- Il metodo “spiegati” ha aiutato a chiarire il processo decisionale del LLM, facilitando una maggiore efficacia nella messa a punto dei prompt.
- Sfide aziendali nell’integrazione dell’AI in Superhuman [18:54]
- L’integrazione dell’AI in Superhuman ha richiesto un bilanciamento tra complessità e sfide.
- Lorilyn ha confrontato i modelli AI: GPT-4 (lento ma di alta qualità) contro GPT-3.5 (più veloce ma meno “intelligente”).
- Inizialmente, la lentezza di GPT-4 ha rappresentato una sfida importante per scalare il riepilogo delle email.
- Superhuman ha dato priorità alla qualità e alle necessità degli utenti, valutando velocità e correttezza.
- Hanno scelto GPT-3.5 per una latenza migliore, utilizzando l’ingegneria dei prompt per mantenere gli standard qualitativi.
- L’obiettivo aziendale era assicurarsi che i bisogni degli utenti fossero soddisfatti, indipendentemente dai costi.
- Apprendimento pratico e competenze concrete nell’AI [20:54]
- L’apprendimento pratico è essenziale per la gestione di prodotti AI.
- Rimanere aggiornati sulle tendenze e sulle novità settimanali è fondamentale.
- Sperimentare con strumenti AI nella vita quotidiana permette una comprensione concreta.
- Esempio: usare ChatGPT per creare pagine da colorare personalizzate per i bambini.
- Applicare l’AI in ambito professionale, ad esempio per generare tooltip sintetici per gli utenti.
- Confrontarsi con nuove tecnologie amplia la conoscenza delle possibilità offerte dall’AI.
- Nessun corso specifico è necessario; la chiave è l’applicazione pratica.
Conosci la Nostra Ospite
Lorilyn McCue è una Product Manager AI presso Superhuman, l’app di email più produttiva mai creata. Insieme al CEO di Superhuman Rahul Vohra, Lorilyn ha contribuito a creare e realizzare la roadmap dei prodotti AI dell’azienda, lanciando funzionalità eleganti e pratiche che permettono agli utenti di fare tutto, dalla scrittura delle email con la propria voce e tono, al riassunto di lunghe conversazioni, fino all’utilizzo della ricerca in linguaggio naturale per trovare facilmente ciò che serve nella posta in arrivo. Prima di entrare in Superhuman, Lorilyn ha lavorato nei team di prodotto di Slack e Impira, una startup di AI acquisita da Figma.
Lorilyn ha seguito un percorso affascinante e non convenzionale per arrivare a lavorare nel product management.
Ha servito nelle forze armate per un decennio, ha pilotato elicotteri Apache in Iraq e insegnato ai cadetti a West Point prima di decidere di cambiare carriera e diventare stagista di prodotto in Google nei primi anni ’30. Ha conseguito una laurea a West Point e un MBA a Stanford.

C’è qualcosa nell’utilizzare l’AI nella vita quotidiana che ti trasmette questa conoscenza e comprensione di ciò che è possibile.
Lorilyn McCue
Risorse da questo episodio:
- Iscriviti alla newsletter di The CPO Club
- Scopri lo sponsor di questo episodio: Wix Studio
- Connettiti con Lorilyn su LinkedIn
- Scopri Superhuman
Articoli e podcast correlati:
Leggi la Trascrizione:
Stiamo sperimentando la trascrizione dei nostri podcast utilizzando un programma software. Per favore, scusate eventuali errori di battitura poiché il bot non è sempre preciso al 100%.
Hannah Clark: In questo momento, i lavori di prodotto più ambiti riguardano tutti l'AI. E storicamente parlando, è un momento particolarmente insolito perché le competenze fondamentali richieste per competere in questo settore esistono solo da pochi anni. Ancora più strano, il campo si è evoluto così rapidamente che qualsiasi esperienza acquisita quando ChatGPT è stato lanciato al grande pubblico, appena due anni fa per inciso, potrebbe già essere obsoleta. Quindi come possono i PM che cercano lavoro in questo settore mettersi al passo già oggi? E forse ancora più importante, quali abitudini puoi adottare ora per restare aggiornato man mano che la tecnologia si evolve?
La mia ospite di oggi è Lorilyn McCue, Lead AI Product Manager presso Superhuman. Il percorso professionale di Lorilyn è davvero incredibile. Quindi tra poco lascio a lei il compito di raccontarci, ma è anche una testimonianza di quella che considero la vera competenza chiave necessaria per avere successo come AI PM: l’avventurosità. Quindi, mentre ascolti i consigli di Lorilyn, ti suggerisco di adottare la mentalità di un esploratore, perché questo è un campo tutto da scoprire. E la prima cosa di cui avrai bisogno per avere successo è la volontà di esplorare. Cominciamo.
Bentornati ascoltatori al podcast The CPO Club. Oggi sono qui con Lorilyn McCue.
Lorilyn, grazie mille per essere con noi.
Lorilyn McCue: Oh, grazie per avermi invitata.
Hannah Clark: Hai avuto davvero un percorso interessante fino a diventare Lead AI Product Manager presso Superhuman. Di solito ci soffermiamo un po' su questa parte.
Ma mi piacerebbe molto se potessi raccontarci qualcosa in più sul tuo background, perché è davvero affascinante.
Lorilyn McCue: Il mio background è piuttosto insolito. Ho iniziato come pilota di elicotteri Apache, che ovviamente è un percorso normalissimo per entrare nel mondo tech. Sono stata nell’esercito. L’ho fatto per circa sei anni.
Poi sono andata a insegnare educazione fisica a West Point nell’ultima parte della mia esperienza nell’esercito. Poi sono andata alla business school e sono arrivata a Slack come product manager, prima nel team di crescita e poi nel team piattaforma. Successivamente ho lavorato in una piccola startup di machine learning chiamata Impira.
E ora sono qui a Superhuman a lavorare sull’AI.
Hannah Clark: Un percorso di carriera davvero notevole. Ne sono proprio affascinata.
Andiamo subito al sodo, perché oggi ci concentreremo un po’ di più proprio sull’AI e su come Superhuman sia nata e tutto il percorso che ti ha portato a diventare lead AI product manager.
Parlando di AI in Superhuman, puoi raccontarci un momento in cui hai visto l’AI evolversi significativamente e migliorare l’esperienza utente per gli utenti di Superhuman?
Lorilyn McCue: Sì. Ti racconto una piccola storia. Per me la cosa più importante è far risparmiare tempo agli utenti e consentire al loro cervello di occuparsi di cose più importanti.
Quindi, per me, l’AI di Superhuman permette al tuo cervello di fare cose più significative. Ok, racconto questa storia. Quando ero in Iraq, il mio compito era quello di sorvolare una base in cerchio per tre ore. Letteralmente volavo in cerchio per tre ore senza fare nulla. Ma poi ci diedero una nuova missione: volare molto basso, trovare depositi di bombe e poi distruggerli, che era molto più interessante e un uso molto più intelligente dell’elicottero militarmente più avanzato mai prodotto dall’esercito.
E in modo strano credo di essermi innamorata del concetto di AI già prima che diventasse una realtà. Perché vedevo quanto fosse migliore l’uso dell’elicottero nella seconda missione rispetto alla prima. L’AI è proprio così. L’AI si occupa di girare in cerchio sulla base per tre ore, mentre tu puoi usare la tua mente umana per compiti più interessanti.
Quindi l’AI è un enorme risparmio di tempo per gli utenti. Guardando una delle nostre funzioni chiamata risposta istantanea—un piccolo quick reply che usi per rispondere a qualcuno—si risparmiano due minuti a email per rispondere. Non serve che il tuo cervello usi quei due minuti per elaborare una risposta, quando qualcosa di standardizzato andrebbe bene nella maggior parte dei casi.
Per me questo è stato il grande momento di svolta: ok, l’AI può liberarti dai lavori ripetitivi. Dai all’AI tutto ciò che è routinario, lasciala girare in cerchio per tre ore, e tu vai a fare le cose davvero interessanti. Vai a trovare le bombe e distruggerle.
Hannah Clark: Nessuno aveva mai usato un’analogia del genere in questa trasmissione, ma mi piace.
Lorilyn McCue: Felice di essere la prima.
Hannah Clark: Ok, torneremo tra poco sull’AI perché c’è davvero tanto da approfondire e tanti casi d’uso.
Vorrei invece parlare un po’ della tua carriera. Ripercorrendo la tua crescita in Slack e il passaggio verso la gestione di prodotti AI, come hai assimilato l’AI nel tuo percorso lavorativo, dal ruolo iniziale a quello attuale?
E come l’integrazione dell’AI ha modificato il tuo approccio alla strategia di prodotto?
Lorilyn McCue: Domanda davvero interessante. Credo che per me la cosa più importante sia stata ottimizzare per l’apprendimento. L’ho imparato a Slack, ma in ambito AI è una cosa dieci volte più importante.
Devi ottimizzare per apprendere. Ad esempio, abbiamo lanciato di recente un prodotto chiamato Superhuman Ask AI. Questa funzione è fantastica: anziché fare una ricerca specifica, puoi semplicemente scrivere una domanda. Puoi chiedere: puoi riassumere il feedback più recente su instant event?
Puoi darmi le tre citazioni più positive e alcune negative? Qualcosa che ora richiederebbe 20 minuti, viene fatto in pochi secondi, incredibile. Oppure: quando ho un incontro con Hannah? Quando ho inviato l’ultima email a tizio? Inizialmente pensavamo di metterci circa tre mesi per sviluppare questo prodotto.
Ma abbiamo deciso di lanciare una versione dopo solo un mese, anche se non ci sembrava pronta. L’abbiamo proposta prima al nostro team AI, poi all’intera azienda, e poi a un gruppo via via più grande di beta user. Di fase in fase abbiamo imparato qualcosa di nuovo che ha completamente cambiato la nostra visione del prodotto e del modo di costruirlo.
Così, dopo tre mesi, parecchie persone l’avevano già usato e abbiamo finalmente realizzato la versione giusta, cosa che non sarebbe stata scontata dall’inizio. L’AI è un territorio talmente sconosciuto che spesso non hai idea di come verrà usata. Devi ottimizzare per imparare.
Devi lanciare una piccola versione, iterare, lanciare di nuovo, iterare, e così via.
Hannah Clark: Capisco come questo ciclo accelerato ti dia tanti dati “di fallimento”, spesso molto più utili che non se non avessi nulla su cui lavorare e avessi bruciato tutte le risorse. È davvero interessante.
Abbiamo parlato, in una conversazione precedente, dell’importanza di incorporare l’AI nella strategia di prodotto invece che aggiungerla superficialmente, cosa che succede spesso in molte integrazioni AI odierne.
Quali decisioni avete preso per far sì che l’AI fosse davvero parte integrante del prodotto e non solo un’aggiunta visibile?
Lorilyn McCue: Oggi molti inseriscono l’AI in una barra laterale, in uno spazio chat. Bisogna invece integrare l’AI in modo naturale nel prodotto.
La mia intervista utente ideale sarebbe: “Ehi, hai provato questa funzione AI?”, “Ah, non sapevo fosse una funzione AI!”. Ecco, quando l’AI è perfettamente integrata sembra tutto naturale, quello che ti serve c’è, quando ti serve. Un esempio pratico: ieri abbiamo lanciato una funzione chiamata Instant Event, di cui sono molto entusiasta anche personalmente.
Ricevi un’email—ok, siamo entrambi genitori. Ricevi una mail: “Non dimenticare di portare questo a scuola quel giorno”. Ora devi aprire il calendario, vedere cosa hai quel giorno, creare un evento… è snervante. Ora in Superhuman, con un click, crei subito un evento con data, titolo, dettagli e invitati corretti—utilissimo.
Quando abbiamo lanciato questa funzione era nascosta, accessibile solo dal comando K, cioè il menu dei comandi di Superhuman. Dovevi sapere di premere command K e cercare “crea evento con AI”. Ovviamente così pochi l’avrebbero trovata.
Però in quel modo abbiamo potuto testare e seguire quel primo principio dell’ottimizzare per l’apprendimento. L’abbiamo provata in tante email, capendo cosa funzionava e le casistiche più strane, ma quello non era il risultato finale. Dovevamo integrarla in modo coerente.
Ora è in più posti: con la scorciatoia del calendario (B in Superhuman)—si crea subito un evento con AI invece che un evento vuoto, bellissimo. C’è anche un pulsantino in fondo alle email quando viene rilevata una data: vuoi creare un evento in questo giorno?
Clicchi e si apre. Non fa nessun suono, comunque, quella battaglia non l’ho vinta.
Hannah Clark: A me il suono piace.
Lorilyn McCue: O quando passi il mouse sulle date, il cursore cambia in una mano. Clicchi, si crea l’evento. Volevamo testarla con il comando K, ma la versione finale era molto più integrata e naturale.
E gli utenti la stanno trovando in modi che nemmeno avevamo annunciato via email. Lo scoprono da soli, ed è proprio quello che volevo: vedi una data, clicchi, si crea un evento. Perfetto.
Hannah Clark: Web designer, questo è per voi. Ho 30 secondi per parlarvi di Wix Studio, la piattaforma web per agenzie e aziende. Ecco quattro cose che potete fare in 30 secondi o meno su Studio: adattare i vostri design a ogni dispositivo con l’AI responsiva, riutilizzare asset come template, widget e librerie di design su più siti e condividerli con il team, aggiungere animazioni no code e sfondi sfumati direttamente dall’editor, ed esportare i vostri progetti da Figma a Wix Studio con un solo click. Il tempo è scaduto, ma la lista continua. Provate Wix Studio e scopritelo di persona.
Abbiamo recentemente parlato di empatia, parte del processo di design, e penso che queste funzionalità intuitive siano la chiave per favorire l’adozione: rendere le funzioni talmente naturali e intuitive che gli utenti non possono fare a meno di scoprirle.
Parliamo invece di dati e di come usiamo metriche e insight per guidare le scelte. Prendiamo l’esempio del riepilogo automatico di Superhuman, offerto senza che l’utente debba richiederlo. Che metriche o insight hanno guidato questa scelta di prodotto?
Puoi spiegare meglio quella funzione e come decidete se una funzionalità debba essere proattiva o su iniziativa dell’utente?
Lorilyn McCue: Ci sono in realtà due funzioni di cui voglio parlare a tal proposito. Quando ricevi un’email, prima ancora di aprirla, calcoliamo un riassunto e alcune risposte istantanee suggerite.
Il riassunto automatico è una sola riga presente in ogni email: lo vedi subito. Molti prodotti lo forniscono solo al click perché ovviamente riassumere ogni email costa molto—alcune poi non vengono nemmeno aperte.
Per noi però era cruciale che riassunto e risposte fossero subito pronti appena si apre l’email. Perché magari hai fretta, come dicevi tu prima: bisogna avere empatia con chi usa il prodotto. L’utente non può aspettare quei pochi secondi che servono per generare il riassunto su richiesta.
La seconda funzione è la risposta istantanea. Quali metriche hanno guidato la scelta? Volevamo usare un modello avanzato per questa funzione, la risposta istantanea. Ma quel modello era troppo lento. Era come una tartaruga! Risposte brillanti, ma lentissime: il bot geniale tartaruga. Ok, forse ha senso chiederlo all’utente, dargli la super risposta tartaruga, ottima e accurata. Ma bisogna aspettare un po’, potrebbe non essere pronta quando si apre l’email.
Oppure c’era un’altra opzione: diciamo un “zio veloce ma un po’ goffo”. Fa il suo lavoro, ogni tanto sbaglia. Prima di riuscire a risolvere certi problemi, questa variante dava risposte bizzarre.
Ad esempio, in caso di email di commiato: “Sono stato bene in questa azienda ma è ora di andare”, e altri rispondono “Ci mancherai tanto” eccetera. Lo “zio veloce” rispondeva: “Caro Johnny, grazie per aver salutato Sarah”. Ma no! La risposta giusta è “Ciao Sarah!”—questo avrebbe senso. Il geniale tartaruga lo saprebbe, ma ci mette troppo tempo. Quindi: come fare?
Ci siamo resi conto che dovevamo affidarci allo zio un po’ meno brillante, ma cercare di renderlo più intelligente.
Possiamo fare fine tuning sul modello, fornire più esempi di questi casi specifici. Possiamo anche decidere quali parti della conversazione inviare. Possiamo modificare il prompt. Alla fine, doveva a) essere abbastanza buono, ma b) anche abbastanza veloce.
Era la cosa più importante.
Hannah Clark: Vorrei approfondire questo aspetto perché credo sia una competenza tipica della gestione di prodotti AI e molto rilevante per chiunque voglia migliorare il proprio skillset.
Parlando degli aspetti tecnici come il fine tuning dei modelli, il bilanciamento fra latenza ed efficienza, quali sono concretamente i processi che valutate e quali risorse servono per poter prendere decisioni davvero informate considerando tutti questi fattori?
Lorilyn McCue: Mi piace usare uno strumento che permette di confrontare più prompt e più modelli side by side. Quindi: prompt A con il geniale tartaruga a sinistra, lo stesso prompt con lo zio veloce a destra, il tutto con un dataset reale. Già che ci sono: come si ottiene quel dataset?
Lanci la feature prima agli utenti interni che ti aiutano a raccogliere feedback: pollici in su o giù sui casi reali. E quello poi diventa il tuo dataset su cui testare. Potresti creare esempi di testa tua, ma i casi reali dei tuoi utenti sono molto più utili.
Prendi quel dataset e lo passi ai due prompt. Misuri il tempo che impiega. Magari scopri quanto impiega mediamente a aprire l’email: quello è il tuo benchmark. Deve essere tutto pronto entro uno o due secondi, perché spesso gli utenti aprono subito la mail. Ok, chi vince quella sfida dei 2 secondi?
Ok, questo modello la vince. Ora esamini tutte le risposte. Quali sono strane? “Perché sta ringraziando tizio per aver salutato Sarah?” Ok, aggiungi una nuova colonna. Cambiamo ancora prompt.
Ok, determina il focus della conversazione. Capisci chi deve davvero rispondere. Riprovi su tutti i casi. Ok, ancora, iteri. Devi iterare, iterare, iterare. Magari all’inizio nemmeno sai cosa cercare, ma man mano capisci quali sono i criteri di successo.
Magari ce li hai già: la feature deve essere rapida, precisa, ma… quanto precisa e su quali tipologie di domande? Lo capisci solo provando, toccando con mano.
Hannah Clark: Da qui emerge chiaramente che il prompt engineering è una competenza chiave da padroneggiare per essere efficaci in questo ruolo.
Come hai sviluppato questa abilità, visto che è una disciplina così recente? Hai seguito corsi oppure hai imparato tutto sul campo?
Lorilyn McCue: Direi entrambe le cose. Tantissimo imparando facendo. Letteralmente ero io la sera a testare cose nuove. A volte cercavo su internet:
“Esiste una soluzione a questo problema? Cosa posso fare?” In più avevamo una relazione diretta con OpenAI che ci dava suggerimenti. Alcuni sono curiosi: “Scrivilo in MAIUSCOLO”, ok, oppure “Ripetilo due volte” o “Mettilo anche in fondo”.
Un ottimo suggerimento era: inserisci sempre almeno un esempio (“one shot”), assicurati che il fine tuning comprenda tutte le varianti che ti danno problemi.
Hannah Clark: Questi sono ottimi suggerimenti. Trovo il prompt engineering interessante perché interagendo tutti i giorni in linguaggio naturale, sembra un’attività spontanea, ma invece per ottenere risultati serve metodo.
Hai altri trucchi imparati perfezionando i prompt che ti hanno aiutata a trovare la soluzione più efficace?
Lorilyn McCue: Sì. Un metodo che uso è chiedere all’LLM di spiegare le proprie risposte.
Prendiamo l’esempio della risposta istantanea. Gli chiedevo: “A chi stai rispondendo?” e poi “Perché stai rispondendo a questa persona?”. E lui: “Perché per X, Y, Z…”. Allora capivo dove si sbagliava, questo zio veloce ma ingenuo. E aggiustavo il prompt.
Spiegami ancora perché. Farsi spiegare la scelta aiutava a vedere il ragionamento interno e consentiva di migliorare il prompt. Sì, chiedere la spiegazione funzionava molto bene.
Hannah Clark: Già, serve anche evitare la tentazione di riscrivere tutto il prompt da capo ogni volta! Questo è molto pratico.
Parliamo della parte business dell’AI. Oggi molte funzioni AI sono ormai uno standard nei prodotti digitali, ma integrare l’AI porta molte complessità. Quali sfide avete affrontato in Superhuman nel decidere quali modelli AI o strumenti implementare?
Lorilyn McCue: Chi conosce l’AI, probabilmente ha capito che mi riferivo a GPT-4 (la tartaruga) e GPT-3.5 (lo zio veloce ma meno brillante).
Oggi il problema è meno marcato con GPT-4.0 e GPT-4.0 Mini, che sono già molto rapidi e accurati. È interessante perché ciò che mi tormentava un anno fa ora non è più un grande problema. Ma allora era fondamentale, soprattutto su scala: “riassumi ogni email che riceve un utente”.
Sono numeri enormi. Questo costa molto. Siamo fortunati, il nostro CEO Rahul punta tutto sulla qualità: scegliere sempre la soluzione migliore. Ma a volte “migliore” non significa solo risposte più precise, ma anche soddisfare il bisogno di velocità.
Saremmo stati disposti a pagare GPT-4? Sì, ma non garantiva la velocità che serviva ai nostri utenti. Quindi abbiamo scelto GPT-3.5, perché funzionava e rispettava i requisiti di latenza.
Con tanto lavoro su prompt, PM e QA, abbiamo raggiunto il livello qualitativo necessario. L’aspetto economico è importante, ma abbiamo sempre messo al primo posto il bisogno degli utenti, a qualsiasi costo.
Hannah Clark: Cambiamo argomento: vorrei parlare della tua crescita verso il ruolo di product manager AI. Tutti vogliono sviluppare queste competenze e arricchire il proprio profilo. Quali competenze pratiche o conoscenze (o anche corsi o certificazioni) consiglieresti a chi vuole creare prodotti centrati sull’AI?
Lorilyn McCue: Direi che apprendere facendo, direttamente sulle nuove funzionalità, è la cosa più efficace, restando aggiornati su tutti i trend e le novità che escono, ogni settimana praticamente c’è qualcosa di nuovo.
Provatelo, sperimentatelo. Trovate modi per integrare l’AI nella vita quotidiana, valutate cosa funziona. Un esempio: ho due figli molto carini: vengono sempre nel mio ufficio mentre lavoro: “Mamma, solo cinque minuti ancora!”—Inutile. Ma quello che vogliono davvero sono pagine da colorare stampate.
Ho esaurito tutti i camion monster-truck e carri armati su coloringpages.com. Mi dicono: “No mamma”. Ok, allora andiamo su ChatGPT: fammi una pagina da colorare con un monster truck. Ti piace? No, ne voglio dieci! Ok, dieci monster truck che gareggiano. E così via, finché so cosa vogliono e dico: “Crea una pagina da colorare per bambini con 10 monster truck su una pista, ma senza macchine da corsa”. Poi la stampo. Ma trovando questi casi d’uso quotidiani si capisce davvero cosa si può fare.
Un esempio professionale: lo faccio anche per le micro-copie. Dobbiamo spiegare in un tooltip come funziona una funzione, usando poche parole e un certo linguaggio; scrivo un esempio e genero dieci varianti. Poi ritento.
Usando l’AI ogni giorno ti rendi conto di cosa è possibile. Esce una novità? Provala. Esce un modello nuovo? Provalo. Un’altra azienda propone una soluzione? Provaci anche tu.
Un altro esempio: su Perplexity dico: “Elenca tutti i modelli disponibili e quanto costano per milione di token, in tabella”. Fatto. Bisogna proprio metterci le mani. Onestamente è la cosa più utile.
È una risposta utile? Non è un corso, ma è ciò che puoi cominciare a fare subito nella vita di ogni giorno.
Hannah Clark: Utilissimo. E quel trucco da genitore non me l’aspettavo, lo userò anch’io!
Lorilyn McCue: Funziona alla grande!
Hannah Clark: Sì, anche mio figlio va pazzo per quelle cose. Sarà un bel passatempo per il weekend!
Grazie mille per essere stata con noi oggi, Lorilyn. Ho apprezzato tantissimo i tuoi spunti sulla gestione di prodotti AI. Il consiglio top del decennio in questo momento. Prima di salutarci: dove possono trovarti gli ascoltatori e saperne di più su cosa state costruendo a Superhuman?
Lorilyn McCue: Potete vedere il nostro lavoro sul blog di Superhuman, superhuman.com. Cliccate su blog. Per quanto riguarda me, pubblico aggiornamenti su LinkedIn: Lorilyn McCue.
Hannah Clark: Fantastico. Grazie infinite per la tua presenza.
Lorilyn McCue: Grazie a voi.
Hannah Clark: Grazie a tutti per averci seguito. Per altre idee, guide pratiche e recensioni di strumenti, iscrivetevi alla nostra newsletter su theproductmanager.com/subscribe. Potete ascoltare altre conversazioni come questa iscrivendovi a The CPO Club ovunque ascoltiate i podcast.
