Come Ridurre i Bias nei Modelli NLP per una Migliore Analisi del Testo (con Dan Erickson di Viable)

Michael Luchen

L'elaborazione del linguaggio naturale può essere uno strumento incredibilmente potente. Può essere utilizzata per analizzare migliaia di punti dati e fornire insight rapidi e affidabili, ma c'è un rischio che si verifichino bias nei risultati? Come possiamo essere certi che i risultati siano il più possibile oggettivi? Continua ad ascoltare perché oggi approfondiremo il tema dell'Elaborazione del Linguaggio Naturale, uno strumento potente che aiuterà il futuro del product management.

Questo è il podcast Product Manager, le voci della community che scrive il manuale per la gestione, lo sviluppo e la strategia del prodotto. Siamo sponsorizzati da Crema, un'agenzia digitale che aiuta individui e aziende a prosperare attraverso creatività, tecnologia e cultura. Scopri di più su crema.us.

Continua ad ascoltare per consigli pratici e autentici che ti aiuteranno a avere successo nel mondo della gestione prodotto.

Bene. Quindi, oggi con noi per parlare dell'argomento bias nell'Elaborazione del Linguaggio Naturale o NLP, abbiamo Dan Erickson — CEO e Fondatore di Viable. Viable aiuta le aziende a imparare dai propri clienti aggregando il feedback proveniente da diversi canali, identificando temi ricorrenti e analizzando il feedback per generare veri insight e raccomandazioni.

Viable supporta molti canali: ticket di supporto, chat dal vivo, social media, sondaggi, recensioni di prodotti e app, e trascrizioni di chiamate. Dan e il suo team hanno raccolto complessivamente 9 milioni di dollari da Craft Ventures, Javelin Venture Partners, Streamlined Ventures, Meyers Capital, numerosi straordinari investitori angel e venture solo.

Ciao Dan! Benvenuto nel nostro podcast.

Dan Erickson

Grazie per avermi invitato, Michael. È un piacere essere qui.

Michael Luchen

È un piacere averti qui.

E per il nostro pubblico, sono curioso, per iniziare puoi raccontarci un po' del tuo percorso e come sei arrivato dove sei oggi?

Dan Erickson

Sì, certo. Il mio background è in ingegneria.

Sono stato protagonista di startup dal lato ingegneristico per circa 15 anni. Mi sono concentrato molto sulle prime fasi e poi anche sulla crescita. All’inizio della mia carriera, mi sono focalizzato sull’aiutare le aziende nelle primissime fasi a costruire il loro primo prodotto e a raggiungere il fit tra prodotto e mercato.

Poi sono passato a realtà in crescita come Yammer ed Eaze. Sono stato VP of Engineering in Eaze. CTO in un'azienda chiamata Getable, attiva nel settore del noleggio in edilizia. Qualche anno fa, ho fondato Viable per aiutare le aziende a comprendere veramente i loro clienti.

Michael Luchen

Come è nata l’idea di Viable?

Dan Erickson

Viable ha raggiunto la sua forma attuale tramite un percorso un po' tortuoso. Inizialmente ci chiamavamo Viable Fit e aiutavamo startup nelle prime fasi a trovare il fit tra prodotto e mercato tramite il framework di superhuman product-market fit.

Avevamo un prototipo che utilizzava la NLP per capire le risposte ai sondaggi. Però ci siamo rapidamente resi conto che il reale valore che offrivamo era nell’analisi delle risposte, non nella mera raccolta di feedback o misurazione del fit prodotto-mercato.

Così ci siamo spostati verso aziende in fase di crescita o imprese con moltissimi dati da analizzare, per le quali mancavano strumenti di analisi.

Michael Luchen

Davvero interessante, soprattutto come avete cambiato target di mercato.

Dan Erickson

Tutto merito dell’ascolto del mercato.

Michael Luchen

Prima di approfondire su Viable, per i nostri ascoltatori: puoi spiegare a grandi linee cos’è l’Elaborazione del Linguaggio Naturale (NLP)?

Dan Erickson

Certo. L’Elaborazione del Linguaggio Naturale è sostanzialmente il modo in cui un computer viene aiutato a comprendere il linguaggio umano.

All’inizio era usata per cose semplici, tipo estrarre parole chiave o analizzare il sentiment di un testo. La NLP esiste da decenni ma negli ultimi anni c’è stata una vera e propria rinascita, legata soprattutto ai modelli transformer e ai grandi modelli di linguaggio. Questi permettono una comprensione più profonda del contesto umano.

Ora, invece di estrarre solo parole chiave o capire solo se qualcosa è positivo o negativo, si può arrivare a cogliere il significato profondo e le somiglianze tra argomenti diversi, come comprendere che "scorciatoie da tastiera", "comandi da tastiera" e "hotkey" sono la stessa cosa. Tutto grazie a modelli NLP sempre più sofisticati.

In breve, la NLP serve per far comprendere il linguaggio umano ai computer ed estrarre le informazioni giuste.

Michael Luchen

E come utilizza Viable la NLP?

Dan Erickson

Al centro del nostro prodotto c’è un motore di analisi qualitativa composito tra modelli proprietari, modelli di terze parti e GPT-3.

GPT-3 rappresenta la base di quel che sviluppiamo, ma abbiamo anche molti modelli personalizzati e vari modelli di GPT-3 ottimizzati appositamente. Collaboriamo con OpenAI per migliorare ciò. Utilizziamo sia NLP sia NLG (Generazione di Linguaggio Naturale) per molte funzionalità.

Una è l’analisi dei temi: aggregare dati da diverse fonti e clusterizzarli in temi, per individuare lamentele principali, complimenti o domande frequenti.

Ogni cluster viene chiamato "tema" e viene riassunto per comprendere cosa viene discusso in quel gruppo di testo. Faccio un esempio: se sviluppi un controller per videogiochi e su Reddit emergono migliaia di commenti, ma solo un centinaio riguarda la levetta sinistra. Manualmente occorrerebbero ore per aggregare quei commenti, invece noi lo facciamo in pochi minuti, riassumendo tutto per fornire un report immediato al team hardware.

Usiamo la NLP anche per l’estrazione di argomenti (cosa e quali funzionalità/prodotti vengono discussi), e la generazione automatica dei riassunti per ogni tema. In media, il nostro report contiene oltre 30 paragrafi di analisi scritta, totalmente generata dal sistema, senza intervento umano. Inoltre, offriamo una funzionalità di domande e risposte aperte, dove si inserisce una domanda in linguaggio naturale e il sistema restituisce la risposta appropriata dopo un’analisi sui dati.

Michael Luchen

Molto interessante.

Senti, pensando alla storia di Viable, è un prodotto high-tech. Quando l'avete creato, siete partiti dalla tecnologia per trovare un'applicazione o da un problema concreto cercando la tecnologia ideale da applicare?

Dan Erickson

Siamo partiti dalla seconda strada: volevamo risolvere un vero problema. All'inizio aiutavamo le aziende a trovare il fit tra prodotto e mercato tramite il metodo superhuman: mandare sondaggi, leggere tutte le risposte, aggregarle per funzionalità o punti di dolore e usare queste informazioni per guidare la roadmap.

Molti facevano fatica a trovare il tempo per leggere e categorizzare ogni risposta. Abbiamo capito che la NLP avrebbe potuto svolgere gran parte di quel lavoro con risultati simili all’essere umano. Così abbiamo iniziato da un sistema semplice di NLP, con estrazione di argomenti e sentiment analysis per aiutare a capire cosa e dove costruire.

Abbiamo scoperto che le persone apprezzavano soprattutto la parte di analisi automatica, così ci siamo focalizzati interamente su quello e ci siamo rivolti anche ad aziende che avevano già raggiunto il fit prodotto-mercato.

Dopo aver ottenuto accesso a GPT-3 nel giugno 2020, abbiamo capito che si poteva automatizzare l’analisi di qualsiasi tipo di testo raccolto in azienda, non solo nei sondaggi.

Michael Luchen

Quindi raccogliendo testo c'è il rischio che si introducano bias.

Oggi parliamo di bias nella NLP e di come gestirli. Quali sono i possibili ingressi di bias nella NLP se viene usata in un prodotto?

Dan Erickson

Tutti i modelli linguistici includono bias di default perché sono addestrati su testi umani, e gli esseri umani sono intrinsecamente soggetti a bias e irrazionalità. Quindi trasferiamo questi bias ai modelli NLP.

Molte aziende provano a ridurre questi bias al massimo. OpenAI, ad esempio, ha veri e propri team dedicati a questo problema. Se usi GPT-3 senza personalizzazione, puoi ottenere risultati discutibili, ma puoi minimizzare bias specializzando l’addestramento del modello sul caso d’uso specifico.

In sintesi, tutti i modelli NLP hanno bias intrinseco che va ridotto il più possibile lavorando sulla formazione dedicata dei modelli.

Michael Luchen

Come agite da Viable per ridurre questi bias, già all'origine?

Dan Erickson

Formiamo modelli su set di dati selezionati da noi, specifici all’uso, evitando così bias globali che emergerebbero con modelli generici. Addestriamo sia GPT-3 personalizzato sia modelli interni.

Poi verifichiamo e confrontiamo i risultati con intuizioni umane sul bias. Nei processi di training coinvolgiamo persone che rilevano eventuali tendenze del modello e modifichiamo i dati di addestramento per compensare i bias rilevati.

Michael Luchen

Ci sono considerazioni riguardo i dati dei clienti che analizzate?

Dan Erickson

In genere non alleniamo i nostri modelli sui dati dei clienti, ma usiamo dataset nostri. Talvolta possiamo usare versioni anonimizzate con permesso, ma principalmente i dati dei clienti vengono solo analizzati da modelli già pre-addestrati e testati contro i bias.

Michael Luchen

Quindi investite tanto nel raffinamento dei modelli, anche rispetto alle basi fornite da GPT-3 o OpenAI.

Quando pianificate la vostra roadmap, come gestite il continuo miglioramento dei modelli NLP?

Dan Erickson

Il raffinamento dei modelli è una funzione permanente in roadmap: insieme allo sviluppo di funzionalità enterprise e integrazioni, esiste una "linea" apposta. Non passa settimana senza almeno un’operazione di retraining su uno dei numerosi modelli che gestiamo internamente.

Michael Luchen

Quanta parte del team si dedica a questa attività?

Dan Erickson

Circa il 20% del tempo del team NLP è dedicato al raffinamento e retraining continui.

Michael Luchen

Tornando ai bias: come l’NLP può ridurli rispetto a sistemi manuali tradizionali?

Dan Erickson

Dobbiamo pensare anche ai bias già presenti nei processi umani che la NLP sostituisce. I product manager di solito si affidano a aneddoti raccolti da chi è in contatto coi clienti, col rischio di recency bias o di privilegio verso i clienti più rumorosi.

L’NLP non soffre di questi specifici bias umani e permette una visione più ampia ed equilibrata dei dati. Mentre manualmente si tende a catalogare il feedback in uno o due temi, in realtà spesso ce ne sono tre-cinque. L’NLP permette maggiore granularità e completezza di analisi.

Michael Luchen

Quindi un intervento umano sarà sempre necessario per mitigare i bias?

Dan Erickson

Sì, bisogna sempre puntare a ridurre il bias nei sistemi NLP, ma il contributo umano resta fondamentale per la verifica finale. Noi coinvolgiamo utenti nella revisione, permettendo di valutare con like/dislike ogni analisi e fornire feedback per l’ulteriore raffinamento dei modelli.

Michael Luchen

Come ricevete dettagli aggiuntivi dai clienti, oltre al pollice su/giù?

Dan Erickson

Presto, dopo un dislike, apparirà una casella di testo dove gli utenti potranno spiegare il motivo. Tutto rientrerà in Viable, che analizzerà questi feedback a sua volta.

Michael Luchen

Fantastico. Guardando al futuro del prodotto, come vedi evolvere la NLP e come cambierà il product management?

Dan Erickson

La NLP sta vivendo una fase di rinascita. Stiamo già vedendo modelli multimodali come DALL-E 2, in cui si genera un'immagine da una semplice descrizione testuale. In futuro modelli sempre più grandi e potenti permetteranno comprensioni più profonde e finestre di contesto enormi.

Modelli come GPT-4 e altri di Google, Microsoft, Facebook renderanno possibile l’analisi di decine di migliaia di parole contemporaneamente, facilitando connessioni tra concetti distanti.

Michael Luchen

Se sono un product manager e voglio integrare un modello NLP, come GPT-3 o 4, da dove inizio?

Dan Erickson

Consiglio di partire dalle interfacce di linguaggio naturale: sistemi tipo Q&A in linguaggio naturale, GitHub Copilot, etc. Consentono di interagire con il prodotto in forma naturale, senza percorsi obbligati o wizard rigidi. È relativamente semplice aggiungere queste funzionalità usando GPT-3. Consiglio di sperimentare subito con la piattaforma di OpenAI per vedere cosa può offrire.

Michael Luchen

Fantastico. Chiudiamo con alcune domande personali, se ti va.

Dan Erickson

Certo!

Michael Luchen

Qual è la tua abitudine personale che più ha contribuito al tuo successo?

Dan Erickson

Dormire otto ore. Da fondatore è difficile, ma dormire è la base per tutto il resto. Senza sonno si saltano i pasti, non si fa sport, si è meno produttivi. Ogni tanto lavoro fino a tardi, ma cerco la costanza nel sonno.

Michael Luchen

Il tuo strumento preferito?

Dan Erickson

In questo momento GitHub Copilot. Uso Visual Studio Code per lo sviluppo, siamo circa 10 persone in Viable, quindi ancora programmo. GitHub Copilot rende il lavoro molto più rapido: circa il 50% del codice che scrivo ora è generato da Copilot.

Michael Luchen

Eccezionale.

Infine, qual è il consiglio che daresti a qualcuno che inizia il percorso nel product?

Dan Erickson

Non fossilizzarti. L’idea iniziale raramente coincide con ciò che alla fine porta al successo. È importante ascoltare molto gli utenti e farsi guidare dalle loro esigenze invece che dalla propria intuizione.

Michael Luchen

Ottimo consiglio e perfetto per concludere.

Grazie mille Dan per essere stato qui oggi. Ho imparato molto sulla NLP e porterò quanto appreso nei prodotti a cui lavoro.

Dan Erickson

Grazie a te, è stato un piacere.

Michael Luchen

Puoi trovare maggiori informazioni su Dan su LinkedIn e sulla sua azienda Viable su askviable.com.

Grazie ancora Dan per aver partecipato.

Grazie a tutti gli ascoltatori. Lasciate una recensione al podcast, fateci sapere cosa ne pensate e unitevi alla nostra community su theproductmanager.com

Grazie ancora, a presto!