Cómo reducir los sesgos en modelos de PLN para un mejor análisis de texto (con Dan Erickson de Viable)

Michael Luchen

El procesamiento de lenguaje natural puede ser una herramienta increíblemente poderosa. Puede usarse para analizar miles de puntos de datos y proporcionar información rápida y confiable, sin embargo, ¿existe el riesgo de que surja sesgo en estos resultados? ¿Cómo sabemos con certeza que los resultados son lo más objetivos posible? Sigue escuchando porque hoy vamos a profundizar en el tema del Procesamiento de Lenguaje Natural, una herramienta poderosa que ayudará al futuro de la gestión de productos.

Este es el pódcast Product Manager, las voces de la comunidad que está escribiendo el manual para la gestión, el desarrollo y la estrategia de productos. Nos patrocina Crema, una agencia de productos digitales que ayuda a individuos y empresas a prosperar a través de la creatividad, la tecnología y la cultura. Conoce más en crema.us.

Sigue escuchando para obtener ideas prácticas y auténticas que te ayuden a tener éxito en el mundo de la gestión de productos.

Muy bien. Así que hoy nos acompaña para hablar sobre nuestro tema del sesgo en el Procesamiento de Lenguaje Natural o PLN, Dan Erickson — el CEO y fundador de Viable. Viable ayuda a las empresas a aprender de sus clientes, agregando comentarios de los clientes a través de varios canales, identificando temas y analizando los comentarios para producir conocimientos y recomendaciones reales.

Viable soporta muchos canales: tickets de trabajo, chat en vivo, redes sociales, encuestas, reseñas de productos y aplicaciones, y transcripciones de llamadas. Dan y su equipo también han recaudado un total de 9 millones de dólares de Craft Ventures, Javelin Venture Partners, Streamlined Ventures, Meyers Capital, varios inversores ángeles increíbles y GPs independientes.

¡Hola, Dan! Bienvenido al programa.

Dan Erickson

Gracias por invitarme, Michael. Es genial estar aquí.

Michael Luchen

Es genial tenerte aquí.

Y para nuestra audiencia, tengo curiosidad, para empezar y romper el hielo, ¿puedes compartir un poco sobre tu trayectoria y cómo llegaste hasta donde estás hoy?

Dan Erickson

Sí, por supuesto. Mi formación es en ingeniería.

He estado en startups del lado de ingeniería por unos 15 años ya. Y realmente me he enfocado en las etapas tempranas y luego en el crecimiento también. Así que, al comienzo de mi carrera, me centré mucho en ayudar a las empresas en etapa temprana a construir su primer producto y en comprender esa primera etapa de ajuste producto-mercado.

Luego me trasladé a empresas de mayor crecimiento como Yammer y Eaze. Fui VP de Ingeniería en Eaze. Fui CTO en una empresa llamada Getable, que estaba en el sector de alquiler de equipos de construcción. Y hace solo un par de años, fundé Viable para ayudar a las empresas a entender y conectar realmente con sus clientes.

Michael Luchen

¿Y cómo surgió la idea y la necesidad de Viable?

Dan Erickson

Sí. Así que en realidad llegamos al estado actual de Viable por un camino un poco serpenteante. En realidad, seguimos un poco el mercado aquí. Cuando empezamos la empresa, nos llamábamos Viable Fit. Estábamos enfocados en ayudar a empresas en etapa temprana a encontrar el ajuste producto-mercado usando el marco de ajuste producto-mercado de Superhuman.

Teníamos una versión prototipo de eso que utilizaba PLN para ayudarles a comprender las respuestas que recibían en la encuesta que ese equipo de Superhuman elaboró. Sin embargo, nos dimos cuenta rápidamente de que el gran valor que aportábamos estaba en la capa de análisis, no necesariamente en la recopilación de comentarios o en la medición del ajuste producto-mercado.

Así que terminamos moviéndonos hacia arriba en el mercado. Dejamos las startups en etapas tempranas y nos orientamos a empresas en rápido crecimiento y empresas grandes que reciben enormes cantidades de datos y que actualmente no tienen forma de analizarlos.

Michael Luchen

Sí, fascinante. Especialmente, ver dónde empezaste y hacia dónde pivotaste en cuanto a los segmentos de mercado.

Dan Erickson

Sí, todo fue cuestión de escuchar al mercado en ese caso.

Michael Luchen

Entonces, antes de profundizar en Viable, tengo curiosidad por nuestra audiencia. Para quienes nos escuchan, ¿puedes hablar un poco sobre qué es el Procesamiento de Lenguaje Natural, o PLN, a un nivel general?

Dan Erickson

Sí, claro. El Procesamiento de Lenguaje Natural básicamente es una manera de ayudar a una computadora a comprender el lenguaje humano.

En sus inicios se usaba para cosas bastante simples, como extraer palabras clave de textos o hacer análisis de sentimiento sobre temas específicos en un texto y cosas por el estilo. El PLN ha existido durante décadas pero, en los últimos años, hemos visto un gran renacimiento en el PLN, específicamente con los modelos transformadores y los grandes modelos de lenguaje. Y estos han permitido una comprensión mucho más profunda del lenguaje humano en contexto.

Así que, en vez de solo extraer palabras clave o decirte que esto es un sentimiento positivo o negativo, ahora realmente puedes empezar a entender qué significan las cosas. Y empezar a comprender las similitudes entre los distintos temas, por ejemplo.

Así que en lugar de detectar, por ejemplo, “atajos de teclado”, “comandos de teclado” y “teclas rápidas” como tres cosas distintas, el PLN empieza a ser capaz de entender que esas tres cosas en realidad significan lo mismo. Y eso se debe precisamente a la profundidad de comprensión que estos nuevos modelos de PLN han alcanzado.

Entonces, a grandes rasgos, el PLN se trata de entender el lenguaje humano de una manera que las computadoras puedan usar para extraer la información adecuada.

Michael Luchen

¿Y cómo utiliza Viable el PLN?

Dan Erickson

Sí, en el núcleo de nuestro producto se encuentra nuestro motor de análisis cualitativo, que consiste en una combinación de modelos propios y de terceros, incluyendo GPT-3.

GPT-3 proporciona la base de todo lo que estamos construyendo aquí. Pero en realidad hemos desarrollado muchos modelos personalizados encima de eso, así como varios modelos GPT-3 ajustados específicamente. Trabajamos muy de cerca con OpenAI y el equipo de OpenAI para lograr esto. Entonces, usamos PLN y PLN Generativo (Natural Language Generation) para una amplia variedad de funciones.

Una de ellas es el análisis de temas. Esto consiste básicamente en recibir un gran conjunto de datos de múltiples fuentes y agruparlos por temas. Así, podemos identificar, por ejemplo, ¿cuáles son tus principales quejas? ¿Cuáles son los mayores elogios? ¿Cuáles son las preguntas más frecuentes?

Y cada una de esas cosas termina siendo un conglomerado al que llamamos tema. Así que hacemos análisis de temas. No solo agrupamos esas cosas, también profundizamos y resumimos cada grupo para que comprendas exactamente de qué hablan las personas dentro de ese conglomerado de texto.

Un buen ejemplo sería: digamos que estás construyendo un mando de videojuegos y la gente comenta en Reddit que el joystick izquierdo no funciona bien. Y tienes, no sé, miles de comentarios en ese subreddit, pero solo cien hablan del joystick izquierdo.

Te tomaría horas revisar y organizar todo eso de forma manual en distintos grupos. Nosotros podemos hacerlo en minutos y, además, resumir esos cien comentarios sobre el joystick izquierdo para que puedas pasárselos a tu equipo de hardware y ellos sabrán exactamente por dónde empezar.

También lo usamos para la extracción de temas. Es decir, identificar específicamente de qué funciones hablan, de qué productos hablan, ese tipo de cosas. Luego hacemos la parte de resumen de análisis de temas, que es donde entra la generación de lenguaje natural. Ahí es donde generamos texto real, legible por humanos.

De hecho, nuestro informe medio tiene más de 30 párrafos de análisis redactados por nuestro sistema informático, sin humanos involucrados. También lo usamos para nuestro QA abierto donde puedes escribir una pregunta en lenguaje natural. Entonces buscamos en tus datos todos los elementos que puedan responder esa pregunta y los analizamos con diferentes modelos para darte una respuesta.

Michael Luchen

Realmente fascinante.

Y, sabes, tengo curiosidad, al escucharte hablar de esto y conociendo un poco sobre la historia de Viable como empresa. Este es un producto bastante tecnológico.

Cuando estaban construyendo esto y encontrando el ajuste producto-mercado, ¿fue porque vieron la tecnología y dijeron “aquí hay una oportunidad para aplicarla”, o partieron del problema y luego encontraron que el PLN estaba lo suficientemente avanzado para resolverlo?

Dan Erickson

Sí. En realidad empezó como lo segundo. Fue para solucionar un problema real. Originalmente era el problema de ayudar a las empresas a encontrar el ajuste producto-mercado usando el proceso de Superhuman: enviar una encuesta, recopilar respuestas, leer cada respuesta, agruparlas por funciones o puntos de dolor y luego usar eso para guiar la hoja de ruta de producto.

La parte en la que la gente tenía dificultades era tener tiempo para leer cada respuesta y categorizarla adecuadamente. Rápidamente nos dimos cuenta de que el PLN podía ayudarnos realmente a lograrlo y podía igualar a humanos en esa tarea específica. Así que empezamos con un sistema de PLN bastante simple, centrado en la extracción de temas y un poco de análisis de sentimientos, para ayudarte a entender qué necesitas construir y dónde.

Pero rápidamente vimos que a la gente le encantaba esa parte de análisis. Así que decidimos apostar fuerte por eso y alejarnos del problema original que abordábamos.

Nos movimos hacia otro problema que descubrimos en el proceso. Empezamos a trabajar con empresas que ya tenían ajuste producto-mercado. Y hablaban de integrar otros tipos de datos, más allá de la encuesta que enviábamos. Así que empezamos a construir un sistema más generalista y luego conseguimos acceso a GPT-3 en junio de 2020.

Eso nos hizo ver que en realidad era posible automatizar esto, no solo para una encuesta, sino para cualquier texto que recopile una empresa.

Michael Luchen

Entonces, al recopilar ese texto, podría haber la posibilidad de que surja sesgo.

Y nuestro tema es el sesgo en el PLN y cómo gestionarlo. Antes de profundizar en eso, ¿cómo podría introducirse sesgo en el PLN si se usa en tu producto?

Dan Erickson

Sí, claro. Por defecto, prácticamente todo modelo lingüístico tiene algún sesgo incorporado porque está entrenado con textos que alguna vez escribieron humanos.

Y los humanos, inherentemente, tenemos sesgos. No somos seres totalmente racionales. Así que, dado que estos modelos se entrenan con un corpus de datos muy humano, terminamos introduciendo esos sesgos humanos en los modelos de PLN.

Ahora, las empresas que desarrollan estos modelos están haciendo mucho esfuerzo para intentar reducir al máximo ese sesgo. Yo creo que OpenAI es líder en este aspecto. Tienen equipos enteros dentro de OpenAI enfocados específicamente en el problema del sesgo.

Ahora, si solo utilizas GPT-3 tal cual viene, sí, puedes hacer que genere cosas cuestionables. Pero, para resolver esto, se pueden hacer cosas como ajustar y entrenar el modelo para un caso de uso específico. Cuanto más específico sea tu caso de uso, mejor funcionará.

Pero, como decía, todo modelo de PLN lleva algún sesgo inherente. Y realmente hay que enfocarse para entrenarlo de manera que ese sesgo se reduzca al máximo.

Michael Luchen

Entonces, en Viable, ¿cómo trabajan para reducir ese sesgo desde el principio? ¿O es posible realmente hacerlo?

Dan Erickson

Sí, como mencioné antes, lo principal que hacemos es mucho entrenamiento de modelos con conjuntos de datos que hemos curado nosotros mismos. Eso nos ayuda, como decía, a llegar a un caso de uso muy específico. Así que, en vez de usar la versión más genérica del modelo, empleamos algo entrenado para hacer una cosa concreta.

Y cuando te centras en algo más específico, es más fácil evitar el sesgo. Eso lo hacemos tanto con GPT-3 y su endpoint de ajuste fino, como con todos los modelos propios que hemos desarrollado.

Luego evaluamos todos contra nuestra intuición sobre el sesgo. Así que incluimos humanos en el proceso de entrenamiento para ver, por ejemplo, si el modelo tiende hacia cierto sesgo; y, si lo hace, añadimos más ejemplos de entrenamiento para compensarlo.

Michael Luchen

¿Hay alguna consideración especial cuando se trata de los datos de los clientes que analizan?

Dan Erickson

Sí, los conjuntos de datos que analizamos en realidad no se usan para entrenar. Por lo general, empleamos conjuntos de datos propios que hemos creado nosotros.

A veces usamos versiones anonimizadas con permiso, pero por lo general no usamos los datos del cliente para entrenar. Analizamos los datos utilizando modelos ya entrenados y revisados para reducir el sesgo.

Así que, en general, no entrenamos con los datos del cliente. Solo los analizamos usando modelos ya evaluados en cuanto a sesgo.

Michael Luchen

Así que uno de los temas que percibo es esta continua inversión en refinar sus modelos, especialmente a partir de los modelos base de GPT-3 u OpenAI.

Entonces, en cuanto a la hoja de ruta del producto, ¿cómo priorizan este trabajo de refinamiento?

Dan Erickson

Sí. El refinamiento existe en nuestra hoja de ruta casi como una línea propia. Tenemos funciones empresariales que agregamos, integraciones que estamos construyendo y luego tenemos la parte de refinamiento de modelos, que siempre está en curso. También hacemos muchas otras cosas.

Pero el refinamiento de modelos es definitivamente un proceso continuo. De hecho, no recuerdo una semana en la que no estuviésemos haciendo algún tipo de reentrenamiento.

Tenemos más de una docena de modelos internos en este momento. No todos son reentrenados cada semana, pero por lo menos uno de ellos se ajusta o reentrena cada semana.

Michael Luchen

¿Cuánto tiempo de tu equipo se dedica a esto?

Dan Erickson

Diría que aproximadamente el 20% del tiempo del equipo de PLN está enfocado en esta mejora continua y reentrenamiento.

Michael Luchen

Muy interesante. Entonces, al analizar el sesgo potencial en el PLN, ¿cómo ayuda el uso del PLN a reducir el sesgo frente a los procesos manuales tradicionales?

Dan Erickson

Sí, definitivamente. Al hablar del sesgo en PLN es importante también pensar en el sesgo presente en cualquier proceso manual que el PLN viene a sustituir.

Por ejemplo, los gestores de producto que tratan de entender lo que los clientes reclaman suelen basarse en anécdotas que oyen de representantes de soporte o de ventas con quienes han hablado. Estoy seguro de que, siendo PM, has ido a preguntar a un soporte, “¿cuáles son los grandes problemas que debemos abordar ahora?”

Y ellos pueden decirte algo acertado pero, por lo general, no es una visión completa. Suele haber sesgo de inmediatez, o hacia los clientes más ruidosos en vez de hacia la mayoría.

Es fácil que los humanos se enfoquen en una cosa concreta, que se convierte en su proyecto favorito. El PLN no sufre de ese tipo de sesgo. Así que, básicamente, te permite abandonar ese enfoque limitado y ampliar la perspectiva y ver más datos.

Por ejemplo, producimos en promedio más de 30 temas en nuestros informes. Y esa cifra sigue creciendo conforme mejoramos el reentrenamiento. Creo que el último informe que hicimos tenía más de 300 temas identificados. Ningún humano puede llegar a ese nivel de detalle o completitud en el análisis.

Cuando repaso manualmente los comentarios, probablemente solo los agrupo en uno o dos temas. Pero lo que vemos es que la mayoría de los comentarios incluyen de tres a cinco temas. Simplemente, la gente solo anota el tema central. Así acaba con una visión menos completa si se analiza manualmente en lugar de usar PLN.

Michael Luchen

Interesante. Muy interesante. Entonces, ¿siempre será necesario el aporte humano en algún nivel para mitigar el sesgo potencial?

Dan Erickson

¡Oh, sí! Siempre deberíamos aspirar a reducir el sesgo en estos sistemas, sobre todo en los grandes modelos de lenguaje entrenados con terabytes de frases humanas. Pero tampoco debemos perder de vista las mejoras reales que ya pueden brindar estos sistemas.

Esto significa que, aunque los modelos pueden hacer buena parte del trabajo preliminar, siempre necesitarás a alguien que revise y asegure que todo esté correcto.

Tratamos de hacer la mayor parte posible de eso en la fase de entrenamiento del modelo y en nuestras revisiones internas. También ofrecemos formas para que nuestros clientes nos den retroalimentación, ayudando a mejorar ese proceso de reentrenamiento. Casi todos nuestros análisis tienen una opción de pulgar arriba o abajo, para que los clientes nos digan si les funciona o no.

Michael Luchen

Hmm, interesante. ¿Y cómo obtienen ese detalle más allá del pulgar arriba o abajo para poder ajustar los modelos en base a ese feedback?

Dan Erickson

Este sistema aún no está implementado, pero pronto, después de marcar con pulgar abajo, aparecerá una caja de texto en la que el usuario podrá escribir. Todo ese texto lo enviaremos a nuestra propia instancia de Viable.

Así podremos identificar los temas de ese feedback para abordarlos.

Michael Luchen

Eso es genial. Y estoy realmente curioso. Siempre estoy pensando en el futuro del producto. Para ti, ¿cómo ves el futuro del PLN hoy? ¿Y cómo puede esto cambiar el futuro de la gestión de productos? Originalmente hablaste de esto desde tu experiencia buscando ajuste producto-mercado.

¿Cómo se cruzan estos mundos?

Dan Erickson

Sí, claro. El PLN está, como comentaba antes, en plena revolución. Las cosas avanzan muy rápido. Lo vemos en los modelos multimodales como DALL-E 2, que te permite escribir una descripción y te genera una imagen.

Por ejemplo, escribes “un pato en una taza de té” y la imagen aparece. Es impresionante, pero lo importante es que los modelos de PLN cada vez tienen mayor profundidad y contexto.

Así que seguramente GPT-4 se lance en los próximos meses o año, y traerá mejoras importantes sobre GPT-3. Vemos también modelos como PaLM de Google y otros desarrollados por Microsoft, Facebook, etc.

Son modelos más grandes pero, además, permiten manejar más contexto. Ahora, por ejemplo, estamos limitados por la cantidad de texto que GPT-3 puede analizar de una sola vez. Son 2.000 a 4.000 tokens, aproximadamente unas 4.000 palabras.

En el futuro tendremos ventanas de contexto mucho más grandes: decenas de miles de palabras, no solo unos miles. Esto permitirá que los modelos conecten ideas lejanas y detecten relaciones más complejas.

Michael Luchen

Si soy product manager y veo la oportunidad de integrar un modelo de PLN como GPT-3 (o GPT-4 cuando salga), ¿por dónde debería empezar? ¿Debería preguntar a mis desarrolladores al respecto? ¿Es algo que supone una implementación enorme y quizás sea mejor esperar algunos años?

¿Qué recomendación le darías a los gestores de producto que escuchan?

Dan Erickson

Sí. El primer paso es, digamos, lo que empiezo a llamar interfaces de lenguaje natural. Así como existen interfaces de línea de comandos o interfaces gráficas, ahora hay interfaces de lenguaje natural: nuestro sistema de preguntas y respuestas, GPT-3, GitHub Copilot, etc. Son sistemas en los que escribes en lenguaje natural y la máquina actúa en consecuencia.

Creo que ahí es donde veremos más innovación y lo más fácil que los productos pueden añadir. Permite que los usuarios interactúen de manera más natural, sin forzarles a pasar por varios menús o formularios; simplemente les preguntas o les dejas preguntar y el sistema responde en su lenguaje.

Eso es bastante fácil de hacer con GPT-3 de entrada.

Por eso recomiendo jugar con él: entra al playground de OpenAI con GPT-3 y prueba qué puede hacer y cómo puede ayudar a tu producto.

Michael Luchen

Genial. Genial. Antes de terminar, me gustaría hacerte unas preguntas personales en formato de ronda rápida, ¿te parece bien?

Dan Erickson

Sí, claro. Adelante.

Michael Luchen

Primero, ¿qué hábito personal ha contribuido más a tu éxito?

Dan Erickson

Dormir ocho horas. Como fundador es difícil, pero dormir es la base de todo. Cuando no duermes lo suficiente, rindes peor, te saltas comidas, dejas de entrenar. El sueño, al menos para mí, no se puede sacrificar por otras cosas.

Eso no significa que no tenga momentos de mucho trabajo y me quede hasta tarde, pero en general trato de mantener esa constancia.

Michael Luchen

Genial. ¿Cuál es tu herramienta favorita que usas regularmente?

Dan Erickson

Ahora mismo es GitHub Copilot. Utilizo Visual Studio Code para todo mi desarrollo. Somos un equipo pequeño, unas 10 personas en Viable.

Así que todavía hago programación. Y ha sido sorprendente trabajar con Copilot. Básicamente es PLN para código en vez de inglés. Permite que empieces a escribir código y te sugiere automáticamente partes de código.

Es como un programador asistente con IA, y ya aproximadamente la mitad del código que escribo viene de GitHub Copilot.

Michael Luchen

Eso es increíble.

Por último, para alguien que comienza su recorrido en productos, ¿qué consejo le darías?

Dan Erickson

No te estanques. Tendrás una idea genial, pero quizá no sea la que realmente lleve a tu empresa al éxito. La idea inicial suele ser distinta a donde terminas.

Es clave escuchar constantemente a tus usuarios y dejar que ellos te guíen, en vez de enfocarte solo en tu intuición.

Michael Luchen

Eso está muy bien dicho y es una gran nota para terminar.

Muchas gracias Dan por acompañarnos hoy. He aprendido mucho sobre PLN y me llevo varias ideas para los productos en los que trabajo.

Dan Erickson

Genial. Gracias a ti por invitarme. Ha sido un placer estar aquí.

Michael Luchen

Puedes encontrar más información sobre Dan en LinkedIn, y también conocer más sobre su empresa Viable en askviable.com.

Y de nuevo, muchas gracias Dan por acompañarnos.

Gracias a todos los que escucharon. Deja una reseña del pódcast y cuéntanos qué piensas. Si aún no lo has hecho, síguenos y únete a nuestra comunidad en theproductmanager.com

¡Gracias de nuevo, que tengan un buen día!