Consejos Profesionales Para Desarrollar Tus Habilidades en Gestión de Productos de IA

Leer la Transcripción:

Estamos probando transcribir nuestros pódcasts usando un programa de software. Por favor, disculpa cualquier error tipográfico, ya que el bot no es 100% preciso.

Hannah Clark: Actualmente, los trabajos de producto más codiciados giran en torno a la IA. Y, hablando históricamente, es un momento particularmente inusual porque las competencias clave requeridas para competir en este ámbito sólo han existido desde hace un par de años. Más extraño aún, el campo ha evolucionado tan rápidamente que cualquier experiencia que hayas adquirido cuando ChatGPT se popularizó, hace apenas dos años, puede que ya esté desactualizada. Así que, ¿cómo pueden los PM que buscan empleo en este sector ponerse al día ahora mismo? Y quizá más importante aún, ¿qué hábitos se pueden implementar hoy para mantenerse al día a medida que evoluciona la tecnología?

Mi invitada de hoy es Lorilyn McCue, líder de gestión de productos de IA en Superhuman. La trayectoria profesional de Lorilyn es realmente increíble. Así que dejaré que ella te cuente sobre eso en un momento, pero también es un testimonio de la verdadera habilidad clave que necesitas para tener éxito como PM en IA: la aventura. Así que, mientras escuchas los consejos de Lorilyn, te sugiero adoptar la mentalidad de un explorador, porque este es un campo de territorio inexplorado. Y lo primero que necesitarás para tener éxito es disposición para explorar. Vamos allá.

Bienvenidos de nuevo, oyentes, al pódcast The CPO Club. Y hoy estoy con Lorilyn McCue.

Lorilyn, muchas gracias por acompañarnos hoy.

Lorilyn McCue: Oh, gracias por invitarme.

Hannah Clark: Has tenido un viaje realmente interesante para convertirte en líder de gestión de productos de IA en Superhuman. Y creo que normalmente solemos detenernos un poco más en esta sección.

Pero me encantaría que nos contaras un poco más sobre tu trayectoria porque es realmente genial.

Lorilyn McCue: Mi trayectoria es muy peculiar. Empecé como piloto de helicópteros Apache, que obviamente es una entrada muy normal al mundo tech. Estuve en el ejército. Lo hice durante unos seis años.

Luego enseñé educación física en West Point en la última etapa de mi tiempo en el ejército. Después fui a la escuela de negocios y acabé en Slack como product manager, primero en su equipo de crecimiento y después en el equipo de plataforma. Luego pasé a una pequeña startup de aprendizaje automático llamada Impira.

Y ahora estoy aquí en Superhuman, trabajando en IA.

Hannah Clark: Vaya trayectoria profesional tan interesante. Me encanta.

Vamos a entrar de lleno, porque hoy nos vamos a enfocar más en la IA, en cómo surgió Superhuman y todo ese recorrido que has tenido hasta convertirte en líder de gestión de productos de IA.

Así que, si hablamos de IA en el contexto de Superhuman, ¿puedes hablarnos de un momento en que viste que la IA evolucionaba significativamente y elevaba la experiencia del usuario para los usuarios de Superhuman?

Lorilyn McCue: Sí. Déjame contarte una pequeña historia. Para mí, lo más importante es ahorrar tiempo al usuario y dejar que su cerebro se dedique a tareas más importantes.

Así que, para mí, Superhuman AI permite que tu cerebro haga cosas más importantes. Te contaré una historia. Cuando estaba en Irak, me dieron una misión: volar en círculos alrededor de una base durante tres horas. Solo daba vueltas en círculo, sin hacer nada. Pero luego nos dieron una nueva misión: volar muy bajo, encontrar depósitos de bombas y destruirlos, lo cual era mucho más interesante y un uso mucho mejor del helicóptero tecnológicamente más avanzado que el ejército haya producido.

Y, en un sentido curioso, creo que me enamoré del concepto de la IA antes incluso de que existiera. Porque podía ver lo mucho más útil que era el helicóptero en la segunda misión que en la primera. La IA es así. La IA se encarga de dar vueltas alrededor de la base durante tres horas y permite que tu propio cerebro haga las tareas más interesantes.

Así que la IA ahorra muchísimo tiempo a los usuarios. Cuando analizamos una de nuestras funciones llamada respuesta instantánea, que es una función para responder rápidamente, ahorra a los usuarios dos minutos por cada correo al contestar. No necesitas que tu cerebro dedique dos minutos a redactar una respuesta cuando probablemente algo estándar funciona para la mayoría de los emails.

Para mí, ese fue el gran momento de “¡ajá!” en el que pensé: ok, la IA puede quitarte el trabajo monótono. Dale a la IA todas las tareas rutinarias, que dé vueltas a la base durante tres horas, y tú haz las cosas interesantes. Anda, busca las bombas y destrúyelas.

Hannah Clark: Nadie ha usado esa analogía en este programa antes, pero me encanta.

Lorilyn McCue: Encantada de ser la primera.

Hannah Clark: Bueno, volvamos en un momento a la IA porque hay mucho que desempacar ahí. Hay tantos casos de uso diferentes en los que podemos profundizar.

Pero quiero hablar un poco sobre tu carrera. Hablando de tu progreso desde Slack y hacia la gestión de productos de IA, ¿cómo lograste incorporar la IA como parte de tu carrera, desde tu primer rol hasta donde estás ahora?

¿Y cómo ha impactado la integración de la IA en tu estrategia de producto?

Lorilyn McCue: Es una muy buena pregunta. Creo que lo más importante para mí ha sido optimizar para el aprendizaje. Eso lo aprendí en Slack, pero en IA es 10 veces más importante.

Tienes que optimizar para el aprendizaje. Un buen ejemplo es cuando lanzamos un producto llamado Superhuman Ask AI recientemente. Y esta función es genial: en vez de hacer una búsqueda específica, puedes escribir una pregunta. Puedes decir, por ejemplo: “¿Puedes resumir los comentarios más recientes sobre el evento instantáneo?”

¿Me das las tres citas más positivas y un par de negativas? Algo que te tomaría 20 minutos ahora lleva sólo segundos, lo cual es increíble. O “¿cuándo tengo reunión con Hannah?” o “¿cuándo fue la última vez que le escribí a tal persona?” Íbamos a tardar tres meses en construir el producto.

Pero decidimos sacar una versión tras un mes, aunque no estuviera lista para nosotros. Y la compartimos con un grupo pequeño de personas. Primero con el equipo de IA, luego fue lanzada internamente y después a usuarios beta. Cada fase nos enseñó algo nuevo que cambió por completo la forma en que pensábamos y diseñábamos el producto.

Así que, después de tres meses y con mucha gente usándolo, finalmente construimos lo correcto, algo que quizás no habríamos imaginado desde el inicio. La IA es un terreno inexplorado y nunca sabes cómo la gente la va a usar. Por eso debes optimizar para aprender.

Debes lanzar, iterar, lanzar otra vez, iterar, y así sucesivamente.

Hannah Clark: Veo cómo ese ciclo acelerado te da muchos más datos de fallos para trabajar, lo cual puede ser más útil que si no tuvieras ninguno, por haberte demorado mucho. Es muy interesante.

En una conversación anterior, enfatizaste la importancia de realmente integrar la IA en la estrategia de producto, en vez de solo agregarla como un añadido, que es lo habitual hoy en día.

¿Qué decisiones tomaste para asegurarte de que la IA en el producto fuera realmente fluida e integrada, y no sólo algo aparte?

Lorilyn McCue: Creo que hoy mucha gente pone la IA como un chat lateral. Hay que integrarla completamente.

Mi entrevista de usuario soñada sería así: “Oye, ¿usaste esta función de IA?” “¡Ah, no sabía que era de IA!” Eso es emocionante, porque cuando la IA está bien integrada, se siente natural. Está ahí cuando la necesitas. Un ejemplo es que acabo de lanzar una función llamada Evento Instantáneo, de la que estoy muy emocionada.

Recibes un email —somos padres— que dice “No olvides traer esto al colegio tal día”. Tienes que abrir el calendario y crear el evento. Es frustrante. Ahora en Superhuman, con un clic, puedes crear el evento con fecha y título correctos y toda la información necesaria, lo cual es súper útil.

Al principio, la función estaba en un lugar poco accesible (command K, el menú de comandos de Superhuman) y había que saber que existía. Poca gente lo iba a encontrar.

Pero, así pudimos probar y aprender. Probamos muchos correos nosotros mismos, vimos qué funcionaba, los casos extraños, pero ese no era el paso final. Había que integrarlo plenamente.

Ahora está en muchos sitios: puedes usar el atajo de calendario (la “B” en Superhuman) y se creará un evento automáticamente con IA en lugar de un evento vacío. También hay un botón bajo el correo si se detecta una fecha, que pregunta “¿Quieres crear un evento este día?”

Haces clic y aparece, aunque —no hace ese sonido, por cierto, esa batalla la perdí.

Hannah Clark: Me gusta el sonido.

Lorilyn McCue: O cuando pasas el cursor sobre la fecha, este se convierte en una mano, y al hacer clic se crea el evento automáticamente. Queríamos probar la función, ponerla en command K, pero la versión final está mucho más integrada.

Y hemos descubierto que los usuarios encuentran maneras de usarla sin que se lo expliquemos. Es justo lo que quería. Ven la fecha, hacen clic, ¡y el evento se crea! Perfecto.

Hannah Clark: Diseñadores web, esto es para ustedes. Tengo 30 segundos para contarles sobre Wix Studio, la plataforma para agencias y empresas. Cuatro cosas en 30 segundos: adapta diseños a cualquier dispositivo con IA responsiva, reutiliza recursos como plantillas y bibliotecas, añade animaciones sin código, y exporta diseños desde Figma a Wix Studio en un clic. Se acabó el tiempo, ¡pero hay más! Entra a Wix Studio y compruébalo.

Recientemente tuvimos un episodio sobre empatía en el diseño. Es interesante cómo esas funciones intuitivas son la clave para crear algo adoptado fácilmente; hacerlas tan naturales que la gente descubre funciones increíbles casi sin querer.

Ahora quisiera hablar sobre datos y el uso de métricas. Pongamos el ejemplo del resumen automático de Superhuman, para que el usuario no tenga que solicitarlo. ¿Qué métricas o datos influyeron en esta decisión?

¿Puedes explicar esa función y cómo decides cuáles funciones deben ser proactivas y cuáles activadas por el usuario?

Lorilyn McCue: Hay dos funciones que quiero mencionar por la historia que tienen. Cuando recibes un email, antes de abrirlo, calculamos el resumen y algunas respuestas instantáneas sugeridas.

El resumen automático es una línea presente en cada correo. Muchos productos optan por mostrar el resumen al hacer clic, lo cual tiene sentido. Resumir cada correo cuesta mucho dinero, y muchos ni se abren.

Pero para nosotros era esencial que ambas cosas estuvieran disponibles al abrir el correo. Porque quizá vas con prisa, como decías antes: hay que tener empatía con el usuario. Puede que no tenga tiempo de esperar.

La segunda función es la respuesta instantánea. Preguntabas qué métricas usamos. Queríamos utilizar un modelo más avanzado, pero era demasiado lento, como una tortuga. Daba respuestas brillantes, pero demasiado lento. Entonces pensabas: “Vale la pena pedir al usuario que lo solicite y así obtiene la respuesta de la tortuga genio”, pero el tiempo de espera es un problema.

La otra opción era usar algo más rápido, pero menos preciso, como ese “tío torpe, pero rápido”. Por ejemplo, alguien manda un correo de despedida, y otros le responden con mensajes de cariño. El modelo rápido generaba respuestas al estilo de “Gracias por despedirte de Sarah”, lo cual no tiene sentido. El modelo inteligente lo hacía bien, pero era lento.

Al final usamos el más rápido, pero afinando el modelo, añadiendo ejemplos y cambiando el prompt. Era esencial que fuera suficientemente bueno, pero también lo bastante rápido.

Hannah Clark: Quiero profundizar en eso, ya que es un aspecto único de la gestión de productos de IA y relevante para quienes desean mejorar su perfil.

Cuando hablamos de estos aspectos técnicos (afinar modelos, equilibrar latencia y costes), ¿cuál es el proceso para evaluar y tomar decisiones? ¿Qué recursos necesitas para poder decidir bien ante todos los factores?

Lorilyn McCue: Me gusta usar una herramienta donde puedo ver varios prompts y modelos a la vez. Así puedo comparar fácilmente: prompt A con la tortuga inteligente, prompt A con el tío rápido, y comprobar con un conjunto de datos. ¿De dónde lo saco? Lanzas la función antes y permites que los usuarios internos den “pulgar arriba” o “abajo”, y eso da un dataset real para probar.

Tomas ese dataset, ejecutas los prompts y ves el tiempo que tarda. Quizás calculas cuánto tarda un usuario en abrir un email; ese es el tiempo límite. ¿Qué lado gana en rapidez? Ahora revisas las respuestas: ¿cuáles son correctas, cuáles tienen errores? Si hay fallos, modificas el prompt y pruebas de nuevo. Es iterativo. A veces no sabes qué buscas hasta que empiezas a hacerlo.

Puedes tener criterios de éxito (rapidez, nivel de precisión), pero descubres intuitivamente cuál es realmente el estándar de éxito al probar y afinar.

Hannah Clark: Entonces es clave la ingeniería de prompts como habilidad esencial para este rol.

¿Cómo perfeccionaste esa habilidad, siendo tan nueva? ¿Lo aprendiste en el trabajo o hiciste algún curso?

Lorilyn McCue: Ambas cosas, principalmente aprendiendo en el trabajo. Era yo probando cosas nuevas tarde en la noche. Ocasionalmente buscaba en internet si había algo específico para resolver un problema. Teníamos relación con OpenAI, de quienes recibimos algunos consejos, algunos curiosos, como poner cosas en mayúsculas, repetir, dar ejemplos… Todo eso ayudaba.

Hannah Clark: Interesante. Dado que interactuamos tanto en lenguaje natural, la ingeniería de prompts parece fácil, pero no siempre es así. ¿Hay algo más inesperado que hayas aprendido afinando tu técnica para conseguir mejores prompts?

Lorilyn McCue: Sí. Un truco que usé, aunque no llegara al prompt final, fue pedirle al LLM que se explicara a sí mismo.

Por ejemplo, con respuesta instantánea: ¿a quién respondes y por qué? Así, el LLM explicaba su lógica: “Respondo a esta persona por X razón”. Esto me ayudaba a ver dónde se confundía y afinar el prompt para ser más específica. Repetir el ejercicio de explicarse era útil para entender y mejorar.

Hannah Clark: Sí, a veces tendemos a rehacer el prompt en vez de entender el fallo. Es muy práctico.

Cambiando de tema: integrar IA es hoy algo estándar para productos digitales, pero también complejo. ¿Qué desafíos enfrentaron en Superhuman al decidir qué modelos o herramientas de IA implementar?

Lorilyn McCue: Quienes conocen IA entenderán que me refería a GPT-4 (la tortuga) y GPT-3.5 (el tío rápido). Hoy hay versiones (GPT-4.0, GPT-4.0 Mini) más rápidas y buenas, pero hace un año era un gran problema: resumir cada email es un reto de escala y coste. Nuestro CEO, Rahul, apuesta siempre por la calidad, aunque lo principal no siempre es la mejor respuesta sino cumplir los tiempos y la precisión que el usuario necesita.

Pagaríamos por GPT-4, pero no cubría las necesidades de rapidez, así que usamos GPT-3.5, más rápido. Afinamos los prompts hasta dar con la calidad y velocidad adecuadas. El aspecto comercial es crucial, pero la prioridad es lo que necesita el usuario.

Hannah Clark: Cambiando de tema, hablemos de tu desarrollo profesional en la gestión de productos de IA, ya que todo el mundo quiere desarrollar esa habilidad para destacar en sus CV. ¿Qué habilidades o conocimientos o incluso cursos recomendarías a quienes quieren crear productos enfocados en IA?

Lorilyn McCue: Diría que el aprendizaje práctico es lo más útil ahora mismo, estar al tanto de las tendencias y lo nuevo que sale semanalmente.

Cuando sale alguna novedad, pruébala. Encuentra formas de usar la IA en tu vida diaria, ve qué funciona. Por ejemplo, tengo unos hijos pequeños a quienes les encanta entrar en mi oficina y quieren imprimir dibujos para colorear. Ya agoté todas las páginas de camiones monstruo y tanques de la Segunda Guerra Mundial en coloringpages.com, así que recurro a ChatGPT: “Hazme una página para colorear de un camión monstruo”. ¿Les gusta? “No, queremos 10 y que estén corriendo.” Al final, ajusto el prompt hasta lograr lo que quieren. De ese modo, aprendes realmente qué es posible.

En el trabajo hago lo mismo con textos: “necesito una explicación breve para un tooltip” y le pido varias variantes. Usar IA a diario te da conocimiento real. Cuando sale algo nuevo o un modelo diferente, lo pruebas. Un ejemplo: en Perplexity pedí una tabla con los modelos disponibles y sus costes por millón de tokens. Listo. Hay que hacerlo; es lo más valioso.

¿Es una respuesta útil? No es un curso formal, pero sí es algo práctico y aplicable día a día.

Hannah Clark: Muy útil. Y el consejo para padres también me viene bien.

Lorilyn McCue: ¡Es muy bueno!

Hannah Clark: A mi hijo le gustan las mismas cosas. Será divertido para el fin de semana.

Muchas gracias por acompañarnos hoy, Lorilyn. Aprecio mucho que hayas venido a compartir tu experiencia sobre gestión de productos de IA. El consejo más candente de la década. Antes de terminar, ¿dónde pueden los oyentes encontrar tu trabajo y saber más sobre lo que hacéis en Superhuman?

Lorilyn McCue: Puedes ver nuestro trabajo en el blog de Superhuman, superhuman.com. Haz clic en blog. Y yo publico en LinkedIn, Lorilyn McCue.

Hannah Clark: Genial. Muchas gracias por venir.

Lorilyn McCue: Gracias.

Hannah Clark: Gracias por escucharnos. Para obtener más ideas, guías y reseñas de herramientas, suscríbete a nuestro boletín en theproductmanager.com/subscribe. Puedes escuchar más conversaciones como esta suscribiéndote a The CPO Club, en tu plataforma de pódcasts favorita.