Cómo la IA está transformando el descubrimiento de productos

Lee la transcripción:

Estamos probando la transcripción de nuestros pódcast utilizando un programa de software. Disculpa cualquier error tipográfico, ya que el bot no es 100% preciso.

Hannah Clark: Sé que estoy predicando a los conversos, pero lo diré de todos modos. Ante todo, los productos deben ser útiles. Sin embargo, todavía abundan los productos construidos sobre un montón de suposiciones sobre lo que los usuarios realmente quieren. ¿Por qué tantas organizaciones descuidan el proceso de descubrimiento de producto? Estoy segura de que cualquier gerente de producto que también haya actuado como el responsable de investigación de usuarios puede decirte por qué. Es un proceso lento, costoso y realmente, realmente difícil, no sólo conseguir un tamaño de muestra significativo de datos de clientes, sino también sintetizar esos datos en acciones concretas.

Hoy tengo como invitado a Craig Watson, fundador y CEO de Arro, una herramienta de investigación de usuarios potenciada por IA. La pasión de Craig por el descubrimiento de producto a lo largo de su carrera le ha dado ideas valiosas sobre cómo simplificar el proceso de investigación de usuarios para scale-ups y otros equipos de producto. Además, escucharás consejos prácticos para hacer mejor el descubrimiento de producto con IA generativa. Comencemos.

Bienvenidos de nuevo a el pódcast del Product Manager. Estoy aquí con Craig Watson. Él es el fundador y CEO de Arro.

Craig, muchas gracias por acompañarnos hoy.

Craig Watson: Muchas gracias. Estoy entusiasmado de estar aquí.

Hannah Clark: Craig, ¿puedes contarnos un poco sobre tu trayectoria profesional y cómo terminaste en Arro?

Craig Watson: Claro. Sí, llevo más de 15 años trabajando en roles de producto y empecé en un entorno más de startups. Tuvimos algunas startups en Irlanda donde construíamos directamente al salir de la universidad, tratando de aprender mientras nos embarcábamos en estos proyectos y realmente entendiendo cómo se crean productos para consumidores en ese momento.

Tras unos cuatro años, nos movimos a una empresa de tecnología musical que fundamos en 2012 llamada Soundwave. Fue una startup clásica financiada con capital de riesgo. De nuevo, muchos altibajos, aprendí muy rápido en el trabajo y probablemente aprendí mucho sobre el descubrimiento de producto en ese momento, lo que luego desarrollaremos en esta charla.

Lo que realmente me gustó de esa experiencia es que fue tan al principio de nuestras carreras, que nos vimos obligados a asumir tantos roles diferentes como gerente de producto, dándome cuenta de que tienes que hacer muchos tipos diferentes de actividades, desde investigar usuarios hasta entregar y gestionar productos en distintos momentos.

Terminamos siendo adquiridos por Spotify en 2016 y nos incorporamos allí, lo cual fue una gran experiencia. No planeaba quedarme tanto tiempo, pero terminé quedándome cinco años. Fue una gran experiencia, Spotify crecía muy rápido en ese entonces. Creo que cuando entré había menos de mil personas en I+D y cuando me fui eran más de 3,000; fue un gran crecimiento.

Trabajé en la oficina de Estocolmo un par de años en el equipo de crecimiento. Luego me fui a Londres cuando abrieron una oficina para ayudar a impulsar algunas iniciativas de producto como TEO, la app para niños y Spotify Duo, entre otros. Fue muy distinto, obviamente, al mundo startup, ambientes muy diferentes para ser gerente de producto, pero lo disfruté mucho.

Y recientemente trabajé como consultor durante aproximadamente un año y medio, centrado en el descubrimiento de producto y ayudando a otras empresas a mejorar sus prácticas de investigación, aprender a abordar a los clientes, tomar decisiones basadas en evidencia y básicamente ayudarles a crear mejores productos.

Solo para resumir, hace aproximadamente un año y medio vimos la oportunidad de construir tecnología interesante, viendo cómo evolucionaban los LLMs. Así que mi cofundador Johannes y yo nos unimos. Puedo contarles más sobre eso luego.

Hannah Clark: Por supuesto. Antes de continuar, ¿puedes contarnos un poco sobre el descubrimiento de producto en general y por qué se ha convertido en una pasión para ti?

Craig Watson: Creo que lo que siempre me ha atraído del descubrimiento de producto es la mezcla de ciencia y arte. Pensar en cómo entender qué quieren los clientes, sus necesidades y requisitos, pero también está la parte artística de saber qué preguntas hacer, evitar sesgar la conversación.

Siempre me ha gustado la parte de entrega en la gestión de productos, pero la parte inicial del proceso, donde intentas entender qué producto construir, creo que a menudo se pasa por alto, suele ser la más impactante. Y, por cómo soy, siempre me ha atraído, porque me parece fascinante.

Hannah Clark: Sí, por supuesto, no hay nada más fascinante que entender lo que la gente realmente quiere. Así que, pensando en tus trabajos anteriores en descubrimiento de producto, antes de que la IA fuera la herramienta que es ahora, ¿cuál era tu proceso para entender de manera profunda los dolores de los usuarios y decidir qué construir?

Craig Watson: Creo que también vale la pena mencionar que cometimos todos los errores clásicos cuando empezamos a hacer investigación de usuarios y aprendimos a la fuerza, saltando también muchas veces directamente a la solución e intentando validar algo que nos interesaba.

Creo que ese es el error más común que he visto en gerentes de producto. Se necesita una mentalidad diferente para falsificar hipótesis. Es difícil porque tienes una idea, te emociona, tienes que reunir gente alrededor de esa idea e interesar a los stakeholders, pero los buenos investigadores y el proceso científico es la falsificación.

¿Verdad? Es intentar ver qué no funciona. Nos costó adaptarnos a esa mentalidad. Y parte de eso es la metodología, hacer preguntas sin sesgar, siendo objetivos, etc. Puedo darte un poco de historia.

Creo que la primera vez que estábamos en nuestros 20, Soundwave despegaba, teníamos más de un millón de descargas y queríamos construir una función nueva. Hacíamos entrevistas uno a uno, en persona, antes de que se pusiera de moda hacerlas en remoto.

Aprendíamos rápido lo que la gente quería. Nos emocionaba lo que hacíamos, pero seguía siendo autorreferencial porque explorábamos un conjunto de funciones reducido. No analizábamos tanto los problemas, era más evaluativo, no generativo.

Es decir, presentábamos cosas que pensábamos construir para aprender más sobre sus intereses, la música… Incorporamos a un ejecutivo externo como consultor que ayudaba en las entrevistas. Nos dijo: está bien lo que hacéis, pero cuidado con los máximos locales.

Optimizáis el producto, pero dada la etapa de la startup, tenéis que pensar en una investigación más generativa y fundamental. Entender los trabajos que la gente quiere realizar, el contexto, los resultados que buscan.

Y partir de ahí construir la solución. Ese fue otro gran aprendizaje. Dejar el ego a un lado, escuchar a las personas y entender dónde están los vacíos, en qué pasos puedes mejorar sus flujos y construir en torno a eso.

Así que no creo tener la fórmula exacta, he trabajado con investigadores y científicos de datos increíbles gracias a los que he entendido mejor los modelos mentales y marcos de trabajo ahora.

Hannah Clark: Fantástico. Realmente parece que has adoptado el marco de “trabajos por hacer” como pilar esencial en tu proceso.

¿Puedes explicarme qué aspecto tenía ese proceso de descubrimiento y cómo aplicaste esas técnicas para fundar Arro?

Craig Watson: Ahora tenemos un proceso donde empezamos analizando los trabajos. Cuando hablo de trabajos, depende del nivel de detalle, pero básicamente intentas aprender de tus clientes.

Intentas entender qué necesitan o qué problemas afrontan en sus vidas. Comenzamos viendo qué significa en la práctica: si quieres formular un estudio de investigación, tienes que decidir qué quieres aprender.

Luego tienes que salir a buscar participantes, elegir la metodología para conectarte con clientes, sintetizar la información, aprender de ella y compartirla interna o externamente con el equipo o los stakeholders, y luego actuar en consecuencia.

Esto es bastante abstracto, pero dentro de cada uno de estos trabajos hay muchos resultados deseados. Por ejemplo, en el reclutamiento, ¿necesitas extraer una lista de una base de datos, entender un segmento de cliente?

¿Prefieres reclutar de un panel externo, arriesgándote a que no sean clientes reales? Cumplimiento de la protección de datos al hablar con los usuarios… Hay una lista de tareas por debajo de cada trabajo. Y aunque suena un poco mecánico, cuando trazas todos los pasos y resultados posibles, tienes un marco para entender qué partes están poco atendidas y cuáles sobra.

He aprendido mucho de autores sobre “Trabajos por hacer” como Anthony Ulwick y sobre innovación impulsada por resultados, entre otros. Creo que es fácil perderse, especialmente en software, en las personas, etiquetas o categorías, que a veces no son tan relevantes. En B2B, como en nuestro caso, todo es por flujos de trabajo: la gente busca arreglar algo. Y así abordamos Arro.

Trazamos el panorama, vimos las carencias y lo que más nos decían era la inercia para hacer entrevistas a usuarios. Era difícil conseguir que la gente participara, había muchos pasos: encontrar personas, contactarlas, agendar, conversar, transcribir, sintetizar, codificar resultados, análisis temático, pagarles… y repetirlo para decenas de personas.

Luego tratar de darle sentido a todo ese cúmulo de información. Y esa sigue siendo la forma más común de investigar. Soy gran defensor de las entrevistas individuales, pero vimos que probablemente hay una carencia allí. Con el avance de la IA, ya no es irreal pensar que muchas de esas sub-tareas de entrevistas moderadas puedan ser sustituidas o complementadas por la IA.

Ese es el hueco al que quisimos apuntar y en torno a ese eje construimos nuestra estrategia.

Hannah Clark: Partiendo de ahí, ¿qué elementos crees que tienen más potencial para ser transformados por los LLMs, o ya ves algunas áreas donde eso está ocurriendo?

Craig Watson: Los casos de uso más claros, especialmente en investigación de producto, han sido convertir datos no estructurados en estructurados. Los LLMs son excelentes para eso, mejor que los humanos en bastantes casos, porque pueden tomar grandes bloques de texto desordenado de muchas fuentes y convertirlos en información valiosa, precisa y en general correcta, aunque no siempre.

Pero los equipos ahora mejoran en la atribución, viendo cadenas de evidencias entre quién dijo qué y cómo se relaciona con un equipo concreto. Así que los primeros avances están sobre todo en esa parte de síntesis. Nosotros apostamos por el lado generativo: si piensas en Arro, es una forma de llevar entrevistas, conversaciones facilitadas por IA con los participantes.

Formulas preguntas, la IA conduce la charla y luego sintetiza los aprendizajes y entrega un informe sobre los conocimientos obtenidos de decenas o centenas de personas. Esa es una gran ventaja de la IA: escalar es mucho más fácil. Por eso, quisimos invertir más en la IA generativa, ya que las entrevistas son de naturaleza generativa, y eso nos parece muy relevante.

Otra línea en la que comenzamos a pensar es la de las APIs de visión, multimedialidad. Entender cómo navega la gente por una interfaz, cómo interactúa con un producto. Creo que en 12-18 meses será cada vez más común porque la tecnología está lista.

Hay muchas herramientas que ya emplean iframes para rastrear recorridos en prototipos Figma, pero en poco tiempo será más barato y sencillo que una IA observe el uso real mediante visión por IA, incluso moderando tests de usabilidad y dando las conclusiones. Son dos cosas que estamos explorando.

Hannah Clark: Es fascinante y son cosas que hace un par de años no hubiéramos imaginado posibles. Es muy interesante ver el rápido avance.

¿Cuáles son otras formas en las que ves a los equipos de producto utilizando la IA durante 2024 para ser más efectivos en el descubrimiento de producto?

Craig Watson: Hay bastantes. Hemos hecho quizá entre 150 y 200 entrevistas a clientes a la fecha. Sorprende la poca frecuencia con la que se utiliza la IA.

Sé que suena raro, dado que en tecnología solemos adoptar rápido la novedad, pero creo que aún hay cierta resistencia a adoptarla en el lugar de trabajo. Por diversos motivos: políticas internas, seguridad, desconocimiento del caso de uso… Aunque estemos en la burbuja tech, hicimos una encuesta reciente pequeña, de 100 personas, y aunque no representativo, fue esclarecedor.

Mucha gente aún no sabe cómo sacarle el máximo provecho a la IA en el trabajo. En la vida personal pueden usar ChatGPT, probar Perplexity o Midjourney, experimentar. Pero en el profesional todo está en fases iniciales. Eso es lo que más me entusiasma: aunque parezca que la IA ya domina el mundo, es muy temprano. Y en B2B, aún más.

Respondiendo a tu pregunta: los usos más comunes son generación de contenido, como ayudar a redactar historias de usuarios para producto, hacer propuestas si eres investigador, crear guías de discusión. También se usa en la síntesis: la gente coloca transcripciones de Zoom o de otra app en una IA.

Nosotros usamos una herramienta llamada Grain para grabar videos; transcribe toda la conversación pero te permite superponer modelos de datos propios y hacer preguntas sobre la transcripción: ¿qué trabajos por hacer se identificaron? ¿Qué tipos de personas surgieron? Empieza a verse ese doble uso: creación de material o facilitar la comprensión de los contenidos. Pero, insisto, es sólo el inicio y es muy emocionante.

Hannah Clark: Muy emocionante. Y te hace pensar en el tiempo que antes necesitaban los investigadores para sintetizar grandes cantidades de información desorganizada.

Las respuestas humanas son tan diversas que extraer conocimientos sutiles puede ser complicado, especialmente tras muchos estudios de distintos productos. Así que realmente quiero ver hacia dónde va esto. Hablando de estas herramientas, creo que también aplican a encontrar el ajuste producto-mercado.

¿Sospechas que hay algo en el horizonte respecto a cómo la IA puede ayudar a los equipos de producto a encontrar ese fit?

Craig Watson: Es una buena pregunta. El ajuste producto-mercado es controversial para startuperos. Es el santo grial que todos persiguen, pero que nunca se termina de alcanzar porque el mercado cambia o el producto evoluciona. Es difícil decir que hay una sola forma de lograrlo; más bien es una combinación de métodos.

Por ejemplo, hace años circulaba la encuesta de ajuste producto-mercado de Rahul Vohra (Superhuman), buscando segmentaciones rápidas para saber si tenías ese fit. La metodología tiene su mérito: medir cuánto le dolería a la gente si perdiera tu producto, pero es sólo un