¿Cómo puede GenIA hacer que el análisis de datos sea más accesible para los equipos de producto?

Leer la transcripción:

Estamos probando la transcripción de nuestros pódcast utilizando un programa de software. Por favor, disculpa los errores tipográficos, ya que el bot no es correcto el 100 % del tiempo.

Hannah Clark: Ya sea que prefieras el término orientado por datos, informado por datos o fascinado por datos, no importa: la tecnología actual no puede sobrevivir sin conjuntos de datos de alta calidad Y las herramientas para utilizarlos de manera efectiva. Pero tampoco podemos permitirnos pensar en los datos como responsabilidad solo de uno o dos departamentos en la organización: en cambio, debemos entrar en 2025 con una mentalidad de democratización de datos. En otras palabras, nuestro negocio es nuestro cliente, así que lo que nuestros clientes dicen debería ser asunto de todos.

Mi invitado de hoy es Mario Ciabarra, fundador y CEO de Quantum Metric. Quantum es una plataforma de análisis impulsada por Gen-IA que permite a las empresas interpretar datos en insights útiles para diferentes interesados, de modo que todos —desde el diseñador de producto del primer día hasta el fundador de la compañía— puedan incorporar empatía hacia el cliente en cada decisión. Hablamos de cómo funciona esto en la práctica, consideraciones sobre la higiene de los datos y algunas predicciones sobre cómo Gen-IA impulsará la evolución del análisis de datos este año y más allá. Vamos a ello.

Bienvenidos de nuevo al pódcast de The CPO Club. Hoy estamos aquí con Mario Ciabarra.

Mario, gracias por sacar tiempo en tu apretada agenda para hablar con nosotros hoy.

Mario Ciabarra: Hannah, es un placer absoluto. Gracias por invitarme.

Hannah Clark: Empecemos como siempre lo hacemos. ¿Puedes contarnos un poco sobre tu trayectoria y cómo llegaste a donde estás hoy en Quantum Metric?

Mario Ciabarra: Sí, encantado. De fondo, cuando era niño, ya se veía claro que sería un futuro emprendedor.

Quizás podamos tratar algo de eso en nuestra charla, pero ¿cómo llegué hoy aquí como parte de ese recorrido emprendedor? Siempre me apasionó el software, la ingeniería de computadoras, la ingeniería de software y, realmente, descubrir cómo mejorar experiencias, que fue en el centro de esa pasión.

Podría comenzar con cómo hago las cosas más rápidas, cómo las hago más eficientes. Y me di cuenta de que, sí, puedes hacerlas rápidas, pero si no son excelentes, no importa. ¿Cómo haces experiencias realmente buenas para audiencias desde mi hija de 13 años hasta mi padre de 87? Tienen necesidades distintas.

¿Cómo nos aseguramos de que nuestras experiencias funcionen para todos?

Hannah Clark: Quiero hablarte un poco sobre tu enfoque en el liderazgo porque has tenido un recorrido considerable en tu carrera y mencionaste antes que tu pasión ha evolucionado del producto y la ingeniería hacia la gente y la empatía. ¿Cómo ha influido eso en tu manera de liderar?

Mario Ciabarra: Si me preguntas por la empresa, estaba pensando en enero, se acerca mi décimo aniversario aquí en Quantum. Y si me hubieras preguntado hace nueve, ocho años, qué me apasionaba de Quantum, era absolutamente crear productos. Sigue siendo mi pasión hoy. Pero sucedió algo raro y esta es mi cuarta empresa.

Las otras compañías que tuve fueron pequeñas. Éramos de una a tres personas. Creaban productos, desarrollaban, iteraban hasta el éxito. Lo que me sorprendió fue que ahora somos más de 400 en Quantum y, no fue necesario llegar a cientos. Fue en las primeras docenas donde me di cuenta de que las empresas exitosas se construyen sobre el equipo.

Así que debes tener un equipo increíble y entonces te das cuenta de que el CEO, el fundador, el líder es responsable de liderar a ese equipo. Y eso no funciona bien si no está alineado. Puedes tener el mejor producto, pero si no tienes equipo, no funciona. Así que crear éxito es liderar personas, invertir en ellas.

Y se resume a por qué nuestro primer objetivo como empresa es gente feliz, cultura sana y diversa. El segundo es clientes fans. El tercero es alcanzar cierto éxito económico ese año. Pero esos dos primeros no cambian de año en año. Por supuesto, el tercero varía según nuestras metas económicas anuales.

Creo que algunas organizaciones lo hacen al revés. Se enfocan en ganar un objetivo financiero. Ese es su propósito del año. No creo que puedas llegar allí sin tener gente feliz, sin fans entre tus clientes. Se trata de enfocarse en las personas y en cumplir lo prometido a quienes depositan su dinero y confianza en nosotros.

Hannah Clark: Y, por supuesto, la empatía es una parte enorme de eso. Hoy nos enfocaremos en la IA generativa y cómo puede hacer el análisis accesible a los equipos de producto.

Pero antes de entrar de lleno, quiero hablar sobre cómo empoderar la empatía a escala, cuando hay tantos usuarios a tener en cuenta. ¿Cómo ves que el análisis de datos fomenta la empatía a gran escala?

Mario Ciabarra: Si tuvieras que servir a personas con tu producto o servicio y el número fuera de una sola cifra, no creo que el análisis ayude.

Simplemente ayudarías a la persona, conversarías con tus dos clientes. Pero cuando pasan a dos millones, entonces te das cuenta de que no puedes hablar con todas. Necesitas el análisis para comprender al cliente. Y últimamente he pensado más en escuchar que en preguntar.

Eso es el análisis: escuchar con datos. Cuando pienso en un gráfico en pantalla, en el análisis tradicional, está bien, vi el gráfico. ¿Eso genera empatía? Normalmente, no. Pero cuando conecto ese gráfico con personas reales,

ahí surge la empatía. Lo he visto en los ojos de nuestros clientes y de nuestro equipo, se trata de conectar el gráfico con los usuarios que representa. Esa es la base de lo que Quantum es hoy. ¿Cómo conecto las experiencias con la información y genero empatía para provocar el cambio?

Hannah Clark: Sí. Me encanta esa frase: es todo sobre escuchar. Creo que es un enfoque muy interesante. Y creo que a menudo no pensamos en empatía cuando hablamos de análisis de datos, parecen contrarios, pero realmente ayudan a los equipos a entender qué tratan de decir los usuarios.

Cuéntame sobre la IA generativa y cómo puede hacer que el análisis de producto sea más accesible, permitiendo a los equipos entender mejor qué quieren los usuarios.

Mario Ciabarra: En los inicios de Quantum, me reuní con un gran líder de producto retail, gran persona.

He sido amigo suyo siete u ocho años ya. Se ha mudado de empresa, pero algo que me impactó fue que terminada la reunión me llevó aparte y me dijo: Mario, no entenderías la culpa que sienten los product managers por no usar suficiente los datos.

Eso me marcó. ¿Cómo hacemos los datos tan accesibles que nadie se sienta culpable por no usarlos, que sea sencillo consumirlos, que usar ese arte de escuchar a escala permita tomar buenas decisiones para su empresa?

Pero claro, la empresa existe para servir al cliente; ¿cómo usan los datos para atender mejor con datos? Es difícil. Por eso él sentía esa culpa: tengo mi trabajo diario, quiero usar los datos, pero es abrumador encontrar los correctos, están en 16 lugares distintos, en muchas herramientas. No sé cuál responde a mi pregunta. Y me rindo. Me voy por la intuición.

Así que recolectamos todos esos datos y tratamos de hacer cada vez más fácil el acceso. De hecho, el lema original de la empresa era: lo hacemos simple. Hicimos camisetas. Hacemos el análisis simple. Siempre buscamos cómo hacerlo aún más simple para públicos diversos: marketing, producto, merchandising, devops, ejecutivos, equipos de análisis.

Todos necesitan información sobre el cliente y cómo mejorar su experiencia. Y para nosotros, el papel de la IA generativa es: ¿qué tareas hacen estos equipos para entender los datos? Muchos líderes de producto ven repeticiones de sesiones de usuario.

Oh, mira, no sabía que hacían ese clic, o que iban allí primero y luego esto. Es genial, pero ver sesiones es lento y tedioso. Me hace gracia la gente que dice: hacemos noche de películas, nos sentamos con palomitas y vemos recorridos de clientes. Es valioso, pero no es buen uso del tiempo. ¿Y si la IA generativa pudiera verlos por nosotros? Ese fue el concepto en enero: sabemos que la Gen-IA resume bien. ¿Y si la usamos para resumir el viaje del usuario?

Y así ha sido. Nuestra empresa se ha acelerado mucho este 2024; sacamos el producto Felix AI a fines de febrero y cada trimestre acelera, porque da acceso a más equipos para entender lo que funciona (y lo que no) para el usuario, a escala. Porque si lleva 20 minutos analizar un usuario y tienes dos millones… No funciona.

Pero si solo lleva dos segundos entender un usuario, y Gen-IA permite segmentar: este usuario tuvo dificultades, ¿esa dificultad afecta a uno o a 10 millones? Hazlo automático. Eso otorga accesibilidad, escuchando a una audiencia más grande.

Estamos muy emocionados por cómo Gen-IA permite escuchar mejor.

Hannah Clark: Como decías antes, hay mucha presión para ser experto en datos y saber cómo hacer las preguntas correctas. Hazlo sencillo: ¿qué tan fácil hablamos cuando usamos Gen-IA para los datos? Por ejemplo, un product manager usando la plataforma.

¿Puedes describir un escenario, cómo podría utilizar los datos y la plataforma de manera táctica?

Mario Ciabarra: Una de mis historias favoritas que ilustra el valor de lo que hacemos es conectar la información a distintas audiencias.

Te pondré un ejemplo cercano. Hannah, ¿cuándo fue la última vez que llamaste a tu banco, tu operadora de telefonía, tu seguro médico o una aerolínea? Seguramente no llamaste hasta que intentaste primero hacerlo tú misma en la web o la app. No funcionó y por eso llamaste: no te levantaste pensando ‘voy a llamar a mi seguro’. Normalmente lo intentas sola y, al fallar, te toca el IVR: pulsa 1 a 9, hasta que te atienden.

Te preguntan cómo estás y explicas: ‘intentaba cambiar de seguro o revisar mi cobertura y no funcionó’. Te pasan con un experto, te preguntan de nuevo. ¿No sería genial que cambiaran la conversación a: ‘sabemos lo que intenta Hannah, la derivamos directo al experto’. ‘Hola Hannah, vimos que buscabas tu cobertura y tuviste un error. Te ayudo’.

Lo que quiero mostrar es que todas esas empresas recogen datos de lo que Hannah hace, pero no saben cómo activar esa información en el call center como ejemplo de audiencia que los puede aprovechar. Gen-IA nos permite resumir el recorrido de Hannah en dos segundos. Antes ya teníamos esos datos, incluso en tiempo real, pero era: ‘Espera, Hannah, que veo lo que hiciste los últimos 30 minutos’. Es más fácil preguntarle a Hannah qué quiere o decirle que marque un número. Poder resumir el recorrido, y sabemos que Gen-IA es buena para eso, ha sido transformador.

Ese caso del call center no es tan relevante para producto, pero piensa en el product manager. Quiere entender por qué una usuaria no convierte, no se registra, no reserva el vuelo o no logra cambiar de dirección, etc.

¿Cómo comprende el porqué del recorrido? Usando replays, archivos de log, etc. ¿Cómo lo hacemos más simple? ¿Cómo facilitamos entender el viaje del cliente para el dueño de producto? Eso hace Quantum con Gen-IA.

Transforma ese entendimiento en segundos. Y no solo entender al individuo: ¿ese punto de fricción representa algo pequeño o grande? Este mismo lunes estuve en un banco grande en EE. UU. y me hizo sonreír oír a alguien decir: ‘esto me ayuda a ser un product manager operacional’. Nunca había oído el término, pero tiene sentido: hay que evolucionar el rol de producto a gestión operativa.

¿Cómo uso los datos para saber en tiempo real qué funciona y qué no y pivotar rápidamente? Muchos owners dicen ‘tengo mis tareas, mis sprints, lanzo y ya’. Me parece una locura. Debo saber, ¿estoy apostando por el cambio correcto usando datos? ¿El experimento funciona? Y cuando lanzo, ¿tiene impacto? No lo doy por hecho. Uso los datos para asegurarme o para corregir si no se mueve la aguja como esperaba.

Además, así lo reporto al liderazgo: aprueban mis recursos, impacto la experiencia, y —por qué no— pido ascenso, bono o aumento. Los datos me respaldan, para bien o mal.

Eso es ser product manager operacional.

Hannah Clark: Existe un problema: mucha presión sobre los product managers para tomar buenas decisiones con datos, sin ser científicos de datos. Es fácil hacer suposiciones erróneas o malinterpretar datos y llegar a conclusiones equivocadas.

Si usamos Gen-IA como intermediario, más conversacional, ¿se mitigan esos errores? ¿O siguen siendo necesarias precauciones para asegurar decisiones correctas con esta herramienta?

Mario Ciabarra: No creo que sea por usar Gen-IA o no, pero hablaré de esa parte. Creo que el tema es la fuente de los datos. Lo que me gusta de lo que recogemos es que es la verdad: palabras de clientes. Cuando ves a alguien intentar cambiar su línea o reservar vuelo y no lo logra, no puedes ignorarlo.

Hoy hay muchísimas fuentes de datos para cualquier miembro del equipo. Pongamos a producto: si me pides que demuestre que mi decisión es correcta, puedo encontrar una fuente que me dé la razón. Mal enfoque, por cierto; no lo hagan.

El problema, pues, es que puedes buscar datos que confirmen tu sesgo, y ese es el peligro. Por eso antes hablaba del product manager operacional que usa sus datos de negocio para validar decisiones: cuando lanza y ve que mueve los indicadores, perfecto.

La clave es: ¿qué dato uso para confirmar? Nosotros nos centramos en cómo ve todo el cliente. No digo que lo backend, logs o APIs no importe (sí importa, pero solo cuando hace falta), pero no debemos partir de ahí. El cliente no llama diciendo: ‘Estoy en el experimento B y el API está mal’. Sólo dice: ‘Tu web o app apesta, estoy frustrado’.

Hay que hacer que el equipo de producto piense desde la perspectiva del usuario. Eso es lo clave. Sí, quiero añadir Gen-IA para hacerlo más accesible, fácil de entender. Porque el problema no es si se tiene acceso o no a la perspectiva del cliente: hay muchos caminos. El tema es: ¿cómo interpretan esa info para tomar buenas decisiones? Porque he visto equipos perder horas buscando en logs, APIs… y toman la decisión equivocada.

Debemos centrarnos siempre en los datos desde la perspectiva de cliente. Así debe gestionarse un negocio: pon el cliente en el centro. Después, si el dato revela frustración, quizás ahí es momento de mirar el API, los logs, el código. A veces no es un bug técnico, es que el botón estaba mal puesto o abajo y no lo ven. Hay millones de detalles de experiencia que los logs no captan.

En suma: hay que escuchar primero al cliente, no solo preguntárselo (como con encuestas). Las encuestas valen, pero se deben usar en el momento adecuado. Es mirar y escuchar desde la perspectiva cliente primero.

Hannah Clark: Has defendido antes la democratización de los datos en las organizaciones. ¿Qué significa eso para ti y qué retos suelen encontrar las empresas al intentar hacer los datos accesibles entre departamentos?

Mario Ciabarra: Hemos visto una evolución en el consumo de los datos. Desde el año 2000, y seguro que algunos escuchas dirán que ya antes, pero creo que el mundo digital cobró fuerza para mí ahí: usando web trends o herramientas similares en el 95 para obtener datos analíticos desde logs.

Luego llegaron empresas como Omniture y Urchin (que dio paso a Google Analytics), empezamos a recoger píxeles y entender los recorridos de usuario. Así arrancó el análisis digital en marketing. Después vino APM y análisis para DevOps.

Después llegó Analytics de experiencia, con empresas como tea leaf y click tail, que ya no existen así, pero fueron el primer intento de mapear experiencia de usuario, mapas de calor, repeticiones.

Y en los últimos 5-10 años ha surgido el análisis de producto como categoría.

Viendo a nuestros clientes, percibo la consolidación de todos esos puntos o soluciones silo a una pregunta: ¿cómo democratizo los datos en toda la organización para entender el porqué? Entender el ‘qué’ —por ejemplo, % de caídas en el embudo de compra— lo hacen todas las herramientas.

El ‘por qué’ se investiga diferente según el rol: producto, DevOps, marketing, etc.; los datos son similares en todos los casos. Ya no hace sentido tener mil soluciones. Así que nuestro objetivo es hacer que los datos sean consumibles por diferentes perfiles. El viaje es diferente, los formatos deben adaptarse.

Un diseñador UX no pasa tiempo en analytics, pero si le enseñas los datos en el mismo sitio, en su pantalla, por ejemplo: dónde hacen clics, ¿eso genera éxito? En retail, ¿cómo liga el contenido, el layout, el catálogo, con los objetivos de negocio? Eso buscan los clientes, no sólo navegar; quieren encontrar el producto correcto y al mejor precio y comprar. ¿Cómo lo facilitamos?

Entonces, mostrar los datos para el diseñador es sobreponerlos en la web; para el DevOps es ver la velocidad de carga, errores API; para producto, saber en qué experimento estaban y qué pasos fallaron; y así con cada perfil. Esos son los formatos claves para la democratización de datos: hacer la base común, pero accesible para todos, sin 16 herramientas distintas.

A menudo veo peleas internas por divergencias mínimas (2,3% vs 2,4%), pierden días discutiendo definiciones. Si tuvieran un único sistema, lo aceptarían y pondrían foco en dónde hay fricción, dónde optimizar, cómo acelerar el checkout, reducir clics o fricciones, etc.

Es una oportunidad para Gen-IA: con Felix AI, por ejemplo, podemos ajustar los resúmenes para cada audiencia. El call center sólo quiere saber cómo atender rápido, el owner de producto quiere detalles de experimentos y features, el DevOps quiere los tiempos de carga… Así adaptamos las respuestas de Gen-IA y eso ha sido transformador, porque facilita el acceso justo al dato necesario para cada persona.

Hannah Clark: Vamos con un par de temas diferentes, algo rápido.

Higiene de datos. Muchas empresas luchan con ella. ¿Cómo ayuda Gen-IA a mitigar esto?

Mario Ciabarra: Te cuento, Hannah, sonrío de oreja a oreja porque este es un proyecto que me apasiona desde 2015.

En nuestro primer video explicativo dijimos que íbamos a lograr esto. No encontraba la manera, hasta la Gen-IA. Estoy tan emocionado de que a fin de este trimestre (semanas) sacamos un producto que hace esto: encuentra los datos necesarios para tomar decisiones de negocio.

He estado viajando y en cada cliente o potencial cliente hago la misma pregunta: ¿cada cuánto sus datos están correctos y cada cuánto mal? Todos dicen que semanalmente deciden sin tener datos completos. ¿Cuán difícil es decidir sin los datos correctos? El valor de tener siempre los datos correctos es inmenso. Hay confusión desde marketing sobre auto-captura, etiquetado… Pero aún no extraemos siempre la información correcta, más allá del tagging. Sigo viendo empresas sin los datos adecuados.

En producto me dicen siempre: ‘Vamos en sprint, el analytics está en la timeline, al final surgen bugs. O etiqueto los datos o corrijo los bugs. ¿Qué eligen?’. Y salen a producción sin datos analíticos para saber si lo nuevo funciona. ¡Es una locura! ¿Y si lo pudiéramos automatizar con Gen-IA? ¿Si le pido a Gen-IA que detecte la información necesaria en los experimentos A, B y C, sin decirle dónde buscar, sin que los ingenieros la etiqueten? Solo extrayendo la data de los usuarios, en web o app. Y cuando hemos hecho la demo de esto, las caras son de asombro.

Una analista del sector me puntúo con un ’10 plus’, dijo que era increíble.

Hannah Clark: Sí, eso casi emociona hasta las lágrimas.

Mario Ciabarra: Estoy feliz por el éxito que tendrá esto en 2025: ayudar a las organizaciones a tener siempre los datos correctos y en tiempo real.

Hannah Clark: Muy emocionante y enhorabuena por adelantado.

Ya que hablamos de 2025, hablemos del futuro. Has predicho que el análisis de producto evolucionará hacia el análisis de experiencia o cliente. ¿Qué tendencias o innovaciones impulsarán esa transformación?

Mario Ciabarra: Entender al cliente y escucharle es más que sólo analytics digital.

Hay mucha información recopilada que no se ha conectado entre sí. Por ejemplo, en Quantum hoy recogemos datos de encuestas, integramos con principales proveedores. A veces queremos entender la fricción sin preguntar, sólo escuchando. A veces basta con preguntar: ‘¿Estás contenta o no?’. Si esto cuadra con la data, perfecto; si no, nos dice que algo nos falta por entender.

Pero hay más que encuestas. Cuando Hannah deja una reseña (sin que la pidamos), positiva o negativa, eso es información. O en telecomunicaciones: si a Hannah se le caen tres llamadas en un mes, ¿va a renovar? Quizá no termine de irse, pero si compra un iPhone y no le llega (le pasó a alguien de mi equipo este año), ¿querrá seguir allí? Hay muchos datos que ayudan a una visión de 360 grados, online y offline.

Toda la historia de Quantum en estos 10 años es escuchar a los clientes: ¿son más felices hoy, o más leales hoy, que antes? Es mucho más que encuestas y digital. ¿Cómo combinamos toda esa info para que ejecutivos, producto, devops, etc., entiendan qué puntos importan y cómo mejorar?

¿Cómo enfocarnos en los momentos que realmente importan para el cliente?

Hannah Clark: Todo esto ha sido muy interesante. Es emocionante ver cómo la IA generativa cambiará por completo el mundo del analytics y hará todo mucho más sencillo y accesible, tanto para PMs técnicos como para los de habilidades blandas. Un tema apasionante.

Gracias por acompañarnos, Mario. ¿Dónde pueden seguir los oyentes tu trabajo en línea?

Mario Ciabarra: Pueden seguirme en LinkedIn, y para mi trabajo, visita quantummetric.com. Tenemos mucho contenido compartiendo casos de éxito y novedades.

Así que, únete a quantummetric.com, sigue a Quantum Metric en LinkedIn y escucha más pódcast futuros aquí con Hannah y conmigo.

Hannah Clark: Genial. Muchas gracias por venir.

Mario Ciabarra: Gracias a ti, Hannah.

Hannah Clark: Gracias por escucharnos. Para más insights, guías y reseñas de herramientas, suscríbete a nuestro newsletter en theproductmanager.com/subscribe. Puedes oír más conversaciones como esta suscribiéndote a The CPO Club, en tu plataforma de pódcast preferida.