En el campo en rápida evolución de la gestión de productos, la combinación de la investigación cualitativa y cuantitativa es esencial para tomar decisiones informadas. El reto, sin embargo, reside en cómo combinar eficazmente estos dos enfoques para obtener una imagen precisa de las necesidades y comportamientos de los usuarios.
En este episodio, Hannah Clark conversa con Laura Klein—Principal en Users Know—sobre la intersección de estos métodos de investigación y cómo los equipos de producto pueden aprovecharlos mejor para construir productos exitosos.
Aspectos Destacados de la Entrevista
- Conozca a Laura Klein: Experta en UX y Autora [01:05]
- Laura es una persona de UX/producto con formación en ingeniería.
- Fundó Users Know a principios de la década de 2010.
- Laura solía trabajar en una agencia de diseño donde aprendió mucho, pero se fue porque quería tener más control sobre sus proyectos y clientes.
- Prefiere trabajar con clientes que entienden su estilo de trabajo.
- Laura es selectiva con los proyectos que toma en Users Know, enfocándose en aquellos en los que realmente puede aportar valor.
- Retos al Combinar la Investigación Cualitativa y Cuantitativa [03:37]
- Los equipos tienen dificultades con ambos métodos de investigación de usuarios, cualitativos y cuantitativos.
- Cualitativo: Las personas carecen de conocimientos, habilidades o confianza para llevarlo a cabo de manera efectiva.
- Cuantitativo: Dificultad para entender las estadísticas, instrumentar productos para la recolección de datos e interpretar datos desordenados.
- La combinación de investigaciones mal hechas (cualitativas o cuantitativas) conduce a resultados poco fiables.
- Algunos equipos son excelentes en investigación cualitativa pero les cuesta integrar los hallazgos en las decisiones de producto.
- Los gestores de producto demasiado “orientados a los datos” pueden perderse el “por qué” detrás de los datos.
- Los equipos tienen dificultades con ambos métodos de investigación de usuarios, cualitativos y cuantitativos.
- Entendiendo la Importancia de los Buenos Datos [07:04]
- La combinación de investigación cualitativa y cuantitativa es más efectiva al abordar una pregunta específica.
- Los datos cualitativos (investigación de usuarios) ayudan a entender por qué los usuarios se comportan de cierta manera, mientras que los datos cuantitativos (analítica) revelan qué están haciendo los usuarios.
- Comenzar con investigación cualitativa para productos previos al lanzamiento o en situaciones con pocos usuarios.
- Analizar los datos cuantitativos para identificar puntos de abandono en el recorrido del usuario (por ejemplo, el embudo de compra).
- Utilizar la investigación cualitativa para entender las razones detrás de los puntos de abandono identificados en los datos cuantitativos.
- Enfocarse en encontrar la causa raíz (el por qué) antes de saltar a las soluciones (el cómo).
La investigación de usuarios implica realmente comprender a tus usuarios: sus modelos mentales, su contexto, lo que intentan hacer y los problemas que tienen en general y con tu producto. Todas estas ideas te ayudarán a entender por qué ocurren ciertas cosas.
Laura Klein
- Investigación de Usuarios vs. Saltar a Soluciones [14:11]
- Se evita la investigación cualitativa debido a:
- Percepción de consumo de tiempo
- Dificultad para captar participantes (especialmente en grandes organizaciones)
- Falta de experiencia o comodidad con los métodos de investigación de usuarios
- Idear soluciones es preferido porque es:
- Fácil y agradable
- Una tendencia humana natural
- Las opiniones personales fuertes sobre los defectos del producto pueden sesgar la toma de decisiones.
- El problema principal no es la falta de funcionalidades o IA, sino más bien que el producto no resuelve los problemas de los usuarios de una forma valiosa.
- Se evita la investigación cualitativa debido a:
Existen problemas que ciertamente podrías resolver con IA, y algunos de ellos incluso podrían resolverse mejor con IA. Pero tu problema no es que el producto no tenga suficientes funcionalidades; tu problema es que no resuelve los problemas del usuario de una forma útil y valiosa para ellos.
Laura Klein
- El papel de la segmentación en la investigación [17:00]
- La investigación cualitativa puede ser difícil de realizar en ciertas situaciones:
- Entornos empresariales con varios grupos de usuarios (compradores, clientes, administradores).
- Mercado directo al consumidor en etapa temprana con pocos usuarios.
- Escenarios con segmentación de usuarios que vuelve confuso el análisis de datos.
- Organizaciones con una base de usuarios pequeña.
- Cuando no hay datos cuantitativos disponibles (por ejemplo, pruebas A/B), céntrate en la investigación cualitativa y toma las mejores decisiones fundamentadas posibles.
- La investigación cualitativa puede ser difícil de realizar en ciertas situaciones:
- Tamaño de muestra en la investigación de usuarios [18:51]
- Determinar el tamaño de muestra para la investigación cuantitativa (por ejemplo, pruebas A/B) es complejo y requiere un científico de datos debido a factores como:
- Número de personas necesarias en cada variante de la prueba.
- Presencia de valores atípicos (por ejemplo, usuarios que gastan mucho) que distorsionan los datos.
- La investigación cualitativa también se beneficia de la experiencia, pero por motivos diferentes:
- No busca significancia estadística, sino identificar patrones recurrentes.
- La visión tradicional sugiere que se necesitan 5 participantes para encontrar problemas de usabilidad, pero esto puede no aplicarse a todos los tipos de productos o grupos de usuarios.
- Concéntrate en la síntesis continua de datos para identificar patrones en la investigación cualitativa.
- El tamaño de la muestra en investigación cualitativa es menos importante que identificar problemas recurrentes y segmentar usuarios según sus necesidades y comportamientos.
- Determinar el tamaño de muestra para la investigación cuantitativa (por ejemplo, pruebas A/B) es complejo y requiere un científico de datos debido a factores como:
- Segmentación para una investigación de usuarios efectiva [24:04]
- La segmentación es crucial en la investigación, especialmente cuando se trata de funciones que atienden a distintas necesidades de los usuarios.
- Considera el ejemplo de un asistente de redacción de correos impulsado por IA para reclutadores:
- La función benefició a la mayoría de usuarios que tienen dificultades para redactar correos de contacto.
- Sin embargo, un pequeño grupo de reclutadores expertos con sus propias plantillas probadas encontró que la IA era disruptiva.
- Segmentar a los usuarios según sus necesidades y experiencia es clave para evitar soluciones que, sin querer, perjudiquen a un grupo valioso de usuarios.
- Diversión en el proceso de investigación [28:40]
- Laura sostiene que la investigación puede ser divertida, especialmente la parte cualitativa.
- Métodos creativos de investigación incluyen:
- Simular entornos reales (por ejemplo, hospitales ficticios) para estudiar el comportamiento de los usuarios.
- Acompañar a los usuarios observando su trabajo y rutinas diarias.
- Actividades de codesign como utilizar Legos para idear soluciones.
- Estos métodos pueden ser agradables porque:
- Permiten a los usuarios expresarse de forma creativa.
- Ofrecen un vistazo al proceso de pensamiento de los usuarios.
- Las pruebas de usabilidad pueden ser desafiantes pero gratificantes, ya que ayudan a identificar problemas y a conseguir mejoras.
Conoce a nuestra invitada
Laura se enamoró de la tecnología cuando presenció su primera sesión de investigación de usuarios hace más de 20 años. Desde entonces, ha trabajado como ingeniera, diseñadora de experiencia de usuario y directora de producto en Silicon Valley para empresas de todos los tamaños. Ha escrito dos libros para directores de producto, diseñadores y emprendedores: Build Better Products (Rosenfeld Media ’16) y UX for Lean Startups (O’Reilly Media ‘13), y es oradora frecuente en conferencias tecnológicas como SXSW, Lean Startup Conference y Mind the Product. Actualmente es Principal en Users Know, una consultoría de diseño UX, y trabaja como coach y asesora para equipos de producto y startups.

Hay una parte agradable en comprender cómo hacen las cosas las personas. Puedes organizar actividades de codesign que resultan realmente divertidas.
Laura Klein
Recursos de este episodio:
- Suscríbete al boletín The CPO Club
- Conecta con Laura en LinkedIn
- Consulta Users Know
Artículos y podcasts relacionados:
- Acerca del pódcast de The CPO Club
- Cómo redactar objetivos de investigación UX (con 14 ejemplos)
- Cómo crear un plan de investigación UX en 6 pasos (¡con ejemplos!)
- Cómo crear experiencias más intuitivas: el proceso de investigación de diseño UX más inteligente
- Los 15 mejores pódcasts de investigación UX
- El verdadero ROI de UX: cómo convencer a los líderes de invertir en los usuarios
Lee la transcripción:
Estamos probando transcribir nuestros pódcast con un software. Por favor disculpa cualquier error tipográfico, ya que el bot no es 100% preciso.
Hannah Clark: ¿Eres una persona más de hemisferio izquierdo o derecho? Si no sabes de qué hablo, las personas del hemisferio izquierdo tienden a ser más analíticas y enfocadas en métricas, mientras que las del derecho suelen usar la narración para entender el mundo. Así que, cuando pensamos en investigación cualitativa y cuantitativa, probablemente ya puedas adivinar qué tipo de personas tienden a inclinarse hacia uno u otro método. Y eso es genial—después de todo necesitamos ambas—pero resulta que combinarlas es mucho más fácil decirlo que hacerlo. ¿Cómo combinas cifras e historias para dar un panorama real? Y, independientemente del método de investigación, ¿cómo te aseguras de que tus datos sean de calidad?
Mi invitada de hoy es la increíble Laura Klein, Principal en Users Know y autora de «Build Better Products» y «UX for Lean Startups». Durante los últimos 20 años, Laura ha trabajado con muchos equipos de producto y ha visto a muchos de ellos tropezar con los mismos retos al realizar y aplicar investigación de usuarios. Está a punto de compartir algunas de sus observaciones y consejos más útiles para equipos de producto, especialmente en la segunda parte del episodio cuando hablamos del papel clave de la segmentación e investigación. Vas a necesitar ambos lados de tu cerebro para este episodio, así que vamos allá.
Bienvenida de nuevo a The CPO Club Podcast.
Laura, muchísimas gracias por sacar tiempo en tu agenda para hablar con nosotros.
Laura Klein: Oh, muchas gracias por invitarme.
Hannah Clark: Empezaremos hablando un poco de ti y de cómo fundaste Users Know.
Laura Klein: Sí. Como dijiste, soy una persona de UX y producto. Soy una ingeniera en recuperación. Estoy en el mundo tech desde los años 90, ya ha pasado un tiempo. He hecho muchas cosas distintas. Fundé Users Know a principios de la década de 2010, pero la verdad ya ni recuerdo la fecha exacta, antes sí la sabía. Aprendí a diseñar en una excelente agencia boutique donde hacíamos diseño e investigación para clientes.
Aprendí muchísimo ahí. Fue genial. Esto fue después de haber sido ingeniera en startups durante un buen tiempo. Finalmente me fui, sinceramente, porque quería poder despedir a mis clientes. Es la pura verdad. Cuando trabajas para una agencia, siempre bromeo que, tienes que contentar a muchas personas.
Tienes que contentar a tus jefes, a tus clientes. Y también, idealmente, si eres diseñadora UX, tienes que hacer felices a los clientes/usuarios. Y, curiosamente, a veces eso entra en conflicto. Y me di cuenta de que me iba mucho mejor cuando podía trabajar con clientes que estaban alineados conmigo sobre cómo íbamos a trabajar.
Y realmente disfruto trabajar con personas que comprenden mi forma de trabajar. No es que sea especialmente dogmática, pero tengo una forma específica de hacer las cosas y si te subes a ese barco, nos llevamos bien y hacemos un buen trabajo juntos.
Hannah Clark: Sí, yo también vengo del mundo de las agencias y entiendo perfectamente que todo funciona mejor si hay esa conexión. A veces no se puede forzar.
Laura Klein: Oh, quieres otra cosa que no negocié contigo y no sé si puedo hacerlo por ti. Y la mitad del tiempo cuando hago desarrollo de negocio para Users Know, que tampoco es todo el tiempo porque a veces tengo trabajos full time o estoy ya ocupada.
Pero cuando hago desarrollo de negocio, paso mucho tiempo diciéndole a la gente: «Eso no lo hago yo. Debes hablar con tal persona, alguien que conozco y que hace eso, vas a ser mucho más feliz con ella porque lo hace mejor que yo.» Así que paso la mitad del tiempo rechazando propuestas.
Porque sólo eres una persona y sólo necesitas un par de proyectos. Quieres encontrar aquellos en los que realmente puedas destacar. ¿Cierto?
Hannah Clark: Sí, creo que eso es casi un marcador de éxito, poder escoger los proyectos que realmente te lleven a ti y a tu cliente donde ambos quieren llegar. Así que lo respeto mucho.
Hoy vamos a centrarnos en cómo combinar investigación cualitativa y cuantitativa para tomar mejores decisiones en el contexto de producto. Desde tu experiencia, ¿qué ves que suele costarles más a los equipos al intentar combinar estas dos disciplinas?
Laura Klein: Todo. Esta es una de las formas en las que trabajo y es muy específica. De verdad creo que aquí está el problema. Veo a la gente tener dificultades, curiosamente, con ambos lados. Muchos tienen problemas haciendo investigación cualitativa de usuarios. Muchos tienen problemas con la cuantitativa.
Y cuando hablamos de combinar ambas, buscas como el unicornio, ¿no? Es algo realmente difícil de hacer porque tienes que hacer muchas cosas bien. Y no es broma, tienen problemas con todo. Muchos no saben hacer investigación cualitativa de calidad.
No saben cuándo hacerla. No saben cuándo contratar a los/as grandes profesionales que hay ahí fuera que se dedican a esto y realmente son excelentes y saben lo que hacen. En el lado cuantitativo, las matemáticas son difíciles, ¿vale? No sólo las matemáticas, las estadísticas no son intuitivas para nadie, realmente.
Y además, es difícil instrumentar tu producto para obtener los datos correctos. Muchas empresas recolectan todos los datos, pero ninguno es correcto. Es un desastre en ambos lados. Entonces cuando combinas una investigación cualitativa mal hecha, que quizás no trató el problema real o no tenía una buena pregunta de base, y además datos recolectados de forma apresurada y tal vez incorrectos.
Y después tratas de combinar ambos. Pues obtienes lo que obtienes, y nada bueno. Este es el peor escenario, claro. A veces veo empresas con un excelente equipo de investigación cualitativa que recopila muy bien la información.
Pero no la integran en la toma de decisiones de producto. O ves a managers de producto tan centrados en los datos que ni miran la parte cualitativa. Así que no entienden por qué pasan las cosas. Sólo ven cifras todo el día, pero…
Y dicen cosas como: «A lo mejor es esto. O esto otro. O puede que aquello.» Algo muy común es el product manager “orientado a datos”, que, ojo, yo estoy a favor de tomar decisiones informadas por datos, pero los datos no te informan del por qué, solo el qué.
Y a veces ni siquiera hacen bien eso. Así que sí, todo es difícil. Por eso no deberías ni molestarte y sólo confiar en tu intuición. No, no es cierto. Perdón.
Hannah Clark: Sí, definitivamente NO es la conclusión.
Laura Klein: Definitivamente no. No hay que rendirse.
Hannah Clark: Hay que seguir. El show debe continuar.
Laura Klein: Sí, reconocemos que lo que hacemos es difícil y nos damos espacio para aprender cosas nuevas y admitir que no lo sabemos todo, y yo sigo aprendiendo de ambos lados. Trabajamos con expertos en ambos. Y hacemos lo mejor que podemos.
Hannah Clark: Tengo ganas de profundizar más y sobre algunas formas para procurar que los datos que recopilamos sean algo más fiables o nos den mejores fuentes de insight para lo que queremos lograr.
Mientras tanto, supongamos que tenemos datos de buena calidad por ambas partes, cualitativa y cuantitativa, para efectos del ejemplo.
Laura Klein: Sí, somos geniales en ambos. Sí.
Hannah Clark: Sí. Imaginemos que tenemos a los mejores en el trabajo. ¿Cuáles serían algunas de las maneras de empezar a unir ambos tipos de investigación para la toma de decisiones de producto?
Laura Klein: Vale. Pongamos que no sólo tenemos excelentes datos.
Digamos que tenemos las personas y los procesos para salir a buscar esos grandes datos, porque el paso clave es realmente preguntarse cuál es la pregunta que quieres responder. Es tan difícil como el resto. Muchos tienen, como dije, muchas cosas, dashboards,
o hacen tests de usabilidad todo el tiempo y hacen de todo. Vale, pero buscas tomar una decisión, una concreta. ¿Hacemos X? ¿Qué nueva funcionalidad construir primero? ¿Cuál es mi prioridad? Todas esas decisiones que tomamos cada día los de producto.
Genial. ¿Cuál intentas tomar ahora? ¿Cómo mejoramos la activación de esta funcionalidad? ¿Cómo mejoramos la captación? ¿Cómo evitamos que la gente se dé de baja tras X meses? Estas son preguntas típicas que debemos hacernos. A veces nos preguntamos: ¿esta funcionalidad o esta otra?
¿Cuál tiene más probabilidad de lograr lo que más necesito? De nuevo, eso depende: ¿cuáles son mis métricas y qué demonios quiero conseguir con ellas? Así que empieza con una buena pregunta, que se pueda responder. Y no puede ser: ¿Cuánto pagaría alguien por esto? Bueno, puede, pero en realidad es una pregunta muy difícil para cualquier método.
Así que hay que acotarla. ¿Qué busco responder? Luego, mira los datos cuantitativos para ver qué ocurre actualmente con el producto. Cuando hablo de datos cuantitativos, no siempre me refiero a estudios de mercado; aunque también lo puedes traer a la mesa en etapas más tempranas.
Pero principalmente hablo de analíticas, métricas que mides sobre tu producto. Por ejemplo, los datos cuantitativos muchas veces no sirven de mucho si ni siquiera tienes producto. No hay nada, no hay datos cuantitativos. O si tienes pocos usuarios, probablemente tampoco serán suficientes.
Debes pensar cuándo usarlos. Pero al final, sólo te dicen qué hacen las personas. ¿Dónde hacen clic? ¿Qué compran? Si hacen clic aquí, ¿comprarán lo otro? Si vieron esto... todo sobre el qué, no sobre el porqué.
La parte cualitativa, aquí hablamos tanto de investigación de usuarios como de tests de usabilidad (que no son lo mismo). La investigación de usuarios es todo el proceso, pero se trata sobre todo de comprender a tus usuarios: sus modelos mentales, contexto, objetivos, problemas generales y con tu producto, etc. Eso te ayuda a entender el porqué de lo que sucede.
Y ya está. No te dirá qué está pasando. De hecho, la investigación cualitativa suele hacerse con grupos mucho más pequeños de personas y, ojo, esto es un proceso iterativo. No es que entrevistes a cinco personas y acabes para siempre, pero sí vas tomando decisiones con solo hablar con cinco personas, luego hablas con otras, y así, estás constantemente escuchando a gente.
Pero sólo puedes hablar con un número limitado, y durante períodos de tiempo. Es totalmente posible que consigas una visión clara de quiénes son y qué hacen, pero nunca tendrás la mejor foto del qué sólo hablando con la gente.
Pero sí vas a entender el porqué. Por ejemplo: tienes un proceso de checkout, vamos a algo fácil. Algo que todos hemos hecho o incluso construido, ¿vale? Es muy común. Toda la audiencia ha usado algún proceso de compra online.
Suelen ser lineales, de varios pasos. Hay información esencial que la compañía necesita. Si tienes bien instrumentados tus datos, puedes ver dónde la gente abandona el proceso. Y te garantizo que alguien abandona ese proceso.
Se le llama embudo, pero es más como un colador. En el mejor de los casos, es un embudo. En el mundo real, la gente se cae constantemente. Mal embudo. Así que esto pasa. Los datos te dirán exactamente en qué paso se caen. Genial. Lo que veo que muchos managers de producto hacen es decir: «Todos se van cuando deben poner sus datos de tarjeta», y entonces empiezan a dar ideas.
Deberíamos hacer esto. Deberíamos cambiar aquello para hacerlo más visible. O deberíamos cambiar… Sí, o podrías observar un par de personas usando el proceso de checkout para ver si hay algo obvio. Puede haber muchas causas. He visto decenas de cosas que hacen que la gente abandone procesos de compra, onboarding o captura de datos.
La clave, el motivo de por qué esto importa, por qué el porqué importa, es que la solución correcta depende del verdadero problema. Y el problema no es que la gente se salga, ese es tu problema. El de ellos es: no entendí esto, había un bug, faltan métodos de pago, o cualquier otra cosa. Si no lo ves o no sabes que existe, nunca lo vas a arreglar.
Nunca resolverás el problema de checkout, o no tienes los métodos de pago correctos, o un montón de otras cosas. Y es impactante: simplemente al observar, ves ese detalle, lo solucionas fácil, y a otra cosa.
He visto ingenieros arreglar un bug durante una sesión de investigación/uso y subir la solución a producción mientras seguíamos en la prueba. Lo vimos, claramente era un problema. El ingeniero, portátil en mano, lo arregla. Volvemos y la persona dice: «Pensé que esto estaba roto.» Y yo: «Yo también.» Y me giro: el ingeniero me asiente y hace pulgar arriba. Bueno, parece que ya no es un problema.
Este es un buen ejemplo de no sólo ver qué pasa y lanzarse a idear, sino descubrir por qué pasa y ver si quizás hay una solución muy sencilla.
Hannah Clark: ¿Qué crees que nos impide hacerlo así, ir primero al porqué en vez de idear? ¿Por qué no es nuestro primer instinto en tu opinión?
Laura Klein: La investigación cualitativa es difícil. Se ve como algo que consume mucho tiempo, y a veces lo es. En algunas organizaciones es aún más difícil, especialmente si es complicado acceder a usuarios, o reclutar participantes, o no tienes procesos de ops de investigación. Puede requerir mucho trabajo. Puede ser fácil si ya tienes todo montado para hacer investigación a medida.
Algunas personas tampoco tienen esa experiencia. No se sienten cómodas hablando con gente.
Y además, idear es fácil y divertido, lo puedes hacer en una sala en equipo. Es algo humano. No sabes la de veces que tengo conversaciones sobre cualquier cosa, hasta decidir qué cenar, y empiezas a hablar de tipos de comida. No tienes todo un proceso para decidir. Los cerebros humanos son perfectos para tener ideas. Las ideas son fáciles. Divertidas. No siempre acertadas.
Ni siempre las adecuadas. Eso es. También, muchos de producto tenemos opiniones muy fuertes sobre lo que no funciona de nuestro producto. Sabemos que no es perfecto, y a veces tenemos muchas opiniones y nos acostumbramos al problema, aunque no esté relacionado con el reto inmediato. Veo mucho eso. Gente diciendo: «Quiero meter IA», así que todos los problemas son que “falta IA”. Mira, te juro que el problema no es que falte IA.
Hannah Clark: Repítelo más alto para los del fondo. Daría para otro episodio.
Laura Klein: Sí, yo también. Hay problemas que puedes resolver con IA, incluso a veces mejor con IA, quién sabe. Pero el problema no es que falten funcionalidades.
Hannah Clark: Exacto, y mucho menos la IA.
Laura Klein: Sí, o cualquier funcionalidad puntual. El problema es que no resuelve el problema del usuario de forma útil y valiosa.
Hannah Clark: Eso me lo tengo que tatuar.
Laura Klein: Mejor bórdalo en un cojín.
Hannah Clark: Sí.
Laura Klein: Es un poco largo.
Hannah Clark: Cierto, no fluye bien en la piel.
Entonces, hablemos un poco sobre los contextos donde conviene usar uno u otro, cualitativo o cuantitativo. Has dado un ejemplo muy claro de cómo uno informa al otro, pero hay contextos donde uno es más valioso que otro. Hablemos de algunos casos extremos.
Laura Klein: Vale. Algo a tener en cuenta es que, a veces, uno u otro no está disponible. Hay entornos (enterprise, por ejemplo) en los que es muy difícil obtener datos cualitativos de las personas adecuadas. O simplemente cuesta muchísimo acceder a administradores, clientes o usuarios.
Y puede que sea mucho más fácil conseguir input de un tipo de usuario que de otro; ni hablemos de los administradores. He hecho mucha investigación con ellos, muy útil, pero difíciles de reclutar. Así que a veces, aunque sea difícil, vale la pena luchar por ello.
En esos casos, intenta montar un proceso que te ayude a encontrar a esas personas. Datos cuantitativos: de nuevo, enterprise es buen ejemplo. A veces no tienes suficientes usuarios. Si quieres hacer A/B testing, por ejemplo, necesitas muchísima gente para ver la diferencia. Pero si acabas de empezar en B2C, tienes demasiadas segmentaciones o estás en enterprise, jamás tendrás suficientes datos.
No es una opción. Tendrás que recurrir a lo cualitativo y hacer tu mejor estimación.
Hannah Clark: Me da mucha curiosidad, ¿cómo determinamos el tamaño de muestra adecuado antes de definir objetivos y lo que buscamos respecto a cantidad?
Laura Klein: Lo cuantitativo: consulta a un verdadero científico de datos, porque, no bromeo, las matemáticas son difíciles y las de aquí lo son más. Muchos se equivocan, hay problemas inesperados—por ejemplo, el problema del peeking: mirar datos antes del final, y eso da problemas. Busca información, pero yo no soy quien para explicar esa matemática. Depende muchísimo: número de usuarios en cada branch, varianzas, outliers… Si tienes “ballenas” (usuarios que gastan muchísimo y la mayoría casi nada) puede distorsionar todo el análisis. Por eso digo que es difícil y se necesita gente experta.
En cualitativo también recomiendo expertos, es difícil, pero en otra forma. El tamaño de muestra, en cualitativo, no buscas significancia estadística, eso NO vas a lograrlo. Si alguien dice que la tuvo en cualitativo… por favor. Lo que buscas es que los patrones se repitan y sean predecibles. Por ejemplo, hay un estudio clásico de los 90 que decía que ves la mayoría de los problemas con cinco personas.
Pero eso es para usabilidad, sólo detectar barreras en una interfaz, y asume que todos usan el producto igual. Para un checkout en un país y con pocos tipos de usuarios sí puedes detectar el grueso de los problemas en 4 o 5 personas. Incluso a veces detectas bugs con una sola.
«Si le pasó a uno, probablemente le pasa a más. Lo arreglamos.» Y así fue. Para esos casos, puedes descubrir mucho rápido.
Pero muchas veces tienes que hablar hasta que puedas predecir los patrones. Me gusta hacer síntesis continuada de los datos: tras cada entrevista veo observaciones, necesidades, problemas, etc., y las voy agrupando hasta poder predecir: «Si viene este perfil, hará esto y tendrá estos problemas.» Si aciertas, ya ves dónde hay patrones.
La investigación cualitativa debe ser continua, siempre hablando con usuarios. No te obsesiones con el tamaño. Si ves varios luchando con algo, probablemente no sean los únicos. Si fueran extremadamente únicos, revisa el proceso de screening. O quizás sí son tus usuarios, pero… Generalmente, ves los mismos patrones enseguida.
Si no los ves y hay diferencias extremas, puede que no segmentaste bien la muestra. Gente distinta usa productos de formas distintas. Si entrevistas a usuarios avanzados o novatos, obtendrás problemas distintos. Si compras al por mayor o al detalle, diferentes necesidades. Si ves demandas muy divergentes, tal vez tienes grupos distintos y deberías definir mejor los segmentos.
Hannah Clark: Sí, y me alegra que saques el tema de segmentación. Es algo que se pasa de largo cuando creamos un set de datos útil para la toma de decisiones.
¿Qué consejos das si sabemos que la segmentación será clave en la investigación? ¿Cómo abordarla desde el inicio?
Laura Klein: Sí. La segmentación casi siempre es muy importante. Pero diré la frase más típica de UX: «Depende.» No me voy a quedar ahí.
Depende de varios factores. Por ejemplo, una vez vi una funcionalidad de IA para reclutadores: el producto ayudaba a hacer outreach a candidatos. Todos hemos recibido ese mensaje en LinkedIn, «Vimos tu currículo y…». Resulta que mucha gente es mala escribiendo esos correos, hasta profesionales. Es difícil hacerlos bien. Así que la empresa decidió ponerle un poco de magia IA para ayudar a redactar mejores emails.
Y lo lograron: la IA resumía, mejoraba la claridad, menos spam… En general, funcionó y obtuvo más respuestas. El problema era un pequeño grupo de usuarios expertos. Todo lo que hacen es escribir esos mensajes y A/B testean ellos mismos y tienen estándares corporativos.
Imagínate un reclutador profesional que sólo hace eso y tiene científicos de datos para optimizar las plantillas. Para ellos, la IA molestaba. No querían plantillas reescritas porque tenían requerimientos legales, etc. Y, casualmente, esos eran los que más usaban y pagaban el producto.
Así que tienes la mayoría, que paga muy poco y a los que sí les sirve la IA, y un pequeño grupo que paga mucho pero para quienes era negativo.
Evidentemente: habrá que dejar elegir. Si sólo ves los datos y dices «la mayoría mejoró con IA», te equivocas: la minoría que paga mucho, no. No puedes imponerlo a todos.
Algunos grupos, lo siento, son más importantes para tu empresa a nivel de negocio.
Hannah Clark: Es un gran ejemplo de cómo la segmentación no es sólo decidir quiénes son los segmentos, sino su rol en el valor de negocio. Es algo que deberíamos tener siempre presente, especialmente al integrar funcionalidades de IA.
Laura Klein: Esto aplica a todas las funcionalidades, pero con IA es aún más relevante.
Hannah Clark: ¡Tengo tanto para discutir ahí! Pero bueno. Como ya nos acercamos al final…
Quería hablar un poco de cómo divertirse en el proceso de investigación. Siento que se la ve como algo seco, o una pérdida de tiempo. Pero hay mucho valor en hablar con personas, obtener insights, y también mucha diversión, y creo que tú lo habías mencionado. ¿Cuál ha sido tu proyecto de investigación más divertido?
Laura Klein: A veces acaban siendo manualidades, y si eres como yo, eso es divertido. No todos adoran las hojas Excel o las tablas dinámicas y los datos, aunque yo sí, los disfruto. Lo cualitativo puede ser realmente creativo.
Si eres creativo, encontrar maneras innovadoras de responder problemas es genial. Muchas veces, por ejemplo con investigación presencial, hay ejercicios interesantes de diseño de servicios, como montar un hospital falso para estudiar flujos de personas, equipos, tecnología… En vez de ir a uno real donde la gente está grave, montas uno de prueba.
He seguido a personas en sus trabajos y disfruto mucho ver cómo trabajan. No se trata de interrogarlos, sino de entender cómo viven su día a día. Quizás debí haber sido antropóloga.
Diseñar actividades co-creativas es muy divertido, a veces con legos. Busca “co-design activities”, son geniales. Puedes hacer que la gente dibuje, mapee, trabaje contigo.
Toda esa mezcla de métodos cualitativos no solo es divertida, te ayuda a comprender el modelo mental de la persona, cómo piensa sobre lo que quiere hacer. Es como asomarse a la mente del usuario. Hay partes menos divertidas: a veces los tests de usabilidad duelen, cuando lo que construiste no sale como esperabas. Conozco ingenieros que no podían mirar las grabaciones porque parecían vídeos de rehenes—el usuario lo pasa mal, es duro de ver. Duele ver a otra persona luchar con algo que hiciste.
Hannah Clark: Oh. Pero es un dolor necesario.
Laura Klein: Y sabes, lo divertido es arreglarlo y ver que el siguiente grupo lo usa sin problemas. Si no superas el trago amargo, los que sufren serán los usuarios y no comprarán tu producto.
Así que lo divertido es detectar un problema, comprenderlo, tener el momento “ajá” y luego crear una solución genial. A mí me encanta. Pero claro, a mí me gustan las tablas dinámicas. ¡Qué le voy a hacer!
Hannah Clark: Personalmente, me interesa mucho hablar con gente y ser testigo de lo que pasa, como “mosca en la pared”. Por eso me encanta el pódcast. Y hablando de diversión, esta charla ha sido muy divertida para mí. Me ha encantado hablar contigo. Seguro que todos han disfrutado y, ¿dónde pueden seguirte online?
Laura Klein: Ahora mismo, solo realmente me pueden seguir en LinkedIn. Estoy en Blue Sky, pero allí no hablo mucho de trabajo, quizás lo haga en el futuro. En LinkedIn sí. Espero, eventualmente este año, lanzar un curso en Maven sobre datos cualitativos y cuantitativos y cómo combinarlos.
Así que si quieres aprender conmigo directamente, será mucho más largo y detallado, con ejercicios y plantillas. He escrito un par de libros, aunque ya tienen su tiempo. Puedes leerlos si quieres. Y a veces participo en un pódcast sobre contratación que se llama «What is Wrong with Hiring?»
Y trata de contratación para diseño, investigación y producto.
Hannah Clark: Si eres igual en ese pódcast que aquí, no puedo esperar a escucharlo.
Laura Klein: Ahí digo muchas más palabrotas. Lo siento.
Hannah Clark: Eso me convence más. Ya estoy suscrita.
Bueno, muchas gracias Laura por sacar el tiempo. Ha sido divertidísimo y muy informativo. Estoy deseando leer los comentarios de la gente sobre este episodio.
Laura Klein: Muchas gracias. Ha sido genial estar aquí.
Hannah Clark: Gracias por escucharnos. Para más insights, guías de cómo hacerlo y reseñas de herramientas, suscríbete a nuestro newsletter en theproductmanager.com/subscribe. Puedes escuchar más conversaciones como esta suscribiéndote a The CPO Club, en tu plataforma de pódcast favorita.
