5 Sesgos de Investigación de Producto y Cómo Evitarlos
¿Cuándo fue la última vez que los clientes te pidieron desarrollar una función durante una entrevista, pero ninguno terminó usándola? Estoy seguro de que absolutamente todos los PM han tenido al menos una ronda de entrevistas de usuario que terminaron en un fracaso monumental.
La siguiente pregunta natural es, ¿qué salió mal durante la entrevista? Lo más probable es que nos hayamos topado con uno de los muchos sesgos de investigación que nos llevaron a tomar malas decisiones de producto.
Dirigir un producto basándose en datos sesgados es peligroso. Por suerte, puedes evitarlo aprendiendo qué es el sesgo, por qué es arriesgado y aprendiendo de estos cinco ejemplos de sesgos en investigación que condujeron a resultados indeseables.
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
¿Qué es el sesgo en la investigación de productos y cuáles son los riesgos?
El término sesgo se refiere al conjunto de errores que los equipos de producto y marketing cometen al realizar investigaciones. El resultado de estos errores suele ser un análisis incorrecto que lleva a tomar decisiones que no representan el verdadero estado de las cosas para su producto, mercado y usuarios.
La toma de decisiones de un product manager tiene un impacto enorme. Una sola decisión puede hacer que toda la línea de productos gire hacia un nuevo mercado o una nueva persona objetivo. También existen decisiones diarias relacionadas con la ejecución que impactan en la eficacia de los equipos de ingeniería, marketing, IA y otros.
Por lo tanto, tomar decisiones basadas en datos sesgados es especialmente peligroso, considerando que puedes dirigir a la gente en la dirección equivocada y fracasar estrepitosamente como PM.
Por suerte, mitigar el sesgo de investigación no es tan difícil como puede parecer. Lo difícil es admitir que tus datos están sesgados. La mitigación en sí es relativamente sencilla.
Tipos de sesgos de investigación en el análisis de datos cuantitativos
Comencemos con los tipos comunes de sesgos que se encuentran al trabajar con datos. Generalmente están relacionados con errores en la forma en que recopilas, analizas y actúas en base a datos cuantitativos.
La investigación científica clásica identifica una amplia variedad de sesgos de investigación, incluyendo:
- Sesgo de publicación
- Sesgo de medición
- Sesgo de análisis
- Sesgo de diseño
- Sesgo del observador
- Sesgo de recuerdo
- Sesgo de deseabilidad social
- Sesgo demográfico y cultural
- Sesgo de respuesta, entre otros.
Pero estos son un poco demasiado teóricos para nosotros. Así que me centraré en los tres tipos de sesgos con los que te encontrarás en la vida real como product manager.
#1: Sesgo de muestreo y de selección
Como su nombre indica, el sesgo de muestreo consiste en obtener datos incorrectos debido a la muestra que has seleccionado.
Si tu muestra contiene datos sesgados hacia una determinada característica, entonces el análisis que realices no será representativo de toda la población general. Acabarás extrapolando incorrectamente el comportamiento de esa muestra sesgada y aplicándolo a todo el conjunto de datos.
Netflix es una de las grandes tecnológicas que ha sido culpable de sesgo de muestreo. Las personas en Estados Unidos adoraban su algoritmo de recomendaciones ya que sugería programas relevantes a sus intereses. Sin embargo, al resto del mundo no le gustaba. Las sugerencias eran simplemente terribles.
¿Cuál fue la razón detrás de ello? Aparentemente, el modelo de IA entrenado para hacer estas sugerencias consumía únicamente datos de los espectadores estadounidenses y sugería cosas relevantes solo para los norteamericanos.
Cómo mitigar el sesgo de muestreo
En el caso de Netflix, simplemente empezaron a alimentar sus modelos con datos internacionales y los reentrenaron usando una población de estudio menos sesgada.
Pero si buscas un enfoque más sistemático para mitigar este tipo de sesgo, puedo sugerir una aproximación poco ortodoxa que me ha funcionado en el pasado: realizar lo que los estadísticos llaman un análisis de clústeres.
Un análisis de clústeres puede encontrar rasgos comunes en tu población de muestra y agruparlas en función de estos rasgos.
En la imagen anterior puedes ver que la población está claramente dividida en tres clústeres diferentes según los rasgos elegidos.
Lo que tienes que hacer es seleccionar una amplia variedad de rasgos y crear estos gráficos para cada uno. Tus datos estarán sesgados y propensos al sesgo de muestreo si ves que, para ciertos rasgos, solo tienes un solo clúster. En el ejemplo de Netflix, el rasgo de país del espectador tenía un solo clúster: Estados Unidos.
¡Cuidado, eso sí! A veces, es natural que toda tu población tenga un único clúster para un rasgo si este describe su perfil. Por ejemplo, si realizamos un análisis de clústeres para los lectores de theproductmanager.com, la mayoría serían product managers. Esto es natural, ya que los PM son el público objetivo al que está dirigido el sitio. Así que, siempre deberías eliminar este tipo de rasgos de tu análisis.
#2: Sesgo Procedimental
Este tipo de sesgo se refiere a los errores que has cometido en el diseño de tu estudio y en el proceso de investigación. Puede deberse al uso de herramientas incorrectas, fórmulas estadísticas equivocadas o incluso a tus métodos de recopilación de datos.
Por mi experiencia, el sesgo procedimental es especialmente común en las encuestas a usuarios. Si tienes preguntas sugestivas, tus encuestados probablemente caerán en la trampa de tu “empuje” hacia un tipo determinado de respuesta.
Así es como suele verse una típica pregunta sugestiva en una encuesta:
¿Cuánto amas nuestro producto?
Por la forma en que la redactas, estás sugiriendo a los usuarios que den una respuesta más positiva, incluso si en realidad no les gusta lo que haces.
La variante más neutral de la misma pregunta sería así:
¿Cómo calificarías nuestro producto?
En este caso, dejamos claro que también aceptas respuestas negativas.
Cómo Mitigar el Sesgo Procedimental
La mejor forma de asegurarte de que tu investigación está libre de sesgo procedimental es escoger las herramientas y metodologías adecuadas para el tipo específico de análisis que estás realizando.
Aleatoriza las Respuestas
Si estás realizando encuestas, además de evitar preguntas sugestivas, también necesitarás aleatorizar el orden de las preguntas, ya que existe la posibilidad de que la gente se aburra a mitad del cuestionario y empiece a dar respuestas sin sentido. Sin aleatorización, las últimas preguntas recibirán casi ninguna respuesta útil.
Presta Atención a la Significancia Estadística
Además, ten en cuenta que las encuestas son parcialmente cuantitativas por naturaleza. Así que, no confíes demasiado en el análisis estadístico de esos datos. Por ejemplo, si mejoraste cierta funcionalidad y tu puntaje NPS aumentó un 2%, esa diferencia es demasiado pequeña para considerarla un resultado estadísticamente significativo. Por otro lado, un aumento al doble sí sería fiable.
Elige las Herramientas Adecuadas
Ahora, hablemos también de la selección incorrecta de herramientas. Si estás midiendo la tasa de conversión de tu página de pago, utilizar una herramienta de mapas de calor crearía sesgo procedimental, ya que los datos que obtienes de ella no son fiables.
En esos casos, lo mejor es usar software de mapas de calor para diagnosticar el problema de comportamiento y hacer pruebas A/B para evaluar el cambio. Para la medición de la tasa de conversión (CR), en cambio, deberías apoyarte en herramientas de analítica de producto como Amplitude o GA4.
#3: Sesgo de Supervivencia
Los métodos de investigación sesgados nos acompañan desde hace tiempo. Hay una historia interesante sobre los bombarderos estadounidenses de la Segunda Guerra Mundial. Cada vez que los bombarderos regresaban a la base, los ingenieros examinaban los agujeros de las balas antiaéreas en el fuselaje y lo representaban así:
El curso de acción lógico era reforzar las zonas con más impactos de bala usando placas de blindaje más gruesas. Pero este refuerzo tuvo casi ningún efecto en la supervivencia de los bombarderos estadounidenses.
Después de analizar cuidadosamente el caso, los ingenieros se dieron cuenta de que sólo estaban estudiando los aviones que lograban sobrevivir y regresar a la base. Así que, en realidad, las partes que debían reforzar eran aquellas donde los aviones no tenían agujeros de bala.
Cómo Mitigar el Sesgo de Supervivencia
Pongamos un ejemplo de aviones en la Segunda Guerra Mundial a productos digitales. Como PM, al gestionar tu proceso de recopilación de datos, probablemente te enfrentes a estas dos situaciones potenciales donde el sesgo puede colarse:
Filtrar Datos Para el Análisis
Al analizar el comportamiento de los usuarios, puedes acabar filtrando a aquellos que han realizado ciertas acciones que no son relevantes para tu análisis.
Me encontré con este caso hace poco. Intentábamos mejorar la tasa de activación de nuestro producto de marketing de influencers. El equipo de analítica de datos elaboró un informe de embudo donde las tasas de conversión de un paso de activación a otro eran bastante altas (alrededor del 50-70%).
Estos datos nos desconcertaron porque veíamos una tasa general baja de personas interactuando con el producto en comparación con el número de registros. Tras analizar los datos cuidadosamente, entendimos que el equipo de datos había aplicado un filtro y solo había dejado los datos de nuestros usuarios más activos.
Por supuesto, los usuarios avanzados eran probablemente quienes habían superado el flujo de activación con facilidad. Por eso, las tasas de conversión en el embudo no representaban realmente la situación real. Cuando analizamos los embudos considerando todos nuestros registros, las tasas bajaron significativamente.
Lección aprendida:
- Sempre considera el contexto y el objetivo del análisis al filtrar tus datos.
Análisis de datos de encuestas preseleccionadas
Otro caso interesante en el diseño de investigaciones con el que tuve que lidiar recientemente estuvo relacionado con una encuesta que realizamos para entender las necesidades y problemáticas de los especialistas en marketing de influencers. De nuevo, los resultados del estudio nos dejaron algo perplejos porque las necesidades de los encuestados no coincidían con los hallazgos de nuestras entrevistas a usuarios.
El problema aquí fue nuestro proceso de preselección para los usuarios que realizaron la encuesta. Además de preguntar si eran influencers (para evitar respuestas de personas no relevantes), también preguntamos por el tamaño de su audiencia/seguidores.
Por algún motivo, descalificamos a los influencers con menos de 50,000 seguidores y solo consideramos las respuestas de los que tenían una audiencia relativamente mayor. Nuestro producto se suponía que también debía dirigirse a influencers pequeños. Así que los datos que obtuvimos de la encuesta no eran precisos para nosotros.
Lecciones aprendidas:
- Contrasta tus hallazgos de investigación con datos cualitativos. Si hay una gran diferencia entre los resultados de ambos, es posible que hayas cometido algún error.
- Ten cuidado con tu proceso de preselección; podrías terminar descalificando también a usuarios relevantes.
Tipos de sesgo en la investigación cualitativa
Ya cubiertos los errores sistemáticos vinculados a la investigación cuantitativa, pasemos a otra categoría importante de investigación: los estudios cualitativos.
Para los gestores de producto, el tipo más importante de investigación cualitativa es entrevistar a los usuarios. Así que me voy a centrar en los dos grandes sesgos que sueles encontrar al hablar con tus clientes y usuarios.
Nota: Estos son también los dos tipos de sesgos que puedes gestionar y mitigar utilizando una adecuada herramienta de ideación de productos.
#4: Sesgo de confirmación
Una de las mejores cualidades de los gestores de producto es creer firmemente en algo cuando los demás no lo hacen. Así es como se crean productos innovadores y se revoluciona una industria. Sin embargo, tender a aferrarse a sus opiniones también es una gran debilidad para los PM.
La razón es que los PM suelen sufrir del sesgo de confirmación. Esto describe una situación en la que tratas activamente de escuchar las partes de la conversación que coinciden con tus creencias y descartas el resto.
Esto es bastante peligroso para quienes luego toman decisiones estratégicas sobre cómo será el producto y cómo llevarlo al mercado. Cuando el sesgo de confirmación está presente, tus entrevistas a usuarios pierden completamente su valor y terminas tomando decisiones a ciegas (y te puedes olvidar de la centralidad en el usuario).
Cómo mitigar el sesgo de confirmación
Debo admitirlo, yo también he "practicado" el sesgo de confirmación. Pero existe una solución que me ha ayudado bastante a mitigarlo.
Puedes llamarlo la "revisión de código" de las entrevistas a usuarios. Es un proceso en el que personas de producto revisan algunas entrevistas de los demás y sugieren añadir o eliminar aprendizajes.
Si eres el único gestor de producto en la empresa (algo habitual en startups pequeñas), haz este ejercicio con tu fundador. No olvides que los fundadores, esencialmente, también son gente de producto.
#5: Sesgo del participante
Mientras que el sesgo de confirmación es un "monstruo" peligroso, es de los más fáciles de corregir. El siguiente del que quiero hablar, sin embargo, es mucho más complicado de mitigar.
El sesgo del participante ocurre cuando tus encuestados dicen cosas basándose en lo que creen que quieres escuchar en vez de lo que realmente piensan sobre el tema.
Por ejemplo, cuando realizas una entrevista, puedes preguntar a los participantes si comprarían tu producto en caso de que añadas la funcionalidad que acaban de solicitar. ¿Adivinas cuál será la respuesta? Por mi experiencia, la gran mayoría dirá que sí.
¿Significa esto que tienes que correr al equipo de ingeniería y pedirles que desarrollen esa funcionalidad cuanto antes? ¡No! La pregunta que has hecho es errónea y, de forma natural, lleva a las personas a decir algo que te complace.
Estoy de acuerdo, tu funcionalidad podrá cubrir un gran dolor para algunos de estos entrevistados y terminarán pagando por ello. Pero la mayoría simplemente la usará gratis o no la usará en absoluto.
Aparte de hacer preguntas de investigación erróneas, los participantes del estudio también te darán respuestas sesgadas si les pagas por el estudio. Normalmente tienden a “ganarse el pago” dando respuestas favorables para complacerte, sin darse cuenta de que están haciendo más daño que bien.
Cómo mitigar el sesgo de los participantes
Como ya mencioné, el sesgo de los participantes es bastante difícil de mitigar. Esto se debe a que realmente no sabes si el participante está siendo sincero contigo o no.
Pero, hay dos tácticas que pueden ayudarte a disminuir las posibilidades de obtener respuestas incorrectas.
Hacer preguntas sobre su experiencia pasada
Si preguntas sobre un evento teórico en el futuro, lo más probable es que los entrevistados digan cosas que nunca harán realmente en la vida real.
Si le preguntas a alguien el 2 de enero si estaría dispuesto a ir al gimnasio durante 12 meses seguidos, te dirá que sí. Pero todos sabemos que la mayoría de las personas termina abandonando la membresía después de unas pocas visitas.
Para evitar esto, los PM suelen hacer preguntas sobre cosas que han sucedido en el pasado. De esta manera, el PM puede aprender sobre el comportamiento del usuario basándose en lo que los usuarios han hecho, no en lo que desearían haber hecho.
Establecer las expectativas correctas
A veces, la naturaleza de tu pregunta o estudio no te permite preguntar sobre el pasado de tus usuarios. Por ejemplo, quieres saber cómo se sentirían si aumentases el precio de tu producto.
En ese caso, puedes dejar claro que está bien recibir respuestas negativas, y que su feedback honesto es la única forma de que realmente “se ganen su pago”.
Reconocer tus sesgos es el 80% de la batalla
Así es. Lo peor de tener sesgos es que la mayoría de nosotros cree genuinamente que tiene la razón. Así que el paso más importante que puedes dar para mitigar tus propios sesgos es reconocerlos.
En el momento en que haces esto, empezarás de forma natural a combatirlos y finalmente llegarás a un estado libre de sesgos. (¡O al menos a un estado de "sesgos gestionados"!)
No olvides suscribirte a nuestro boletín para más recursos y guías de gestión de productos, además de los últimos pódcast, entrevistas y otros conocimientos de líderes y expertos de la industria.
