Sesgo en la Investigación: ¿Eres tu propio peor enemigo?
Como profesionales de producto, a todos nos gusta pensar que nos levantamos cada mañana y buscamos la verdad para servir mejor a nuestros usuarios y cumplir con nuestros KPI. A menudo, utilizamos metodologías de investigación para ayudarnos a llegar al fondo de las cosas e informar nuestras decisiones de producto. Pero aquí está el detalle: por mucho que lo intentemos, somos susceptibles de afectar la validez de nuestros resultados por sesgos en la investigación.
Es un cuento tan antiguo como el tiempo, y tanto si eres investigador académico como si eres gestor de producto, es crucial comprender los entresijos de los sesgos que pueden desviarte del camino. Echemos un vistazo a qué sesgos existen exactamente y cómo mitigar su efecto en tu trabajo.
¿Qué es el sesgo en la investigación?
El sesgo en la investigación, dicho simplemente, es cualquier acción o mentalidad durante el proceso de investigación que afecta tu capacidad para obtener resultados objetivos. Es importante destacar que el sesgo es extremadamente extendido: puede ocurrir tanto en investigaciones cualitativas como cuantitativas (sí, así es, incluso los números pueden ser distorsionados por las historias que construimos en torno a ellos).
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
El sesgo puede colarse en cualquier parte del proceso de investigación:
- Definición de preguntas de investigación
- Recopilación de datos
- Selección de los participantes del estudio
- Análisis de datos
- Resumir y comunicar los hallazgos
Por lo general, los sesgos son involuntarios: no somos conscientes de que nuestra mentalidad, o la forma en que llevamos a cabo nuestro estudio, está influyendo en la validez de nuestros resultados. El primer paso para prevenir el sesgo es admitir ante nosotros mismos que, independientemente de nuestras mejores intenciones, toda persona en el universo que realiza investigación es susceptible a sesgos. Las buenas intenciones son útiles, pero no cumplen completamente la tarea de proteger la validez de los resultados de nuestro estudio.
Sigue leyendo para entender mejor los sesgos que afectan nuestro trabajo y cómo limitar sus efectos.
Tipos de sesgo en la investigación que pueden descarrilar tu trabajo
Estoy un poco sesgado (juego de palabras sólo un poco intencionado), pero esta es la parte divertida e interesante. Ahora exploraremos todas las formas en las que podemos generar involuntariamente resultados sesgados en la investigación gracias a las curiosas formas en que funcionan nuestros cerebros, y los cerebros de los participantes en el estudio. (No te preocupes: si sigues leyendo, también aprenderás cómo evitarlos.)
Sesgo de memoria
¿Es raro tener un sesgo favorito? Raro o no, este es el mío. Es mi favorito porque alude a los misterios de la mente: lo que recordamos de un evento o una serie de eventos no siempre es completo o preciso.
El sesgo de memoria se refiere a nuestra tendencia a recordar subconscientemente eventos pasados con ciertas inexactitudes, como detalles omitidos. Es más probable que esto ocurra en casos donde se abordan eventos desagradables o cuando se habla de hechos que ocurrieron hace mucho tiempo, pero en realidad puede suceder en cualquier momento.
Ejemplo de sesgo de memoria
Por ejemplo, si estás realizando una entrevista de usuario sobre los hábitos de ejercicio de alguien y preguntas por una app que esa persona no ha usado en un año, su capacidad de recordar exactamente lo que hizo en la app y cómo sucedió todo es limitada. O, si indagas sobre la experiencia de alguien en la consulta del médico tras una lesión, puede que su mente le haya hecho el favor de difuminar algunos de los detalles menos agradables para evitarle angustia psicológica.
Existen innumerables ejemplos, pero la cuestión de fondo es que nuestros cerebros son narradores de historias. Por muchas razones, ya sea por el paso del tiempo o por cómo queremos percibir ciertos acontecimientos en comparación con cómo ocurrieron realmente, lo que recordamos no siempre es exactamente lo que pasó, y esto puede afectar los resultados de nuestra investigación cuando los participantes sufren sin saberlo el sesgo de memoria.
Sesgo de selección
Por si creías que el sesgo sólo proviene de tu muestra de participantes, este va por ti, la persona que investiga. Probablemente ya sabes que la forma en la que defines quiénes pueden participar en tu estudio afecta enormemente los resultados. Si investigas hábitos de sueño y sólo entrevistas o encuestas a padres de recién nacidos, vas a obtener hallazgos que no necesariamente se aplican a la población general (bostezo).
En el sesgo de selección, ciertas nociones preconcebidas o apego a hipótesis nos llevan a definir la muestra de investigación de tal manera que favorezca los resultados que esperamos u obtenemos.
Ejemplo de sesgo de selección
Supongamos que tu empresa tiene una herramienta de automatización de marketing y quieres entender por qué tus competidores te superan en ingresos. Tú, como responsable de producto, puedes tener la hipótesis de que las funciones de automatización de email, en concreto, son las que impulsan el crecimiento de tus competidores.
Esto puede llevarte a centrarte en reclutar participantes que se centren mucho en el email en sus funciones, lo que puede llevarte a pasar por alto propuestas de valor y puntos de dolor en otras áreas de la automatización de marketing, simplemente porque no reclutaste suficientes participantes que estén activos en otras áreas del producto.
Sesgo de confirmación
Si alguna vez has participado en un proyecto en el que quien lideraba el esfuerzo de investigación solo estaba interesado en la retroalimentación de los usuarios que confirmaba sus propias suposiciones, has visto el sesgo de confirmación en acción. Cuando se analiza cualquier tipo de dato, ya sea cualitativo o cuantitativo, nuestra tendencia humana es favorecer o exagerar la importancia de la información que confirma nuestras hipótesis o creencias. A esto se le llama sesgo de confirmación, y es muy común. De hecho, he llegado a creer que la manera en la que trabajan los equipos de producto hace que el sesgo de confirmación sea increíblemente probable si no tomamos medidas para combatirlo de frente.
En producto, a menudo se nos pide tomar grandes decisiones y asumir riesgos importantes—rápido. Es raro conocer a un diseñador o a un responsable de producto que no tenga una opinión fuerte sobre qué iteraciones de características o cambios de rumbo acercarán más al equipo a sus objetivos generales. Por esa razón, la investigación de usuarios a veces se convierte en una casilla para marcar, y los resultados se presentan en una narrativa llena de sesgo de confirmación.
¿Cómo es eso posible? Lo más probable es que tu estudio de investigación de usuarios incluya muchas ideas diferentes. Al analizar los datos, un proceso que normalmente tiene poca supervisión dentro de las empresas, puedes descartar inconscientemente puntos de datos que contradicen lo que crees y presentar una narrativa que no refleja la realidad. ¡Vaya!
Ejemplo de sesgo de confirmación
Imagina que un investigador está realizando entrevistas de usuario sobre una característica del producto que usa IA para generar respuestas a mensajes de correo electrónico. En este contexto, si el investigador utiliza preguntas orientadas como "¿No le encontrarías valor a esta función?" o "¿Qué tan genial sería ahorrar tiempo escribiendo correos?", estaría generando sesgo de confirmación porque está influyendo en los resultados de la investigación con su propia opinión sobre el valor de la característica.
Sesgo de medición
Ya sea que estés haciendo investigación cualitativa o cuantitativa, es importante que la forma en que estás midiendo tus puntos de datos tenga sentido y sea consistente en todo momento. Cuando hay un problema fundamental con las mediciones que usamos, introducimos resultados potencialmente falsos—esto es el sesgo de medición.
Ejemplo de sesgo de medición
Supón que estás realizando un estudio cuantitativo de usabilidad para una funcionalidad que se supone debe reducir la tasa de abandono en un punto clave del flujo principal de tu producto. Lo que mides a lo largo de cientos de pruebas es la capacidad de un usuario para completar con éxito el flujo en la nueva iteración, y buscas una mejora frente a la versión anterior de la funcionalidad. Tu equipo debe dedicar tiempo a pensar exactamente qué significa completar con éxito el flujo: ¿significa solo superar la iteración? ¿O hacerlo todo? ¿Implica obtener un resultado satisfactorio?
¡Como puedes ver, la forma en que defines la métrica en sí puede influir enormemente en tus resultados!
Sesgo del entrevistador
Cuando se realizan entrevistas de usuario para un estudio cualitativo, las preguntas que el entrevistador formula y la manera en que las hace pueden ser terreno fértil para el posible sesgo.
Ejemplos de sesgo del entrevistador
Aquí tienes algunos ejemplos de cómo el sesgo del entrevistador puede colarse en cualquier estudio de investigación:
- El entrevistador hace preguntas en función de sus suposiciones sobre cada participante en lugar de utilizar un conjunto uniforme de preguntas para todas las personas del estudio.
- El entrevistador formula preguntas orientadas que llevan al participante a responder de una manera que confirma las hipótesis del investigador.
- El entrevistador deja entrever una opinión o juicio de valor en la forma en que plantea la pregunta, lo que anima al participante a responder de forma favorable (también llamado sesgo de deseabilidad social por parte del participante).
Sesgo de publicación
¿Qué haces tú, como profesional de producto, cuando los resultados de tu investigación no reflejan los hallazgos que esperabas? Lo creas o no, muchos investigadores y profesionales de producto suelen racionalizar y deciden no compartir los resultados de la investigación con sus equipos cuando esto sucede, y a esto se le llama sesgo de publicación.
Ejemplo de sesgo de publicación
¿Cómo se ve esto? Se ve como cuando tú o alguien de tu equipo dice: “Bueno, solo lo probamos con 15 usuarios—no creo que signifique nada. Dejémoslo por ahora.”
El peligro aquí es que estás ocultando información valiosa a tu equipo cuando entra en conflicto con tus esperanzas y creencias. Cuando lo haces, la omisión de información puede hacer que tu equipo vaya a toda velocidad en la dirección equivocada.
Sesgo de muestreo
¿A quién reclutas exactamente para tu estudio? Lo creas o no, esta suele ser una de las variables más importantes para determinar si obtienes resultados sólidos y confiables. El sesgo de muestreo ocurre cuando recopilas datos de una muestra que no es matizada ni representativa, y luego los resultados tienen sesgos potenciales que pueden llevarte por el camino equivocado.
Ejemplo de sesgo de muestreo
En este ejemplo, estás realizando una encuesta sobre hábitos de cocina para ayudarte a idear nuevas características para tu aplicación de recetas. Si los encuestados provienen de un grupo reclutado en un campus universitario, básicamente estás analizando los hábitos de cocina de jóvenes que estudian a tiempo completo. ¿Y las familias? ¿Los jubilados?
Una de las cosas más importantes que haces en el proceso de diseño de la investigación es asegurarte de que estás trabajando con una muestra representativa.
Sesgo de análisis
Luego de ejecutar tus métodos de recolección de datos, entras en la fase de análisis. Aquí tomarás todo tipo de decisiones: ¿qué datos son importantes? ¿Cuáles son los más importantes? ¿Qué significa todo esto cualitativamente? ¿Estadísticamente? A menudo, tomamos estas decisiones de una manera que favorece nuestras hipótesis originales o los resultados deseados.
Ejemplo de sesgo de análisis
Un ejemplo de sesgo de análisis sería si te descubres diciendo cosas como, “Eso no es importante. Solo apareció unas cuantas veces. Son solo valores atípicos.” Aunque esto podría ser cierto dependiendo del estudio, también puede ser un sesgo de análisis filtrándose y llevándote a ignorar un matiz importante en tus resultados de investigación.
Estos son solo algunos ejemplos de sesgo en la investigación: realmente hay innumerables formas en que el sesgo se manifiesta en los proyectos de investigación. Así que la siguiente pregunta es, ¿qué podemos hacer al respecto?
Evitar el sesgo en el diseño de estudios de investigación
A estas alturas, probablemente estás un poco preocupado, preguntándote si tal vez la investigación es inútil debido a nuestra tendencia tan humana a sucumbir a prácticas sesgadas. Afortunadamente, ese no es el caso. Ahora que eres consciente de los posibles sesgos que acechan en cada rincón bien intencionado, puedes tomar medidas para reducir el sesgo en tu investigación de usuarios y guiar a tu equipo de producto en la dirección correcta. Echemos un vistazo a algunas formas de lograrlo.
Aborda meticulosamente el diseño de tu estudio de investigación
Esta es la versión de la investigación de usuarios de empezar con buen pie. Cuando diseñas tu estudio, tomas una serie de decisiones que, si las haces correctamente, pueden disminuir la probabilidad de posibles sesgos.
Aquí tienes algunos consejos:
- Define tus grupos de usuarios de la manera más amplia posible, sin dejar de dirigirte a tu población objetivo
- Elige tus métodos de investigación sabiamente: asegúrate de que la metodología refleje lo que quieres aprender
- Si vas a realizar entrevistas de usuario, redacta una guía de entrevistas antes de comenzar e intenta asegurarte de que preguntas lo mismo a todos
Evita los conflictos de interés en todas las etapas de la investigación de usuarios
¿Ese product manager que lleva todo el año insistiendo en la necesidad de un cambio específico? Idealmente, esa no debería ser la persona que lidere el estudio de investigación. Aunque la objetividad sigue siendo posible en este caso, los conflictos de interés como este suelen dificultar mucho que las personas recojan datos y analicen los resultados de manera imparcial.
Una alternativa aquí sería que otra persona—quizás un diseñador o un investigador de usuarios del equipo—diseñe y lidere el estudio, pero consulte con el jefe de producto mencionado a lo largo del proceso. En general, existe una regla basada en la evidencia: cuanto menos apego tenga alguien al resultado deseado, más probable es que ofrezca hallazgos de investigación fiables.
Reconoce que el sesgo de investigación aplica a todas las personas que realizan investigaciones
Lo digo con el mayor respeto posible: aunque probablemente eres especial en muchos sentidos, cuando se trata de la posibilidad de introducir sesgo en un estudio—no lo eres.
Todos los sesgos que hemos revisado son tendencias basadas en evidencia que todas las personas tienen. Cuando adoptas la mentalidad de que incluso tú podrías, en teoría, sufrir una variedad de sesgos—¡estás en el camino correcto para prevenirlos!
Realiza siempre una retrospectiva de la investigación
Está bien cometer errores en la vida, y lo mismo ocurre cuando se trata de la investigación de usuarios. Cada vez que realices un estudio, asegúrate de sentarte con tu equipo y repasar la metodología de principio a fin—¿qué podrías haber hecho de otra manera? ¿Es posible que algún sesgo sigiloso se haya colado?
Por lo general, no descubrirás que tu estudio sea totalmente poco fiable, pero sacarás a la luz pequeños ajustes que podrías aplicar en tu próximo estudio para aumentar la fiabilidad de tu investigación de usuarios en el futuro.
El sesgo en la investigación existe, pero puede gestionarse.
Ahora que eres consciente de lo que puede hacerte tropezar en cuanto a lograr una investigación de usuarios fiable, estás listo para salir y hacer un buen trabajo. A riesgo de sonar algo ridículo, te confesaré un último secreto: tengo un pequeño post-it en mi escritorio que simplemente dice '¡sesgo!'. Descubro que eso me ayuda a mantener en mente todo lo que hemos hablado.
Aunque una nota adhesiva alarmante no sea tu método preferido, encuentra la forma de mantener la eliminación del sesgo en mente cuando realices investigación de usuarios, y estarás en buen camino para aportar ideas que ayuden a tu equipo a alcanzar sus objetivos.
No olvides suscribirte a nuestro boletín para más recursos y guías sobre gestión de producto, además de los últimos pódcast, entrevistas y otros conocimientos de líderes y expertos del sector.
