Enviesamento na Investigação: Será Você o Seu Próprio Pior Inimigo?

Enquanto profissionais de produto, todos gostamos de pensar que nos levantamos todas as manhãs e procuramos a verdade para melhor servir os nossos utilizadores e cumprir os nossos KPIs. Muitas vezes, utilizamos metodologias de investigação para nos ajudarem a chegar ao fundo das questões e a fundamentar as decisões de produto. Eis o problema: por muito que tentemos, somos suscetíveis de afetar a validade dos nossos resultados através de enviesamentos na investigação.

É uma história tão antiga como o tempo e, quer seja um investigador académico ou um gestor de produto, é crucial compreender todos os aspetos dos enviesamentos que nos podem desviar do caminho certo.  Vejamos exatamente que enviesamentos existem e como podemos mitigar o seu efeito no nosso trabalho. 

O que é o enviesamento na investigação?

O enviesamento na investigação, em termos simples, é qualquer ação ou mentalidade durante o processo de investigação que afete a sua capacidade de obter resultados objetivos. É importante notar que o enviesamento na investigação é extremamente abrangente: pode ocorrer tanto na investigação qualitativa como na quantitativa (sim, é verdade — até os números podem ser distorcidos pelas histórias que construímos à sua volta). 

O enviesamento pode infiltrar-se em qualquer parte do processo de investigação:

• Definição das questões de investigação
• Recolha de dados
• Escolha dos participantes no estudo
• Análise de dados
• Resumo e comunicação das conclusões

Os enviesamentos são geralmente não intencionais — não temos consciência de que a nossa mentalidade, ou a forma como conduzimos o nosso estudo, está a influenciar a validade dos nossos resultados. O primeiro passo para prevenir o enviesamento na investigação é admitirmos que, independentemente das nossas melhores intenções, todas as pessoas no universo que fazem investigação são suscetíveis ao enviesamento. As boas intenções são importantes, mas não são suficientes para proteger a validade dos resultados do nosso estudo.

Continue a ler para compreender melhor os enviesamentos que afetam o nosso trabalho e como limitar os seus efeitos. 

Tipos de enviesamento na investigação que podem prejudicar o seu trabalho

Sou um pouco tendencioso (o trocadilho foi apenas ligeiramente intencional), mas esta é a parte divertida e interessante. Agora, vamos explorar todas as formas como podemos gerar involuntariamente resultados de investigação enviesados, graças às formas curiosas como funcionam os nossos cérebros e os cérebros dos participantes nos nossos estudos. (Não se preocupe: se continuar a ler, também aprenderá a evitá-los.)

Enviesamento de memória

É estranho ter um enviesamento favorito? Estranho ou não, este é o meu. É o meu favorito porque alude aos mistérios da mente: aquilo de que nos lembramos de um acontecimento ou de uma série de acontecimentos nem sempre é completo ou exato.  

O enviesamento de memória refere-se à nossa tendência para nos lembrarmos subconscientemente de acontecimentos passados com determinadas imprecisões, como detalhes omitidos. É mais provável que isto aconteça quando estamos a abordar acontecimentos desagradáveis ou coisas que aconteceram há muito tempo — mas, na verdade, pode acontecer a qualquer momento.  

Exemplo de enviesamento de memória

Por exemplo, se estiver a realizar uma entrevista com um utilizador sobre os hábitos de exercício de alguém e perguntar sobre uma aplicação que essa pessoa não utiliza há um ano, então a sua capacidade de se lembrar exatamente do que fez na aplicação e de como tudo aconteceu é limitada. Ou, se estiver a perguntar sobre a experiência de alguém no consultório médico após uma lesão, a sua mente pode ter-lhe feito um favor ao tornar alguns dos detalhes menos agradáveis um pouco difusos, de modo a evitar sofrimento psicológico.

Existem inúmeros exemplos, mas a conclusão é que os nossos cérebros são contadores de histórias. Por inúmeras razões, quer estejam relacionadas com a passagem do tempo ou com a forma como queremos percecionar determinados acontecimentos em comparação com a forma como realmente aconteceram, aquilo de que nos lembramos nem sempre corresponde exatamente ao que aconteceu — e isto pode afetar os resultados da nossa investigação quando os participantes no nosso estudo sofrem, sem saberem, de enviesamento de memória.

Enviesamento de seleção

Para não pensar que o enviesamento ocorre apenas por parte dos participantes no seu estudo, este é da sua responsabilidade, enquanto pessoa que realiza a investigação. Provavelmente já sabe que a forma como define as pessoas elegíveis para participar no seu estudo afeta significativamente os seus resultados. Se estiver a investigar comportamentos relacionados com o sono e entrevistar ou inquirir apenas pais de bebés recém-nascidos, obterá conclusões que não se aplicam necessariamente à população em geral (bocejo).

No enviesamento de seleção, determinadas ideias preconcebidas ou ligações a hipóteses levam-nos a definir a nossa amostra de investigação de uma forma que favorece os resultados que esperamos ou pretendemos. 

Exemplo de enviesamento de seleção

Suponhamos que a sua empresa tem uma ferramenta de automatização de marketing e que está a tentar compreender por que razão os seus concorrentes o estão a deixar para trás em termos de receitas. Enquanto gestor de produto, pode ter a hipótese de que são especificamente as funcionalidades de automatização de correio eletrónico que estão a impulsionar o crescimento dos seus concorrentes.

Isto pode levá-lo a concentrar-se no recrutamento de participantes no estudo que se dedicam sobretudo ao correio eletrónico nas suas funções — fazendo com que possa não identificar propostas de valor e pontos problemáticos noutras áreas da automatização de marketing, simplesmente porque não recrutou participantes suficientes que trabalhem ativamente noutras áreas do produto.

Enviesamento de confirmação

Se alguma vez fez parte de um projeto em que a pessoa responsável pelo esforço de investigação parecia apenas estar interessada no feedback dos utilizadores que confirmava as suas próprias suposições, já viu o viés de confirmação em ação. Ao analisarmos qualquer tipo de dados, qualitativos ou quantitativos, a nossa tendência humana é favorecer ou exagerar a importância das informações que confirmam as nossas hipóteses ou crenças. A isto chama-se viés de confirmação, e é generalizado. Na verdade, cheguei à conclusão de que as formas como as equipas de produto trabalham tornam o viés de confirmação extremamente provável se não tomarmos medidas para o combater de frente.

No desenvolvimento de produtos, é frequente sermos chamados a tomar decisões enormes e a correr grandes riscos — rapidamente. É raro encontrar um designer ou gestor de produto que não tenha uma opinião forte sobre quais as iterações de funcionalidades ou mudanças de direção do produto que aproximarão a equipa dos seus objetivos gerais. Por esse motivo, a investigação com utilizadores torna-se por vezes apenas uma tarefa a assinalar, e os resultados são apresentados numa narrativa repleta de viés de confirmação.

Como é isso possível? Muito provavelmente, o seu estudo de investigação com utilizadores incluirá muitos conhecimentos diferentes. Ao analisar os seus dados, um processo que normalmente tem pouca supervisão dentro das empresas, pode rejeitar subconscientemente pontos de dados que contradizem aquilo em que acredita e apresentar uma narrativa que não reflete a realidade. Ui!

Exemplo de viés de confirmação

Imagine que um investigador está a realizar entrevistas com utilizadores sobre uma funcionalidade de produto que utiliza IA para gerar respostas a mensagens de correio eletrónico. Neste contexto, se o investigador utilizasse perguntas tendenciosas, como "não consideraria esta funcionalidade útil?" ou "não seria ótimo se poupasse tempo a escrever e-mails?", estaria a criar um viés de confirmação, porque estaria a influenciar os resultados da investigação com as suas próprias opiniões sobre o valor da funcionalidade.

Viés de medição

Quer esteja a realizar investigação qualitativa ou quantitativa, é importante que a forma como mede os seus pontos de dados faça sentido e seja consistente ao longo de todo o processo. Quando existe um problema fundamental nas medições que estamos a utilizar, introduzimos resultados potencialmente falsos — isto é viés de medição.

Exemplo de viés de medição

Suponhamos que está a realizar um estudo de usabilidade quantitativo para uma funcionalidade que deve reduzir o abandono num determinado ponto do fluxo de trabalho principal do seu produto.  O que está a medir ao longo de centenas de testes é a capacidade de um utilizador concluir com êxito o fluxo na nova iteração, e está à procura de uma melhoria em relação à versão anterior da funcionalidade. A sua equipa tem de dedicar algum tempo a pensar no que significa exatamente concluir com êxito o fluxo: significa apenas ultrapassar a iteração? Ou significa fazer tudo? Envolve obter um resultado satisfatório?

Como pode ver, a forma como define a própria métrica pode influenciar bastante os seus resultados!

Viés do entrevistador

Ao realizar entrevistas com utilizadores para um estudo qualitativo, as perguntas que um entrevistador faz e a forma como as faz podem criar um terreno fértil para potenciais enviesamentos.

Exemplos de viés do entrevistador

Eis alguns exemplos de como o viés do entrevistador pode infiltrar-se em qualquer estudo de investigação:

• O entrevistador faz perguntas com base nas suas suposições sobre cada participante, em vez de utilizar um conjunto uniforme de perguntas para cada pessoa no estudo.
• O entrevistador faz perguntas tendenciosas que levam o participante a responder de uma determinada forma, confirmando as hipóteses do investigador.
• O entrevistador sugere uma opinião ou um juízo de valor através da forma como formula a pergunta, incentivando o participante a responder de uma forma favorável (também chamado viés de desejabilidade social por parte do participante).

Viés de publicação

O que faz, enquanto profissional de produto, quando os resultados da sua investigação não refletem as conclusões que esperava? Acredite ou não, muitos investigadores e profissionais de produto racionalizam frequentemente a situação e optam por não partilhar os resultados da sua investigação com as respetivas equipas quando isso acontece, e a isto chama-se viés de publicação.

Exemplo de viés de publicação

Como é que isto se manifesta? Manifesta-se quando você ou alguém da sua equipa diz: “Bem, só testámos isto com 15 utilizadores — não acho que signifique nada. Vamos deixar isto de lado por agora.”  

O perigo aqui é reter informações valiosas da sua equipa quando estas entram em conflito com as suas esperanças e crenças. Quando faz isso, a omissão de informações pode fazer com que a sua equipa avance rapidamente na direção errada. 

Viés de amostragem

Quem está exatamente a recrutar para o seu estudo? Acredite ou não, este é frequentemente um dos fatores mais importantes para determinar se está ou não a obter resultados sólidos e fiáveis. O viés de amostragem ocorre quando recolhe dados cuja amostra não é suficientemente diversificada ou representativa e, consequentemente, os resultados apresentam um potencial enviesamento e podem induzi-lo em erro.

Exemplo de viés de amostragem

Neste exemplo, está a realizar um inquérito sobre hábitos culinários para ajudar a idealizar novas funcionalidades para a sua aplicação de receitas. Se os participantes no seu questionário forem provenientes de um grupo que selecionou num campus universitário, está essencialmente a analisar os hábitos culinários de jovens que estudam a tempo inteiro. E as famílias? E os reformados?

Uma das coisas mais importantes que faz no processo de conceção da investigação é garantir que está a analisar uma amostra representativa. 

Enviesamento da análise

Depois de executar os seus métodos de recolha de dados, entra na fase de análise. Aqui, tomará todo o tipo de decisões: que dados são importantes? Quais são os mais importantes? O que significa tudo isto qualitativamente? Estatisticamente? Muitas vezes, tomamos estas decisões de uma forma que favorece as nossas hipóteses originais ou os resultados pretendidos.

Exemplo de enviesamento da análise

Um exemplo de enviesamento da análise seria dar por si a dizer coisas como “Isso não é importante. Só surgiu algumas vezes. São apenas valores atípicos.”  Embora isso possa ser verdade, dependendo do estudo, também pode ser o enviesamento da análise a infiltrar-se e a fazer com que ignore uma nuance importante nos resultados da sua investigação. 

Estes são apenas alguns exemplos de enviesamento na investigação—existem verdadeiramente inúmeras formas de o enviesamento se manifestar nos projetos de investigação. Por isso, a próxima pergunta é: o que podemos fazer a esse respeito?

Evitar o enviesamento na conceção de estudos de investigação

A esta altura, provavelmente já está um pouco preocupado, a perguntar-se se a investigação será talvez inútil devido à nossa tendência tão humana para sucumbir a práticas enviesadas. Felizmente, não é esse o caso. Agora que está ciente dos potenciais enviesamentos à espreita em cada recanto bem-intencionado, pode tomar medidas para reduzir o enviesamento na sua investigação com utilizadores e orientar a sua equipa de produto na direção certa. Vejamos algumas formas de o fazer.

Aborde meticulosamente a conceção do seu estudo de investigação

É assim que se começa com o pé direito na investigação com utilizadores.  Ao conceber o seu estudo, toma uma série de decisões que, se forem tomadas corretamente, podem reduzir a probabilidade de enviesamento potencial. 

Eis algumas dicas:

• Defina os seus grupos de utilizadores da forma mais abrangente possível, continuando a abranger a sua população-alvo
• Escolha cuidadosamente os seus métodos de investigação: certifique-se de que a metodologia reflete aquilo que está a tentar aprender
• Se estiver a realizar entrevistas com utilizadores, escreva um guião de entrevista antes de começar a entrevistar e tente garantir que faz as mesmas perguntas a todos

Dica extra

Peça a um colega para analisar o seu plano de investigação antes de começar efetivamente a recolher dados. Isto ajudará a garantir que não se esqueceu de nada que possa introduzir enviesamento.

Evite conflitos de interesses em todas as fases da investigação com utilizadores

Aquele gestor de produto que passou o ano inteiro a insistir na necessidade de fazer uma determinada mudança de direção? Idealmente, não deverá ser essa a pessoa a liderar o estudo de investigação. Embora a objetividade continue a ser possível neste caso, conflitos de interesses como este dificultam frequentemente a recolha de dados e a análise imparcial dos resultados da investigação.

Uma alternativa seria pedir a outra pessoa—talvez um designer ou um investigador de utilizadores da equipa—que conceba e conduza o estudo, consultando o referido gestor de produto ao longo do processo. De um modo geral, existe uma regra baseada em evidências segundo a qual, quanto menor for o apego de alguém a um resultado pretendido, maior será a probabilidade de essa pessoa apresentar resultados de investigação fiáveis.

Reconheça que o enviesamento na investigação se aplica a todos os seres humanos que realizam investigação

Refiro-me a isto da forma mais respeitosa possível: embora seja provavelmente especial de várias formas, quando se trata do potencial para introduzir enviesamento num estudo—não é.

Todos os enviesamentos que analisámos são tendências baseadas em evidências que todas as pessoas têm. Assim que adotar a mentalidade de que até você poderia, em teoria, sofrer de vários enviesamentos—estará no bom caminho para os prevenir!

Realize sempre uma retrospetiva da investigação

É aceitável cometer erros na vida, e o mesmo se aplica à investigação com utilizadores. Sempre que realizar um estudo, certifique-se de que se reúne com a sua equipa e analisa a sua metodologia do princípio ao fim—o que poderia ter feito de forma diferente? É possível que alguns enviesamentos sorrateiros se tenham introduzido? 

Normalmente, não descobrirá que o seu estudo é totalmente pouco fiável, mas trará à luz pequenos ajustes que poderá fazer no seu próximo estudo para aumentar a fiabilidade da sua investigação com utilizadores no futuro.

O enviesamento da investigação existe, mas pode ser gerido.

Agora que está ciente do que pode dificultar a realização de uma investigação de utilizadores fiável, está preparado para avançar e fazer um bom trabalho. Correndo o risco de parecer algo ridículo, vou contar-lhe um último segredo: tenho um pequeno post-it na minha secretária que diz simplesmente «enviesamento!». Acho que isso me ajuda a manter presente tudo o que discutimos.

Mesmo que um post-it alarmante não seja a sua metodologia preferida, encontre uma forma de manter a eliminação do enviesamento no centro das atenções quando estiver a realizar investigação de utilizadores, e estará no bom caminho para obter informações que ajudem a sua equipa a alcançar os seus objetivos.

Não se esqueça de subscrever a nossa newsletter para receber mais recursos e guias sobre gestão de produtos, além dos podcasts, entrevistas e outras informações mais recentes de líderes e especialistas do setor.