5 enviesamentos na investigação de produtos e como evitá-los

Quando foi a última vez que os clientes lhe pediram para criar uma funcionalidade durante uma entrevista, mas nenhum deles acabou por a utilizar? Tenho a certeza de que todos os PM já tiveram pelo menos uma ronda de entrevistas com utilizadores que terminou num fracasso colossal.

A pergunta seguinte é naturalmente: o que correu mal durante a entrevista? Muito provavelmente, deparámo-nos com um dos muitos enviesamentos da investigação que nos levou a tomar decisões erradas relativamente ao produto.

Orientar um produto com base em dados enviesados é perigoso. Felizmente, pode evitá-lo aprendendo o que é o enviesamento, o que o torna arriscado e tirando partido destes cinco exemplos de enviesamento na investigação que conduziram a resultados indesejáveis.

O que é o enviesamento na investigação de produtos e quais são os riscos?

O termo enviesamento refere-se ao conjunto de erros que as equipas de produto e marketing cometem ao realizar investigação. O resultado destes erros é normalmente uma análise incorreta que conduz a decisões que não representam o verdadeiro estado das coisas relativamente ao produto, ao mercado e aos utilizadores.

A tomada de decisões de um gestor de produto tem um impacto enorme. Uma única decisão pode redirecionar toda a linha de produtos para um novo mercado ou persona-alvo. Existem também decisões diárias relacionadas com a execução que afetam a eficácia dos esforços das equipas de engenharia, marketing, IA e de outras áreas.

Por isso, tomar decisões com base em dados enviesados é especialmente perigoso, uma vez que pode conduzir as pessoas na direção errada e fazê-lo fracassar redondamente enquanto PM.

Felizmente, mitigar o enviesamento da investigação não é tão difícil como pode parecer. A parte difícil é admitir que os seus dados estão enviesados. A mitigação em si é relativamente fácil.

Tipos de enviesamento na investigação na análise de dados quantitativos

Comecemos pelos tipos comuns de enviesamento com que se depara ao trabalhar com dados. Normalmente, estão relacionados com erros na forma como recolhe, analisa e utiliza dados quantitativos.

A investigação científica clássica identifica uma grande variedade de enviesamentos na investigação, incluindo:

• Enviesamento de publicação
• Enviesamento de medição
• Enviesamento de análise
• Enviesamento de conceção
• Enviesamento do observador
• Enviesamento de memória
• Enviesamento de desejabilidade social
• Enviesamento demográfico e cultural
• Enviesamento das respostas, entre outros.

No entanto, estes conceitos são um pouco teóricos demais para falarmos sobre eles. Por isso, vou concentrar-me nos três tipos de enviesamento com que se irá deparar na vida real enquanto gestor de produto.

N.º 1: Enviesamento da amostragem e da seleção

Como o nome sugere, o enviesamento da amostragem está relacionado com a obtenção de dados incorretos devido à amostra que selecionou.

Se a sua amostra contiver dados inclinados para uma determinada característica, a análise que fizer não será representativa da população geral. Acabará por extrapolar incorretamente o comportamento dessa amostra enviesada e aplicá-lo a todo o conjunto de dados.

A Netflix é uma das grandes empresas tecnológicas que foi culpada de enviesamento da amostragem. As pessoas nos Estados Unidos adoravam o seu algoritmo de recomendação, uma vez que este conseguia sugerir programas relevantes para os seus interesses. No entanto, o resto do mundo detestava-o. As sugestões eram simplesmente terríveis.

Qual foi a razão? Aparentemente, o modelo de IA treinado para fazer estas sugestões utilizava apenas dados de espectadores dos EUA e sugeria conteúdos relevantes para os americanos.

Como mitigar o enviesamento da amostragem

No caso da Netflix, começaram simplesmente a fornecer dados internacionais aos seus modelos e voltaram a treiná-los com base numa população de estudo menos enviesada.

No entanto, se quiser uma abordagem mais sistemática para mitigar este tipo de enviesamento, posso sugerir uma abordagem pouco ortodoxa que funcionou comigo no passado: realizar algo a que os estatísticos chamam uma análise de agrupamentos.

Uma análise de agrupamentos pode encontrar características comuns na sua população de amostra e agrupá-las com base nessas características.

Na imagem acima, pode ver que a população está claramente dividida em três agrupamentos diferentes com base nas características escolhidas.

O que faz é selecionar uma grande variedade de características e criar estes gráficos para cada uma delas. Os seus dados estarão enviesados e sujeitos a enviesamento da amostragem se verificar que, para determinadas características, tem apenas um único agrupamento. No exemplo da Netflix, a característica relativa ao país do espectador tinha um único agrupamento: Estados Unidos.

Tenha cuidado, no entanto! Por vezes, é natural que toda a sua população tenha um único grupo para uma característica, se esta estiver a descrever a sua persona. Por exemplo, se fizéssemos uma análise de grupos aos leitores de theproductmanager.com, a maioria deles seriam gestores de produto. Isto é natural, uma vez que os gestores de produto são a persona a que o site se destina. Por isso, deve remover sempre estes tipos de características da sua análise.

#2: Viés processual

Este tipo de viés refere-se aos erros que cometeu na conceção do seu estudo e no processo de investigação. Pode dever-se à utilização de ferramentas ou fórmulas estatísticas incorretas, ou até aos seus métodos de recolha de dados.

Segundo a minha experiência, o viés processual é especialmente frequente em inquéritos a utilizadores. Se tiver alguma pergunta tendenciosa, é muito provável que os seus inquiridos sejam vítimas da sua “pressão” para escolherem um determinado tipo de resposta.

Eis o aspeto típico de uma pergunta tendenciosa num inquérito:

Até que ponto adora o nosso produto?

Da forma como a formula, está a sugerir que os utilizadores deem uma resposta mais positiva, mesmo que detestem aquilo que faz.

A variante mais neutra da mesma pergunta seria:

Como classificaria o nosso produto?

Neste caso, indicamos claramente que aceita respostas negativas.

Como reduzir o viés processual

A melhor forma de garantir que a sua investigação está livre de viés processual é escolher as ferramentas e metodologias adequadas ao tipo específico de análise que está a realizar.

Aleatorize as respostas

Se estiver a realizar inquéritos, além de evitar perguntas tendenciosas, também terá de aleatorizar a ordem das perguntas, uma vez que existe a possibilidade de as pessoas se cansarem a meio do questionário e começarem a dar respostas sem sentido. Sem aleatorização, as últimas perguntas terão quase zero respostas úteis.

Preste atenção à significância estatística

Além disso, tenha em consideração que os inquéritos são parcialmente quantitativos por natureza. Por isso, não confie demasiado na análise estatística desses dados. Por exemplo, se melhorou uma determinada funcionalidade e a sua pontuação NPS aumentou 2%, essa diferença é demasiado pequena para ser considerada um resultado estatisticamente significativo. Um aumento para o dobro, por outro lado, seria fiável.

Escolha as ferramentas certas

Agora, falemos também sobre a seleção de ferramentas erradas. Se estiver a medir a taxa de conversão da sua página de finalização da compra, utilizar uma ferramenta de mapas de calor criaria um viés processual, uma vez que os dados obtidos seriam pouco fiáveis.

Nestes casos, é melhor utilizar software de mapas de calor para identificar e corrigir o problema comportamental e testar através de um teste A/B a alteração do comportamento. Para a medição da CR, por outro lado, deve recorrer a ferramentas de análise de produto, como o Amplitude ou o GA4.

#3: Viés de sobrevivência

Os métodos de investigação tendenciosos acompanham-nos há muito tempo. Existe uma história interessante sobre os aviões bombardeiros americanos da Segunda Guerra Mundial. Sempre que os bombardeiros regressavam à base, os engenheiros examinavam os buracos provocados pelos canhões antiaéreos na fuselagem e registavam-nos desta forma:

A ação natural seria reforçar com placas de blindagem mais espessas as zonas com mais impactos de balas. No entanto, este reforço teve um efeito praticamente nulo na capacidade de sobrevivência dos bombardeiros americanos.

Depois de analisarem cuidadosamente o caso, os engenheiros perceberam que estavam a lidar apenas com os aviões que tinham conseguido sobreviver e regressar à base. Assim, as partes que deveriam reforçar eram, na realidade, aquelas onde os aviões não tinham quaisquer buracos de bala.

Como reduzir o viés de sobrevivência

Deixemos os aviões da Segunda Guerra Mundial e passemos aos produtos digitais. Enquanto PM, ao gerir o seu processo de recolha de dados, é muito provável que se depare com estas duas situações potenciais em que o viés se pode infiltrar:

Filtrar dados para análise

Ao analisar o comportamento dos utilizadores, pode acabar por excluir utilizadores que realizaram determinadas ações que não são relevantes para a sua análise.

Deparei-me com este caso há relativamente pouco tempo. Estávamos a tentar melhorar a taxa de ativação do nosso produto de marketing de influenciadores. A equipa de análise de dados criou um relatório do funil em que as taxas de conversão de uma etapa de ativação para outra eram bastante elevadas (algures entre 50-70%).

Estes dados deixaram-nos perplexos, porque estávamos a observar uma taxa global baixa de pessoas a interagir com o produto, em comparação com o número de registos. Depois de analisarmos cuidadosamente os dados, percebemos que a equipa de dados tinha aplicado um filtro e deixado apenas os dados dos nossos utilizadores avançados.

É claro que os utilizadores avançados eram provavelmente aqueles que tinham concluído o fluxo de ativação com facilidade. Por isso, as taxas de conversão no funil não eram verdadeiramente representativas da situação real. Quando analisámos os funis, tendo em conta todos os nossos registos, as taxas diminuíram significativamente.

Lição aprendida:

• Tenha sempre em consideração o contexto e o objetivo da análise ao filtrar os seus dados.

Analisar dados de inquéritos pré-selecionados

Outro caso interessante relacionado com o desenho de estudos de investigação com que tive de lidar recentemente estava relacionado com um inquérito que realizámos para compreender as necessidades e as dificuldades dos profissionais de marketing de influenciadores. Mais uma vez, os resultados do estudo foram um pouco desconcertantes para nós, porque as necessidades dos inquiridos não correspondiam aos conhecimentos que tínhamos obtido através das nossas entrevistas com utilizadores.

O problema, neste caso, estava no nosso processo de pré-seleção dos utilizadores que responderam ao inquérito. Para além de perguntarmos se eram influenciadores (para evitar obter respostas de pessoas irrelevantes), também perguntámos qual era a dimensão da sua audiência/do número de seguidores.

Por alguma razão, tínhamos desqualificado os influenciadores com menos de 50,000 seguidores e considerado apenas as respostas dos influenciadores relativamente maiores. O nosso produto destinava-se também a influenciadores de menor dimensão. Por isso, os dados que obtivemos através do inquérito não eram exatos para nós.

Lições aprendidas:

• Compare os resultados da sua investigação com dados qualitativos. Se existir uma grande diferença entre os resultados dos dois, é possível que tenha feito algo de errado.
• Tenha cuidado com o seu processo de pré-seleção; pode acabar por desqualificar também utilizadores relevantes.

Tipos de viés na investigação qualitativa 

Agora que abordámos os erros sistemáticos relacionados com a investigação quantitativa, passemos a outra categoria importante de investigação — os estudos qualitativos.

Para os gestores de produto, o tipo mais importante de investigação qualitativa é entrevistar utilizadores. Por isso, vou concentrar-me nos dois principais vieses que normalmente encontra ao falar com os seus clientes e utilizadores.

Nota: Estes são também os dois tipos de viés que pode gerir e atenuar utilizando uma ferramenta de ideação de produtos adequada.

#4: Viés de confirmação

Uma das melhores características dos gestores de produto é acreditarem firmemente em algo quando os outros não acreditam. É assim que se criam produtos inovadores e se revoluciona uma indústria. No entanto, a tendência para se manterem fiéis às suas opiniões é também uma grande fraqueza dos gestores de produto.

A razão é que os gestores de produto sofrem frequentemente de viés de confirmação. Este descreve uma situação em que tenta ativamente ouvir as partes da conversa que estão alinhadas com as suas convicções e descarta o resto.

Isto é bastante perigoso para as pessoas que depois tomam decisões estratégicas sobre o aspeto que o produto terá e sobre a forma de o levar para o mercado. Quando o viés de confirmação está presente, as suas entrevistas com utilizadores tornam-se completamente inúteis e acaba por tomar decisões às cegas (e pode esquecer a centralidade no utilizador).

Como atenuar o viés de confirmação

Tenho de admitir que também sou culpado de “praticar” o viés de confirmação. Mas existe uma solução que me ajudou a atenuá-lo bastante bem.

Pode chamar-lhe a “revisão de código” das entrevistas com utilizadores. É um processo em que os profissionais de produto analisam em conjunto algumas das entrevistas dos seus colegas e sugerem a adição ou remoção de aprendizagens.

Se for o único gestor de produto da empresa (algo comum em pequenas empresas emergentes), faça este exercício com o seu fundador. Não se esqueça de que os fundadores são, essencialmente, profissionais de produto também.

#5: Viés dos participantes

Embora o viés de confirmação seja uma ameaça perigosa, é um dos mais fáceis de corrigir. No entanto, o próximo tema de que quero falar é muito mais difícil de atenuar.

O viés dos participantes ocorre quando os seus inquiridos dizem coisas com base no que pensam que quer ouvir, em vez de dizerem o que realmente pensam sobre esse tema específico.

Por exemplo, quando está a realizar uma entrevista, pode perguntar aos participantes da investigação se comprariam o seu produto, partindo do princípio de que adicionou a funcionalidade que acabaram de solicitar. Consegue adivinhar qual seria a resposta? Pela minha experiência, a grande maioria dirá que sim.

Isso significa que deve correr para a equipa de engenharia e pedir-lhe que desenvolva essa funcionalidade ASAP? Não! A pergunta que fez é deficiente e leva naturalmente as pessoas a dizerem algo que lhe agrade.

Concordo que a sua funcionalidade conseguirá resolver uma dificuldade importante para alguns destes entrevistados e que eles acabarão por pagar por ela. Mas a maioria irá simplesmente utilizar essa funcionalidade gratuitamente ou não a utilizará de todo.

Para além de fazerem perguntas de investigação deficientes, os participantes no estudo também lhe darão respostas tendenciosas se lhes pagar pelo estudo de investigação. Normalmente, tendem a «justificar o pagamento» dando respostas favoráveis e fazendo-o feliz, sem perceberem que estão a causar mais prejuízos do que benefícios.

Como reduzir a tendência dos participantes

Como já referi, é bastante difícil reduzir a tendência dos participantes. Isto deve-se ao facto de não saber realmente se o participante está a ser sincero consigo ou não.

No entanto, há duas tácticas que podem ajudá-lo a diminuir as probabilidades de obter respostas inadequadas.

Fazer perguntas sobre a sua experiência passada

Se fizer perguntas sobre um acontecimento teórico no futuro, é muito provável que os entrevistados digam coisas que nunca farão na realidade.

Se perguntar a alguém, no dia 2 de Janeiro, se estaria disposto a ir ao ginásio durante 12 meses consecutivos, essa pessoa dirá que sim. Mas todos sabemos que a maioria das pessoas acaba por cancelar a adesão depois de apenas algumas visitas.

Para evitar isto, os PMs preferem fazer perguntas sobre coisas que aconteceram no passado. Desta forma, o PM pode aprender sobre o comportamento dos utilizadores com base no que estes fizeram e não naquilo que gostariam de ter feito.

Definir as expectativas certas

Por vezes, a natureza da sua pergunta ou estudo não lhe permite perguntar sobre o passado dos seus utilizadores. Por exemplo, quer saber como se sentiriam se aumentasse o preço do seu produto.

Neste caso, pode deixar claro que não há problema em ouvir respostas negativas e que o feedback honesto é a única forma de poderem «fazer valer o que recebem».

Admitir as suas tendências é 80% da batalha

É verdade. A pior parte de sermos tendenciosos é que a maioria de nós acredita genuinamente que tem razão. Por isso, o passo mais importante que pode dar para reduzir as suas próprias tendências é reconhecê-las.

A partir do momento em que o fizer, começará naturalmente a combatê-las e acabará por alcançar um estado livre de tendências. (Ou, pelo menos, um estado de «tendências geridas»!)

Não se esqueça de subscrever a nossa newsletter para obter mais recursos e guias sobre gestão de produtos, bem como os podcasts, entrevistas e outras informações mais recentes de líderes e especialistas do sector.