Como divertir-se com a investigação de UX

Ler a transcrição:

Estamos a experimentar transcrever os nossos podcasts utilizando um programa de software. Perdoe quaisquer erros tipográficos, pois o robô não está correto 100% das vezes.

Hannah Clark: É mais uma pessoa de pensamento analítico ou intuitivo? Se não sabe do que estou a falar, as pessoas mais analíticas tendem a ser mais orientadas para a análise e para as métricas, enquanto as pessoas mais intuitivas têm maior probabilidade de utilizar a narrativa para compreender o mundo. Por isso, quando pensamos em investigação qualitativa e quantitativa, provavelmente consegue adivinhar quais os tipos de pessoas que tendem a aproximar-se de cada método de investigação. E isso é ótimo — afinal, precisamos dos dois — mas, como se verifica, juntar os dois é muito mais fácil dizer do que fazer. Como combinar números e histórias para obter uma imagem exata? E, independentemente do método de investigação, como garantir que os seus dados são bons?

A minha convidada de hoje é a incrível Laura Klein, diretora principal da Users Know e autora de Build Better Products e UX for Lean Startups. Ao longo dos últimos 20 anos, Laura trabalhou com muitas equipas de produto e viu muitas delas depararem-se com os mesmos desafios ao realizar e aplicar investigação com utilizadores. Está prestes a partilhar algumas das suas observações e recomendações mais úteis para as equipas de produto, sobretudo mais perto do final do episódio, quando abordamos o papel fundamental da segmentação e da investigação. Vai precisar dos dois lados do cérebro para este episódio, por isso vamos começar.

Bem-vindos de volta ao podcast The CPO Club.

Laura, muito obrigada por arranjar tempo na sua agenda para falar connosco.

Laura Klein: Ora essa, muito obrigada pelo convite.

Hannah Clark: Vamos começar por falar um pouco sobre si e sobre como fundou a Users Know.

Laura Klein: Sim. Como disse, trabalho na área de UX e de produto. Sou uma engenheira em recuperação. Estou ligada à tecnologia desde os anos 90. Portanto, já lá vai algum tempo. Fiz muitas coisas diferentes. Fundei originalmente a Users Know no início da década de 2010. Na verdade, já não me lembro da data; costumava sabê-la de cor. Aprendi a fazer design numa excelente agência de design especializada, onde fazíamos design e investigação para clientes.

Aprendi imenso lá. Foi ótimo. Isto aconteceu depois de ter trabalhado como engenheira durante bastante tempo, sobretudo em empresas em fase inicial. Por fim, saí, honestamente, porque queria ter a possibilidade de despedir os meus clientes. Essa é a verdade a cem por cento. Quando se trabalha para uma agência, costumo dizer que é preciso deixar muitas pessoas satisfeitas.

É preciso deixar os chefes satisfeitos, é preciso deixar os clientes satisfeitos. E também, idealmente, se for designer de UX, é preciso deixar satisfeitos os clientes/utilizadores dos clientes. E, curiosamente, por vezes essas coisas entram em conflito. O que percebi foi que trabalhava muito melhor quando podia colaborar com clientes que estavam totalmente alinhados comigo quanto à forma como íamos realizar o trabalho.

E gosto muito de trabalhar com pessoas que aderem à minha forma de trabalhar. Não é que seja particularmente didática, mas tenho uma forma específica de fazer as coisas e, se estiverem de acordo com ela, damo-nos muito bem e fazemos um excelente trabalho em conjunto.

Hannah Clark: Sim, também venho de uma agência e identifico-me muito com isso: as coisas funcionam muito melhor quando existe compatibilidade. Por vezes, não se pode forçar essa compatibilidade.

Laura Klein: Ah, quer esta outra coisa que não negociei consigo e não tenho a certeza de que consiga fazê-la por si. E metade das vezes em que faço desenvolvimento de negócio para a Users Know — o que nem sempre acontece, porque às vezes tenho empregos a tempo inteiro ou estou completamente ocupada — passo muito tempo a dizer às pessoas: “Ah, eu não faço isso. Fale com esta ou aquela pessoa que conheço e que faz isso. Vai ficar muito mais satisfeito com essa pessoa, porque é melhor nisso do que eu.” E passo cerca de metade do meu tempo a recusar pessoas.

Porque só há uma pessoa como nós e só precisamos de alguns projetos. Queremos encontrar aqueles que nos fazem pensar: “Isto é algo que consigo fazer realmente bem.” Certo?

Hannah Clark: Sim, penso que isso é quase um indicador de sucesso: estar numa posição em que se consegue escolher os projetos que nos vão levar, a nós e ao cliente, até onde ambos querem chegar. Respeito muito isso.

Hoje vamos concentrar-nos na combinação da investigação qualitativa e quantitativa para tomar melhores decisões num contexto de produto. Com base na sua experiência, o que vê as equipas a terem mais dificuldade em combinar estas duas disciplinas?

Laura Klein: Em tudo. Esta é uma das formas em que trabalho que é muito específica. Penso realmente que o problema é o seguinte: vejo as pessoas a terem dificuldades, de forma curiosa, com ambos os lados. Muitas pessoas têm bastante dificuldade em fazer investigação qualitativa com utilizadores. Muitas pessoas têm bastante dificuldade em fazer investigação quantitativa com utilizadores.

E, quando se trata de combinar as duas, estamos à procura de um unicórnio, certo? É simplesmente muito difícil, porque é preciso acertar em muitas coisas. E não estou a brincar. Têm dificuldades com tudo. Muitas pessoas não sabem fazer uma boa investigação qualitativa.

Não sabem quando fazê-la. Não sabem quando contratar os excelentes profissionais que existem, que fazem isto profissionalmente e que são fantásticos no que fazem. Do lado quantitativo, a matemática é difícil, certo? Não é apenas a matemática que é difícil; a estatística também não é intuitiva para ninguém, na realidade.

Além disso, é difícil instrumentar o produto para obter os dados certos. Muitas empresas recolhem todos os dados, mas, de alguma forma, nenhum está correto. É uma confusão dos dois lados. E depois, quando juntamos uma investigação qualitativa mal realizada, que talvez não tenha abordado os problemas reais ou não tivesse uma boa pergunta à qual responder, com dados recolhidos de forma descuidada e talvez nem sequer corretos, e tentamos combinar os dois, obtemos o que obtemos — e nada disso é bom. Este é o pior cenário, claro.

Vejo frequentemente empresas que têm, por exemplo, uma excelente equipa de investigação qualitativa, que é ótima a recolher informação, mas talvez não tão boa a integrá-la na tomada de decisões sobre o produto. Ou vemos gestores de produto tão concentrados nos dados que não analisam de todo o lado qualitativo. Não compreendem realmente por que razão algo está a acontecer. Limitam-se a olhar para números o dia inteiro.

E dizem: “Bem, talvez seja isto. Talvez seja outra coisa.” Este é um padrão muito comum: o gestor de produto “orientado por dados”. Sou totalmente a favor de tomar decisões de produto informadas por dados, mas os dados não nos informam sobre a razão pela qual algo está a acontecer. Apenas nos dizem o que está a acontecer.

E, por vezes, nem sequer fazem isso muito bem. Portanto, sim, tudo é difícil. É por isso que não vale a pena tentar e devemos simplesmente seguir a nossa intuição. Não, isso não é verdade. Peço desculpa.

Hannah Clark: Sim, esse não é, de todo, o ensinamento a retirar.

Laura Klein: Exatamente. O ensinamento não é desistir.

Hannah Clark: Não, continuamos a avançar. O espetáculo tem de continuar.

Laura Klein: Sim, reconhecemos que aquilo que estamos a fazer é difícil, damos a nós próprios espaço para aprender coisas novas e admitimos que podemos não saber tudo. Aprendo constantemente coisas sobre ambos os lados e trabalhamos com especialistas que são bons em cada uma das áreas, fazendo o melhor que podemos.

Hannah Clark: Estou entusiasmada por aprofundar isso e também por falar sobre algumas das formas de garantir que os dados que recolhemos são mais fiáveis ou proporcionam uma fonte de conhecimento melhor para aquilo que tentamos alcançar.

Entretanto, vamos partir do princípio de que temos dados de boa qualidade, tanto do lado da investigação qualitativa como da quantitativa, apenas para efeitos deste exemplo.

Laura Klein: Sim, somos excelentes nas duas áreas.

Hannah Clark: Imaginem que temos os melhores profissionais a tratar do assunto. Quais são algumas das formas de começar a juntar estes dois tipos de investigação num contexto de tomada de decisões sobre um produto?

Laura Klein: Bem, digamos que temos — nem sequer vamos dizer que temos excelentes dados. Vamos dizer que temos as pessoas e os processos necessários para sair e obter esses excelentes dados, porque o primeiro passo é tentar perceber qual é a pergunta a que estamos a tentar responder. Isso é tão difícil como o resto.

Muitas pessoas têm painéis de controlo, fazem testes de usabilidade constantemente e fazem todas essas coisas. Tudo bem, mas estão a tentar tomar uma decisão, certo? Estão a tentar tomar uma decisão específica. Queremos fazer X? Que nova funcionalidade devemos criar a seguir? Qual é a nossa prioridade? São todos os tipos de decisões que tomamos diariamente enquanto profissionais de produto.

Ótimo. Qual é a decisão que está a tentar tomar agora? Como podemos melhorar a ativação desta funcionalidade específica? Como podemos melhorar a aquisição? Como podemos impedir que as pessoas abandonem o produto depois de X meses? Estes são os tipos de perguntas que precisamos de fazer a nós próprios. Por vezes, temos de perguntar: é esta funcionalidade ou aquela?

Qual delas tem maior probabilidade de fazer aquilo de que mais preciso? Mais uma vez, isso leva-nos à questão: quais são as minhas métricas e que raio estou a tentar fazer com elas? Temos de começar com uma boa pergunta que possa ser respondida.

Os dados quantitativos vão dizer-nos o que está atualmente a acontecer com o produto. Quando falo de dados quantitativos, refiro-me especificamente a análises, métricas e coisas que medimos no produto. Por exemplo, os dados quantitativos não costumam ser muito úteis quando ainda não existe um produto. Se não há utilizadores, talvez também não haja dados quantitativos suficientes.

Fundamentalmente, os dados quantitativos dizem-nos: o que estão as pessoas a fazer? Em que estão a clicar? O que estão a comprar? Se clicarem aqui, compram depois aquela outra coisa? Dizem-nos muitas coisas, mas não nos dizem porquê.

Os dados qualitativos — e aqui falamos de investigação com utilizadores e de testes de usabilidade, que são duas coisas diferentes — ajudam-nos a compreender realmente os utilizadores, os seus modelos mentais, o seu contexto, aquilo que estão a tentar fazer e os problemas que têm, em geral e com o nosso produto. Tudo isto nos ajuda a compreender por que razão as coisas estão a acontecer.

É essa a diferença. Os dados qualitativos não nos dizem o que está a acontecer. Na verdade, como a investigação qualitativa é frequentemente realizada com grupos muito mais pequenos, pode basear-se em conversas com cinco pessoas, por exemplo. Não se trata de falar com cinco pessoas e terminar para sempre; é um processo iterativo. Falamos com algumas pessoas, fazemos outra ronda e falamos com mais pessoas.

Nunca obteremos uma imagem tão abrangente do que está a acontecer apenas por falar com pessoas. Mas compreenderemos porquê.

Imaginemos que temos um processo de pagamento. Se os dados estiverem corretamente instrumentados, podemos ver em que ponto as pessoas abandonam esse processo. Chamamos-lhe um funil, mas é mais parecido com um passador. Os dados dizem-nos exatamente onde as pessoas saem. Isso é ótimo. Depois, muitos gestores de produto começam imediatamente a procurar soluções: “Devemos fazer esta alteração”, “devíamos tornar isto mais fácil de ver” ou “devíamos alterar aquilo”.

Ou então podem simplesmente observar algumas pessoas a utilizar o processo de pagamento e tentar perceber se existe algo óbvio a acontecer. Pode haver muitas razões: um erro, uma informação pouco clara, métodos de pagamento insuficientes ou muitas outras coisas.

A razão pela qual o “porquê” é importante é que a solução correta depende do problema real. O problema não é apenas o facto de as pessoas abandonarem o processo. O problema pode ser: “Não compreendi isto” ou “Havia um erro que me impediu de fazer aquilo”. Se não virmos ou não soubermos que o erro existe, nunca o iremos corrigir.

Por vezes, basta observar alguém e perceber: “Ah, é aquela pequena coisa.” Já vi engenheiros a assistir a sessões de investigação e a corrigir o erro que estava a causar o problema durante o próprio teste, colocando depois a correção em produção. Quando voltámos ao ponto mais tarde, a pessoa disse: “Pensei que isto estava avariado.” E nós também pensávamos isso. Afinal, o problema já tinha sido corrigido.

Este é um bom exemplo de que não devemos limitar-nos a compreender o que está a acontecer e saltar imediatamente para um conjunto de ideias sobre como resolver o problema. Temos de perceber por que razão está a acontecer. Depois, talvez exista uma solução muito simples e possamos avançar para problemas mais importantes.

Hannah Clark: O que pensa que nos impede de procurar primeiro essa solução, em vez de começarmos logo a tentar encontrar soluções? Porque não é essa a opção principal?

Laura Klein: A investigação qualitativa é difícil. É frequentemente vista como demorada — e, na verdade, pode ser demorada. Em algumas organizações, é muito mais difícil realizá-la do que noutras. Pode ser difícil recrutar pessoas, pode não existir um processo sólido de operações de investigação ou pode haver limitações quanto ao número de pessoas com quem é permitido falar.

É muito trabalho. Pode ser muito trabalho. Também pode ser relativamente fácil se já existirem processos que permitam iniciar rapidamente o tipo certo de investigação no momento certo. Algumas pessoas simplesmente não têm essa experiência ou não se sentem confortáveis a falar com outras pessoas.

Além disso, gerar ideias é fácil e divertido, e pode ser feito numa sala. É algo muito humano. Os nossos cérebros parecem feitos para criar ideias. Ideias são divertidas e fáceis, mas nem sempre são boas ou corretas.

Muitos profissionais de produto também têm opiniões muito fortes sobre o que está errado com o seu produto. É fácil ficarmos presos à ideia de que sabemos qual é o problema e tentarmos resolvê-lo, mesmo que não esteja relacionado com o problema real. Vejo isso muitas vezes com a inteligência artificial: “O problema é que não temos IA suficiente.” Posso dizer já que o seu problema não é não ter IA suficiente.

Hannah Clark: Digam-no mais alto para quem está lá atrás. Podia fazer um episódio inteiro sobre isso.

Laura Klein: Existem problemas que podemos resolver com IA, e alguns talvez sejam resolvidos melhor com IA. Mas o problema não é não termos funcionalidades suficientes. O problema é o produto não resolver os problemas dos utilizadores de uma forma útil e valiosa para eles.

Hannah Clark: Preciso de tatuar isso.

Laura Klein: Talvez possa bordá-lo numa almofada.

Hannah Clark: Sim.

Laura Klein: É um pouco comprido.

Hannah Clark: Não podia concordar mais. Não flui muito bem no corpo.

De qualquer forma, vamos falar um pouco sobre as diferentes situações em que é adequado aplicar um método em vez do outro: investigação qualitativa versus quantitativa. Deu um exemplo muito conciso de como uma informa a outra. Obviamente, há contextos em que uma é mais valiosa do que a outra. Falemos então de alguns casos excecionais.

Laura Klein: Uma das coisas que é preciso recordar é que, por vezes, simplesmente não temos acesso a um dos métodos. Nesse caso, fazemos o melhor possível com aquilo que temos. Pode ser muito difícil obter dados qualitativos das pessoas certas em determinados ambientes, sobretudo em empresas. Também pode não haver dados quantitativos suficientes, especialmente quando falamos de testes A/B.

Os testes A/B são ótimos se tivermos pessoas suficientes para conseguir observar uma diferença. Mas, se estivermos numa fase inicial, tivermos demasiados segmentos diferentes ou estivermos numa organização empresarial com poucos utilizadores, nunca obteremos esses dados. Não é uma opção. Teremos de fazer investigação qualitativa e dar a nossa melhor estimativa.

Hannah Clark: Como determinamos o tamanho da amostra de que precisamos antes de avançar?

Laura Klein: Do lado dos dados, é preciso falar com um verdadeiro cientista de dados. A matemática é difícil e este tipo específico de matemática é extremamente difícil. Há muitos problemas inesperados, como o problema de consultar os dados antes de o teste terminar. Existem muitas variáveis, incluindo o número de pessoas necessário em cada ramo de um teste A/B e a existência de valores extremos, como utilizadores que gastam dezenas de milhares de euros enquanto a maioria gasta apenas um euro.

É por isso que recomendo especialistas. A investigação qualitativa também é difícil, mas de uma forma diferente. No caso qualitativo, não procuramos significância estatística. Procuramos padrões que se repitam e sejam previsíveis.

Há um estudo antigo que diz que conseguimos encontrar a maioria dos problemas com cinco pessoas. Isso aplica-se sobretudo a testes de usabilidade e pressupõe que todas as pessoas utilizam o produto da mesma forma. Pode ser verdade para um processo de pagamento utilizado num único país e por poucos tipos de utilizadores.

Mas, normalmente, é preciso falar com pessoas até conseguirmos prever os padrões que vamos encontrar. Gosto de fazer uma síntese contínua dos dados: depois de falar com alguém, analisamos as conclusões, observações, comportamentos, necessidades, problemas e objetivos dessa pessoa. Vamos construindo esse conhecimento até conseguirmos identificar o tipo de pessoa que está a utilizar o produto e prever como irá agir.

A investigação qualitativa deve ser contínua. Devemos estar sempre a falar com as pessoas. Se algumas pessoas têm dificuldades com algo, provavelmente não são as únicas. Se obtivermos resultados muito diferentes, talvez não tenhamos segmentado corretamente os participantes da investigação.

Nem todas as pessoas utilizam os produtos para a mesma finalidade ou da mesma forma. Os utilizadores avançados terão problemas diferentes dos utilizadores novos. As pessoas que compram para empresas terão necessidades diferentes das pessoas que compram para as suas famílias. Se observarmos necessidades muito diferentes, devemos perceber por que razão esses grupos são diferentes.

Hannah Clark: Ainda bem que mencionou a segmentação. É algo que muitas vezes é ignorado quando desenvolvemos um conjunto de dados com base no qual podemos tomar decisões. Que recomendações daria para abordarmos proativamente a segmentação?

Laura Klein: A segmentação é quase sempre importante. Mas depende de muitos fatores. Pensemos numa funcionalidade de IA que ajudava recrutadores a escrever mensagens para potenciais candidatos. Muitas pessoas são más a escrever esses e-mails, por isso a empresa decidiu utilizar IA para ajudar a criar mensagens melhores.

No geral, funcionou muito bem: incluiu a informação importante do anúncio de emprego, tornou a mensagem mais clara e menos parecida com spam, melhorando o número de respostas.

Mas havia um pequeno grupo de utilizadores que eram verdadeiros especialistas. Escreviam estas mensagens todos os dias, testavam-nas, seguiam normas empresariais e tinham equipas de cientistas de dados a analisar quais as versões com melhor desempenho. Para eles, a IA não ajudava. Podia até interferir com o processo de trabalho e substituir modelos que continham informações legais e que já tinham sido testados.

Essas pessoas eram também as que utilizavam mais o produto e tinham maior probabilidade de pagar por ele. Portanto, havia um grande grupo de pessoas que pagava pouco e um pequeno grupo que pagava muito. A solução era dar às pessoas a opção de utilizar a IA, sem a tornar obrigatória.

Se olharmos apenas para os dados gerais, podemos concluir que todos tiveram melhores resultados com a IA. Mas, na realidade, foi apenas a maioria que melhorou. O pequeno grupo que mais dinheiro pagava teve piores resultados. É por isso que a segmentação é tão importante: grupos diferentes podem ter comportamentos diferentes e alguns podem ser mais importantes para a empresa do que outros.

Hannah Clark: Este é um ótimo exemplo de que a segmentação não diz apenas respeito a quem são os segmentos, mas também ao papel que desempenham no valor global do negócio e na estratégia do produto. É algo que devemos ter em conta quando integramos funcionalidades de IA.

Laura Klein: Isto aplica-se a todas as funcionalidades, mas especialmente à IA.

Hannah Clark: É uma questão que me incomoda bastante. Mas estou a divagar. Como estamos a aproximar-nos do fim do nosso tempo, queria falar um pouco sobre como podemos divertir-nos durante o processo de investigação. A investigação é muitas vezes vista como algo seco ou como uma perda de tempo, mas oferece muitos conhecimentos, valor e oportunidades para falar com pessoas. Qual foi o projeto de investigação em que mais se divertiu?

Laura Klein: Por vezes, transformam-se em trabalhos manuais, o que, para pessoas como eu, é agradável. Nem toda a gente gosta de folhas de cálculo e tabelas dinâmicas, por isso não vou tentar convencer ninguém de que isso é divertido, embora seja para mim. O lado qualitativo pode ser genuinamente criativo.

Se somos pessoas criativas, encontrar formas interessantes de responder aos problemas é muito estimulante. Em projetos presenciais, por exemplo, existem exercícios de design de serviços para pessoas que concebem aeroportos ou hospitais. Por vezes, são criados hospitais falsos para estudar o fluxo de pessoas, verificar se os carrinhos passam, decidir onde deve ser colocada a tecnologia e perceber como as pessoas realizam determinadas tarefas.

Também gosto de acompanhar as pessoas no seu trabalho. Pode parecer estranho, mas é fascinante observar como vendem coisas ou realizam as suas tarefas, sem lhes fazer perguntas nem testá-las, apenas tentando compreender melhor como vivem e trabalham. Talvez devesse ter sido antropóloga.

Podem também organizar atividades de codesign muito divertidas, algumas com peças de LEGO. As pessoas podem desenhar, criar mapas ou trabalhar em conjunto. Estes métodos ajudam a compreender os modelos mentais das pessoas e a forma como pensam sobre aquilo que estão a tentar fazer.

Há partes menos divertidas. Por vezes, os testes de usabilidade mostram que algo que criámos e que nos entusiasmava não funciona bem. Pode ser doloroso ver alguém a utilizar algo que fizemos de uma forma diferente da esperada. Mas sabem qual é a parte divertida? Corrigir o problema e ver o grupo seguinte passar pelo processo sem dificuldades.

Se não enfrentarmos essa parte difícil, as pessoas que têm problemas continuam a existir, mesmo que não tenhamos de as observar — e continuam sem comprar o nosso produto. Para mim, a parte divertida é ver o problema, compreendê-lo verdadeiramente, ter aquele momento de descoberta e pensar numa ideia interessante para o resolver. Eu gosto disso. Mas também gosto de tabelas dinâmicas, por isso cada pessoa sabe de si.

Hannah Clark: Pessoalmente, acho muito interessante falar com pessoas e observar sem interferir. É uma das razões pelas quais gosto tanto do podcast. E, por falar em diversão, esta conversa foi muito divertida para mim. Gostei muito de falar consigo. Onde é que as pessoas podem acompanhá-la online?

Laura Klein: Atualmente, o único lugar onde podem acompanhar aquilo que faço publicamente é o LinkedIn. Também estou no Blue Sky, embora não fale muito sobre trabalho lá. Espero lançar este ano uma formação na Maven sobre dados qualitativos e quantitativos e sobre como combiná-los.

Será muito mais longa do que esta conversa e terá muitos mais detalhes, exercícios e modelos. Escrevi alguns livros, embora já tenham alguns anos, e podem lê-los. Por vezes, também participo num podcast chamado What is Wrong with Hiring?, que aborda recrutamento nas áreas de design, investigação e produto.

Hannah Clark: Se for como esta conversa, mal posso esperar para o ouvir.

Laura Klein: Digo muito mais palavrões. Peço desculpa.

Hannah Clark: Inscreva-me. Já estou subscrita.

Muito obrigada por ter disponibilizado o seu tempo, Laura. Foi extremamente divertido e informativo. Estou ansiosa por conhecer o feedback das pessoas sobre este episódio.

Laura Klein: Muito obrigada. Foi ótimo estar aqui.

Hannah Clark: Obrigada por nos ouvirem. Para obter mais conhecimentos, guias práticos e análises de ferramentas, subscreva a nossa newsletter em theproductmanager.com/subscribe. Pode ouvir mais conversas como esta subscrevendo o The CPO Club, onde quer que ouça os seus podcasts.