Como a IA está a transformar a descoberta de produtos

Leia a transcrição:

Estamos a experimentar transcrever os nossos podcasts através de um programa informático. Pedimos desculpa por quaisquer erros, pois o sistema automático nem sempre está 100% correto.

Hannah Clark: Sei que estou a pregar para convertidos, mas vou dizê-lo na mesma. Acima de tudo, os produtos precisam de ser úteis. No entanto, continuam a existir muitos produtos desenvolvidos com base num conjunto de suposições sobre aquilo que os utilizadores realmente querem. Então, porque é que tantas organizações negligenciam o processo de descoberta de produtos? Bem, tenho a certeza de que qualquer gestor de produto que também tenha assumido, na prática, a liderança da investigação de utilizadores poderá explicar porquê. É um processo demorado, dispendioso e extremamente difícil — não só para obter uma amostra significativa de dados de clientes, mas também para transformar esses dados em ações concretas.

O meu convidado de hoje é Craig Watson, fundador e diretor executivo da Arro, uma ferramenta de investigação de utilizadores alimentada por IA. A paixão de Craig pela descoberta de produtos ao longo da sua carreira proporcionou-lhe excelentes ideias sobre como simplificar o processo de investigação de utilizadores para empresas em crescimento e outras equipas de produto. Também irá partilhar algumas táticas práticas para melhorar a descoberta de produtos com IA generativa. Vamos começar.

Bem-vindos novamente ao podcast do gestor de produto. Estou aqui com Craig Watson. É o fundador e diretor executivo da Arro.

Craig, muito obrigada por se juntar a nós hoje.

Craig Watson: Muito obrigado. Estou entusiasmado por estar aqui.

Hannah Clark: Craig, pode falar-nos um pouco sobre o seu percurso profissional e sobre como acabou por chegar à posição que ocupa atualmente na Arro?

Craig Watson: Claro. Trabalho em funções de produto há cerca de 15 anos e comecei sobretudo no contexto de empresas emergentes. Tivemos algumas empresas emergentes sediadas na Irlanda, que começámos a construir logo depois da universidade. Enquanto assumíamos esses projetos, tentávamos aprender e compreender realmente como se desenvolvem produtos para consumidores.

Após cerca de quatro anos, avançámos para uma empresa de tecnologia musical que fundámos em 2012, chamada Soundwave. Era uma empresa emergente clássica, apoiada por capital de risco. Mais uma vez, houve muitos altos e baixos. Aprendemos rapidamente no trabalho e, provavelmente, foi nessa altura que aprendi mais sobre descoberta de produtos, algo de que falaremos nesta conversa.

O que mais gostei dessa experiência foi o facto de estarmos numa fase tão inicial das nossas carreiras e sermos obrigados a desempenhar muitas funções diferentes enquanto gestores de produto. Percebemos que era necessário realizar muitos tipos de atividades: desde investigação de utilizadores até à entrega e à gestão de produto, em diferentes momentos.

Acabámos por ser adquiridos pelo Spotify em 2016 e fomos trabalhar para lá, o que foi uma experiência muito positiva. Não planeava ficar durante tanto tempo, mas acabei por permanecer cinco anos. Foi uma excelente experiência, numa altura em que o Spotify estava a crescer muito rapidamente. Penso que havia menos de mil pessoas em investigação e desenvolvimento quando entrei e cerca de 3000 ou mais quando saí — foi um crescimento enorme.

Trabalhei no escritório de Estocolmo durante alguns anos, na equipa de crescimento. Depois mudei-me para Londres, quando abriram um escritório, para ajudar a lançar algumas iniciativas de produto para a TEO, a aplicação para crianças, o Spotify Duo e alguns outros projetos. Era um ambiente muito diferente do mundo das empresas emergentes e uma forma muito diferente de exercer a função de gestor de produto, mas gostei bastante.

Mais recentemente, trabalhei como consultor durante cerca de um ano e meio, especificamente na área da descoberta de produtos. Ajudava outras empresas a melhorar as suas práticas de investigação, a aprender a falar com os clientes, a tomar decisões baseadas em evidência e, essencialmente, a desenvolver produtos melhores.

Há cerca de um ano e meio, percebemos que havia uma oportunidade para criar tecnologia interessante, tendo em conta a evolução dos grandes modelos de linguagem de base. Eu e o meu cofundador, Johannes, juntámo-nos. Posso falar-lhe mais sobre isso dentro de momentos.

Hannah Clark: Claro. Antes de avançarmos, pode explicar-nos um pouco o que é a descoberta de produtos em geral e porque se tornou uma área tão importante para si?

Craig Watson: Penso que aquilo que sempre me atraiu na descoberta de produtos foi a combinação entre ciência e arte. É interessante pensar em como compreender verdadeiramente o que os clientes querem, quais são os seus requisitos e necessidades. Mas existe também um elemento artístico: perceber que perguntas fazer e reconhecer quando uma pergunta pode ser orientadora ou tendenciosa.

Sempre gostei da componente de entrega da gestão de produto enquanto prática, mas foi a fase inicial do processo — quando se tenta compreender que produto deve ser desenvolvido — que muitas vezes é ignorada, apesar de ser extremamente importante. Por alguma razão, a minha personalidade levou-me nessa direção, porque considero o tema fascinante.

Hannah Clark: Claro. Não há nada mais fascinante do que compreender aquilo que as pessoas realmente querem. Quando pensa no seu trabalho anterior em descoberta de produtos, antes de a IA se tornar a ferramenta que é hoje, qual era o seu processo para compreender mais profundamente os problemas dos utilizadores e decidir o que desenvolver?

Craig Watson: Também vale a pena mencionar que cometemos muitos dos erros clássicos associados ao início da investigação de utilizadores. Aprendemos da forma difícil. Por vezes, saltávamos diretamente para o modo de solução e fazíamos o exercício clássico de validação, tentando provar que algo estava correto.

Penso que essa é provavelmente a armadilha mais comum que vejo nos gestores de produto. É necessária uma mentalidade muito diferente para tentar falsificar uma hipótese. É difícil, porque temos uma ideia, estamos entusiasmados com ela, queremos mobilizar outras pessoas e conquistar o interesse das partes interessadas. Contudo, os bons investigadores — tal como o processo científico — procuram a falsificação.

Ou seja, tentam descobrir o que não funciona. Demorámos algum tempo a adaptar-nos a essa mentalidade. Parte disso está também relacionada com a metodologia: ao fazer perguntas, é necessário garantir que não estamos a orientar as respostas e que permanecemos objetivos.

Quando estávamos na casa dos vinte anos, a Soundwave começou a crescer e tínhamos mais de um milhão de instalações da aplicação. Estávamos a desenvolver uma nova funcionalidade e realizávamos conversas individuais com utilizadores, presencialmente, numa altura em que as entrevistas remotas ainda não eram tão comuns.

Aprendíamos rapidamente o que as pessoas queriam e estávamos entusiasmados com aquilo que estávamos a desenvolver, mas a investigação era algo autorreferencial. Estávamos a explorar um conjunto pequeno de funcionalidades e não chegávamos realmente aos problemas subjacentes. Não era uma investigação generativa; era sobretudo avaliativa.

Apresentávamos algumas coisas que estávamos a pensar desenvolver e tentávamos compreender melhor os interesses das pessoas, sobretudo relativamente à música. Trouxemos um consultor externo para nos ajudar nas entrevistas. Ele disse-nos que o que estávamos a fazer era aceitável, mas que devíamos ter cuidado com os máximos locais.

Estávamos a otimizar o produto, mas, naquela fase da empresa, precisávamos de pensar numa investigação mais generativa e fundamental: compreender os trabalhos que as pessoas queriam realizar, o contexto em que agiam e os resultados que procuravam alcançar.

A partir daí, devíamos desenvolver a solução. Foi uma aprendizagem importante. Quando temos uma mentalidade orientada para a solução e acreditamos que temos grandes ideias, é difícil afastar o ego, ouvir as pessoas e compreender onde estão as lacunas e que etapas dos seus fluxos de trabalho podem ser melhoradas.

Não diria que domino completamente o tema e, evidentemente, ainda preciso de ajuda. Trabalhei com investigadores e cientistas de dados extraordinários ao longo dos anos. Pelo menos, penso que compreendo melhor os modelos mentais e as estruturas de trabalho.

Hannah Clark: É fantástico. Parece realmente que adotou a estrutura dos trabalhos a realizar como parte central desse processo. Pode explicar-me como funcionava esse processo de descoberta e como aplicou essas técnicas na criação da Arro?

Craig Watson: Atualmente, começamos por analisar os trabalhos a realizar. Quando digo “trabalhos”, refiro-me à investigação necessária para compreender o que os clientes querem, que problemas têm nas suas vidas e quais são as suas necessidades.

Começamos por perceber o que isso significa na prática. O que é necessário fazer para formular um estudo de investigação? É preciso decidir o que se pretende aprender. Depois, é necessário recrutar participantes e escolher a metodologia a utilizar para interagir com os clientes.

Também é preciso pensar em como sintetizar a informação, como retirar aprendizagens dela, como partilhá-la internamente com a equipa ou com as partes interessadas e, por fim, como agir com base nesses resultados.

Isto é bastante abstrato e está num nível elevado. Dentro de cada um desses trabalhos existem muitos resultados específicos. Se pensarmos, por exemplo, no recrutamento para uma investigação, é necessário obter uma lista de pessoas de uma base de dados e compreender um segmento de clientes.

Também podemos recrutar através de um painel externo, o que pode ser mais rápido, embora talvez não inclua a nossa base de clientes atual. É necessário considerar questões de conformidade de dados ao interagir com os clientes. Existe toda uma lista de resultados associados a cada trabalho.

Pode parecer um processo seco, quase como pintar por números, mas, quando mapeamos todas as etapas e os diferentes resultados, começamos a compreender quais são as áreas mal servidas e quais estão demasiado servidas.

Inspirei-me em muitos autores e especialistas, incluindo Anthony Ulwick, que escreveu sobre inovação orientada para resultados, e várias outras pessoas que desenvolveram esse trabalho. Por vezes, especialmente no setor do software, é fácil ficar preso a personas, etiquetas e categorias que não são tão relevantes para aquilo que se está a tentar aprender.

No espaço entre empresas em que trabalhamos, tudo se baseia muito nos fluxos de trabalho. Quando se trata de investigação, as pessoas têm um trabalho a realizar: tentam resolver um problema. Foi assim que abordámos a Arro.

Mapeámos o panorama, identificámos as lacunas e percebemos repetidamente que existia uma enorme inércia nas entrevistas com clientes. Era muito difícil conseguir que as pessoas participassem numa chamada. Primeiro, era necessário encontrar as pessoas, depois contactá-las, agendar um horário, realizar a conversa, transcrevê-la, sintetizá-la, codificar os resultados, fazer a análise temática e pagar aos participantes. E era necessário repetir o processo para 5, 10 ou 50 pessoas.

Depois, ainda era necessário interpretar o conjunto agregado de resultados. Esta continua a ser a forma mais comum de realizar investigação. Sou um grande defensor das entrevistas individuais com clientes, mas percebemos que talvez existisse uma lacuna. Com a evolução da IA, não é irrealista pensar que muitas dessas tarefas relacionadas com entrevistas moderadas podem ser substituídas ou aumentadas por IA.

Foi essa a lacuna que quisemos explorar e construímos a nossa estratégia de produto em torno dela.

Hannah Clark: Pegando nessa ideia, que elementos considera terem maior potencial para serem transformados pelos grandes modelos de linguagem? Já está a observar algumas dessas mudanças?

Craig Watson: Os casos de utilização mais óbvios na investigação de produtos têm sido a transformação de dados não estruturados em dados estruturados. Os grandes modelos de linguagem são excelentes nisso, muitas vezes melhores do que os seres humanos, porque conseguem analisar grandes volumes de texto não estruturado e transformá-los em algo significativo e, na maioria dos casos, preciso.

As equipas estão também a melhorar a atribuição, conseguindo identificar a cadeia de evidência entre quem disse o quê e compreender como isso se relaciona com uma determinada equipa ou tema. Muitos dos primeiros ganhos nesta área surgiram na síntese.

A Arro permite realizar entrevistas através de conversas conduzidas por IA com participantes. Define-se um conjunto de perguntas, a IA conduz a conversa, recolhe os conhecimentos obtidos, sintetiza-os e apresenta um relatório sobre aquilo que foi aprendido com 50, 100 ou 1000 pessoas. Uma das vantagens da IA é poder escalar este processo com muito mais facilidade.

Também estamos a pensar em interfaces de programação de aplicações de visão e em experiências multimodais. Será possível compreender como as pessoas navegam numa experiência de utilizador ou através de um produto. Acredito que isso será uma funcionalidade muito mais comum nos próximos 12 a 18 meses, porque a tecnologia está a acompanhar essa necessidade.

Já existem ferramentas que utilizam elementos como molduras incorporadas para compreender como as pessoas navegam num protótipo do Figma. Mas, dentro de alguns anos, poderá ser muito mais simples, barato e preciso pedir a uma IA que observe o que acontece numa experiência de utilizador, modere testes de usabilidade e devolva os conhecimentos obtidos.

Hannah Clark: É fascinante pensar em coisas que, há apenas alguns anos, pareciam impossíveis. Que outras formas vê para as equipas de produto utilizarem a IA em 2024, de modo a serem mais eficazes durante a fase de descoberta de produtos?

Craig Watson: Existem várias. Falámos provavelmente com cerca de 150 ou 200 pessoas durante as nossas próprias entrevistas com clientes: investigadores de utilizadores, designers de produto e gestores de produto. Fico por vezes surpreendido com a pouca frequência com que a IA é utilizada.

Apesar de as pessoas na área tecnológica serem normalmente adotantes precoces, ainda existe alguma resistência à adoção da IA no local de trabalho. As razões podem ser diversas: orientações internas, preocupações de segurança ou simplesmente falta de clareza sobre os casos de utilização.

Muitas pessoas ainda não sabem como tirar o máximo partido da IA no trabalho. Na vida pessoal, podem utilizar o ChatGPT, experimentar o Perplexity ou o Midjourney, mas ainda estamos numa fase muito inicial. No contexto entre empresas, estamos numa fase ainda mais embrionária.

Quanto às formas de utilização, a geração de conteúdos é provavelmente o caso mais comum. Pode ajudar um gestor de produto a escrever histórias de utilizador, um investigador a formular uma proposta de estudo ou a criar um guião de discussão.

Na área da síntese, as pessoas já começaram a utilizar a IA, por vezes simplesmente introduzindo uma transcrição de uma chamada do Zoom ou de outra ferramenta automática. Utilizamos uma ferramenta chamada Grain para gravar os nossos vídeos. Ela transcreve as conversas e permite aplicar um modelo de dados próprio e fazer perguntas às transcrições.

Podemos perguntar que trabalhos a realizar foram identificados numa conversa ou que personas parecem ter surgido. Assim, começamos a observar duas utilizações principais: criar conteúdos ou reduzir o esforço necessário para compreender conteúdos. Isso é particularmente entusiasmante.

Hannah Clark: É muito entusiasmante. Faz-nos pensar no tempo e no esforço que os investigadores tiveram de dedicar, no passado, à síntese de grandes volumes de informação desorganizada. Estamos a lidar com respostas humanas, por isso pode ser muito difícil extrair conhecimentos mais subtis, especialmente quando se realizou muita investigação sobre vários produtos.

Tudo isto também se aplica à identificação da adequação entre produto e mercado. Há alguma coisa no horizonte relativamente à utilização da IA pelas equipas de produto para encontrar essa adequação?

Craig Watson: A adequação entre produto e mercado é um tema controverso. É o objetivo que todas as empresas procuram alcançar, mas é também uma viagem contínua. Nunca se chega verdadeiramente a um destino final, porque o mercado e o produto estão sempre a mudar.

É difícil dizer que existe uma abordagem específica capaz de levar uma empresa até lá. É mais um processo composto por várias ações diferentes. A IA pode reduzir o tempo necessário para executar essas tarefas, mas não fornece uma solução perfeita de forma instantânea.

Na minha experiência no Spotify, percebi quanto tempo pode ser necessário para alterar a trajetória de crescimento. É preciso fazer apostas, realizar experiências e tomar decisões corretas ao longo de muitos anos. Não é algo que aconteça rapidamente nem algo que uma única ferramenta possa resolver.

Hannah Clark: Faz sentido. Voltando à ideia da falsificação, gostaria de falar sobre a adequação das funcionalidades de IA em determinados produtos. Existe atualmente algum efeito de “objeto brilhante”, com empresas estabelecidas e empresas emergentes a sentirem pressão para integrar IA nos seus produtos.

Como se pode compreender se é realmente necessário utilizar IA ou se vale a pena investir numa funcionalidade de IA para um produto existente?

Craig Watson: Todos vimos casos de utilização preocupantes, como chatbots que tentam vender um automóvel ou que se desviam completamente do objetivo. Quando isso acontece publicamente, o impacto na marca pode ser enorme. É correto questionar os casos de utilização e garantir que a tecnologia é implementada de forma compatível e ética.

O erro surge quando as empresas entram diretamente no modo de solução sem compreender aquilo que o cliente está a tentar realizar. Por exemplo, utilizamos o Notion como base de conhecimento da nossa empresa remota. É uma excelente aplicação para IA, porque posso escrever um esboço e pedir à ferramenta que continue a escrever ou melhore o texto. A funcionalidade está integrada no meu fluxo de trabalho e existe um ciclo de feedback rápido.

O problema surge quando as pessoas não compreendem o que o utilizador final está a tentar alcançar. Se estivermos a otimizar algo que não ajuda realmente o utilizador a realizar o seu trabalho, a funcionalidade pode parecer interessante, mas não irá melhorar o produto.

É necessário voltar aos princípios fundamentais: compreender o que a pessoa está a tentar alcançar e perceber se a IA pode acelerar o fluxo, reduzir custos ou criar outra eficiência que justifique o investimento no desenvolvimento do produto.

Na Arro, passámos meses a aperfeiçoar a experiência de utilizador conversacional, porque essa é a base do produto. Faz sentido termos dedicado 80% ou 90% do nosso tempo a isso, em vez de acrescentarmos funcionalidades de IA aleatórias apenas para tornar o produto mais apelativo.

Tudo regressa à mesma pergunta: o que estão as pessoas a tentar alcançar? Como podemos acelerar ou melhorar esse processo? Se a IA for adequada para esse objetivo, então vale a pena investir nela.

Hannah Clark: Concordo plenamente. Para terminar, que outras precauções recomendaria, enquanto fundador, a outros fundadores ou gestores de produto durante a fase de descoberta, especialmente no contexto atual?

Craig Watson: Depende muito do contexto e da fase em que a empresa se encontra. Numa fase muito inicial, é necessário encontrar o mercado certo para o produto e compreendê-lo muito bem. Algumas pessoas constroem uma empresa com base num problema que conhecem; outras escolhem um mercado e procuram formas interessantes de o abordar.

A pior abordagem é construir uma solução e tentar encontrar posteriormente um problema que lhe corresponda. Contudo, isso também acontece. Numa empresa em crescimento, o problema pode ser ter um produto maduro, mas não dispor de capacidade de investigação suficiente para compreender como desenvolver uma nova funcionalidade.

Uma ferramenta como a Arro pode ajudar a escalar os esforços de investigação e a falar com mais clientes. No entanto, provavelmente não é a melhor opção para uma empresa numa fase muito inicial, porque nessa fase a criação de relações é essencial. É necessário falar diretamente com potenciais clientes, compreender os seus problemas e realizar investigação generativa em torno da proposta de valor.

O conselho principal é que não existe uma solução universal. Teresa Torres escreveu sobre descoberta contínua de produtos e Michele Hansen escreveu sobre como falar com clientes. Existem também excelentes recursos relacionados com os trabalhos a realizar.

Tudo depende da fase em que a empresa se encontra, mas atualmente existem muitas fontes excelentes de conhecimento sobre descoberta de produtos.

Hannah Clark: Concordo. Tivemos recentemente um episódio excelente com Steve Portigal, autor de um livro sobre entrevistas a utilizadores. Ele partilhou ideias muito interessantes sobre a psicologia de falar com pessoas e sobre como obter os melhores conhecimentos sem influenciar a conversa ou o resultado.

Esta foi uma excelente conversa, Craig. Agradeço muito a sua participação. Onde podem os ouvintes acompanhar o seu trabalho online?

Craig Watson: Podem visitar a Arro em www.arro.co. Também podem contactar-me no LinkedIn — basta procurar Craig Watson — ou no Twitter, onde o meu nome de utilizador é cdcwatson.

Terei todo o gosto em falar com as pessoas e responder a quaisquer perguntas.

Hannah Clark: Muito obrigada por participar. Agradecemos imenso a partilha de todos estes conhecimentos.

Craig Watson: Foi um prazer. Obrigado pelo convite, Hannah. Foi ótimo falar consigo.

Hannah Clark: Obrigada por nos ouvirem. Para obter mais conhecimentos, guias práticos e análises de ferramentas, subscreva a nossa newsletter em theproductmanager.com/subscribe. Pode ouvir mais conversas como esta subscrevendo o Product Manager na plataforma onde costuma ouvir os seus podcasts.