As jogadas mais enganadoras no produto, desmascaradas

Hannah Clark: As coisas nem sempre são o que parecem. Desde os preços de subscrição com isco e troca até às pessoas que juram que o milho doce sabe bem, não nos faltam razões para desconfiar de tudo — especialmente agora, no produto. A velocidade da mudança nesta indústria é tão elevada que as tendências podem começar a parecer boas práticas, e as verdadeiras boas práticas podem começar a parecer ultrapassadas. Mas quando o objetivo é criar um produto que cresça ao longo do tempo, cabe-nos evitar cair na hipnose do comboio das tendências.

A minha convidada de hoje é Matt Graney, CPO da Celigo. Matt tem mais de 20 anos de experiência em produto B2B e passou quase nove anos a fazer crescer a equipa de produto da Celigo, de quatro para mais de 45 pessoas. E embora a IA tenha provado ser uma oportunidade extraordinária para a empresa, ele reparou numa diferença entre as expectativas e a realidade relativamente a algumas das novas tácticas brilhantes que estão a inundar o nosso feed do LinkedIn. Desde protótipos disfarçados de código pronto para produção até ferramentas boas demais para serem verdade, vai ouvir a sua opinião sobre onde devemos avançar com cautela e a sabedoria comprovada pelo tempo com que conta para sobreviver a esta transformação da IA. Vamos começar.

Ah, já agora, temos conversas como esta todas as semanas. Por isso, se isto lhe parece interessante, porque não subscreve? Está bem, vamos começar.

Bem-vindos de volta ao The Product Manager Podcast. Estou hoje aqui com Matt Graney. Ele é CPO da Celigo.

Matt, muito obrigada por arranjares tempo na tua agenda para falar connosco.

Matt Graney: Obrigado, Hannah. É um prazer falar contigo hoje.

Hannah Clark: Podes contar-nos um pouco sobre o teu percurso e a tua jornada até te tornares CPO da Celigo?

Matt Graney: Sim, tenho trabalhado em produto B2B há bastante tempo, cerca de 20 anos. A Celigo é uma plataforma de integração e estou na Celigo há oito anos e meio, tendo entrado pouco depois do financiamento da série A.

E antes disso passei outros cinco anos e meio também na área das integrações. Não foi propriamente planeado, foi apenas a forma como as coisas aconteceram. Antes disso, estive envolvido em produtos relacionados com o ciclo de vida do desenvolvimento de software, incluindo ferramentas de modelação UML. Para quem ainda se lembra do que eram, comecei por ser engenheiro de software na Austrália, a trabalhar em telecomunicações e defesa.

E vim pela primeira vez para os EUA para trabalhar como engenheiro de vendas, na verdade para um produto de que me tornei um utilizador avançado enquanto estava na Motorola. Portanto, tenho um percurso bastante diversificado. Depois passei pelo marketing de produto e, finalmente, cheguei ao produto.

Hannah Clark: Uma missão. Nunca tinha ouvido descrever isso dessa forma.

É engraçado. Hoje vamos divertir-nos um pouco com um episódio muito vagamente inspirado no Halloween. Vamos concentrar-nos no tema das más jogadas de produto disfarçadas. E vamos começar por aprofundar a programação por intuição. Há muitas opiniões a circular sobre a programação por intuição na comunidade de produto.

E serei a primeira a admitir que as plataformas sem código são ferramentas fantásticas. Uso-as o tempo todo, mas também podem levar a momentos muito à Scooby-Doo, momentos em que tiramos a máscara e olhamos mais de perto, percebendo que as coisas não são, sabes, aquilo que parecem. Qual tem sido a tua experiência, Matt, com a programação por intuição nas equipas de produto?

Conta-me o bom, o mau e o péssimo.

Matt Graney: Sim. E teríamos escapado se não fossem vocês, miúdos chatos. Pois. Acho que é uma democratização, o que é incrível. Mas também temos de pensar na ilusão, sabes, com esse poder de fazer algo parecer bom. Isso não significa necessariamente que tenha sido construído correctamente.

E acho que há muita coisa que tem de acontecer nos bastidores. Talvez não devêssemos confundir protótipos rápidos com código pronto para produção. Portanto, está bem, criadores cidadãos, mas também precisamos de arquitectos cidadãos. E, no contexto do negócio em que estamos, por exemplo, B2B, estamos a lidar com software de infra-estruturas — estamos a falar de milhares de milhões de transacções por mês.

Há apenas certas partes da aplicação, talvez na camada frontal, em que nos sentiríamos confortáveis a programar por intuição, seja o que for. Por isso, acho que tem de se tratar da ferramenta certa para o trabalho, tal como sempre aconteceu. E, ao mesmo tempo, temos de garantir que existe uma cultura de experimentação, incentivando a equipa a correr riscos, a experimentar ferramentas novas e a manter-se actualizada com os desenvolvimentos mais recentes, num momento verdadeiramente revolucionário para toda a indústria.

Hannah Clark: Só para aprofundar um pouco esse ponto. Quando pensamos nos vários níveis de compreensão da tecnologia ao longo de toda a organização, pode ser muito tentador para pessoas com menos experiência, quer com a tecnologia quer enquanto fundadores recentes, ver aquilo que parece ser código funcional e simplesmente avançar com ele. E isso coloca muita pressão sobre as equipas de engenharia para acompanharem essa velocidade ou conseguirem desenvolver a esse nível tão rapidamente e fazer tudo parecer tão brilhante e novo.

Como ajudamos as partes interessadas a compreender as verdadeiras limitações e considerações entre o protótipo que vemos nas ferramentas de programação por intuição e o software pronto para produção?

Matt Graney: Sim, esse é um ponto muito importante porque, sabes, a velocidade até à demonstração não é a mesma coisa que a velocidade até à produção, especialmente quando estamos a falar de 5.000 clientes e de cargas de trabalho B2B. Por vezes dizemos que aquilo que fazemos, a infra-estrutura, é como a canalização.

Portanto, está bem, a IA pode pintar a casa, mas não vai necessariamente fazer a canalização da casa. Certo? É preciso ter a certeza de algumas destas coisas. Existem alguns desafios, quer seja a pressão sobre as equipas de engenharia ou até a pressão da equipa executiva. Recentemente, vi internamente membros bastante seniores de equipas não técnicas a programarem por intuição provas de conceito para mostrar novas capacidades de que os seus clientes precisam muito.

Isso certamente estimulou a imaginação, mas também está a criar uma pressão não verbalizada de que talvez isto seja acessível a toda a gente, de que é algo que podemos apressar para produção. E, sabes, se estamos a falar de edifícios, se voltarmos a pintar casas ou a fazer a canalização, estas não são necessariamente paredes estruturais, certo?

São a fachada. Pode parecer bem. E, mais uma vez, não quer dizer que não haja lugar para isso, porque a velocidade de criação de uma POC é simplesmente incrível. E temos de aproveitar isso em todas as oportunidades. Seja para ajudar um gestor de produto a explicar melhor os requisitos, seja para ajudar um designer a mostrar fluxos de trabalho alternativos.

Antes, poderiam passar o tempo a desenhar muitos ecrãs diferentes na sua ferramenta de design preferida. O poder do código funcional é inegável e temos de procurar aproveitá-lo sempre que possível, reconhecendo, ao mesmo tempo, que não é o mesmo que código pronto para produção.

Hannah Clark: E algo em que também tenho pensado é que estas ferramentas vão inevitavelmente tornar-se muito mais sofisticadas e nós, enquanto utilizadores, também vamos tornar-nos muito mais sofisticados a utilizá-las, o que significa, naturalmente, que estamos a caminhar para um custo de construção próximo de zero.

Enquanto líder de produto, que preocupações tens relativamente a essa tendência e o que tens feito para as mitigar na Celigo?

Matt Graney: Sim, Hannah, acho que esse é um excelente modelo mental, uma óptima experiência de pensamento para fazer. O que acontece se o custo de construir tender para zero?

Talvez esteja a aproximar-se rapidamente, com as sucessivas gerações destas ferramentas, como dizes, e com a capacidade dos utilizadores, incluindo utilizadores experientes, tal como vemos melhorias nas experiências habituais do tipo ChatGPT. Podemos esperar uma redução dramática, tornando a construção muito barata. Acho que, contra-intuitivamente, isso coloca ainda mais pressão sobre os gestores de produto para garantirem que estamos a construir a coisa certa. Não nos dispensa de fazer tudo aquilo que devemos fazer: analisar dados de produto, realizar investigação quantitativa e qualitativa com utilizadores, entrevistar clientes, criar conselhos consultivos de clientes, tudo isso.

Provas de conceito, testes A/B, trabalhar de perto num trio composto por gestores de produto, designers e engenharia, certo? Nada disso desaparece. E acho que temos de nos proteger contra isso porque, para manter o tema do Halloween, poderíamos acabar com um monte de zombies a andar por aí — projectos zombie, coisas tão fáceis de construir que talvez acabem por encher o produto de ideias que nunca chegaram realmente a concretizar-se.

Por isso, acho que, mais uma vez, algumas das disciplinas mais antigas da gestão de produto voltam a estar no centro, porque agora temos ainda mais escolha. A capacidade de tomar decisões e gerar os resultados certos tem de permanecer.

Hannah Clark: Concordo. E, falando de ideias talvez mal concebidas, tenho certamente visto uma explosão de ferramentas a inundar o mercado que parecem oferecer benefícios encantadores, enquanto escondem — ou talvez nem escondam, mas simplesmente oferecem — riscos muito sérios.

Tenho visto alguns conceitos bastante problemáticos a circular, nos quais consigo ver claramente uma oportunidade para pessoas mal-intencionadas manipularem as coisas de uma forma que não é realmente desejável. Que coisas tens visto neste espaço que te fazem parar para pensar e que papel continua a desempenhar o discernimento de produto, algo que simplesmente não pode ser automatizado?

Matt Graney: Acho que sempre procurámos talvez a bola mágica da gestão de produto, seja através de metodologias de avaliação como o RICE.

Também já vi essas metodologias serem utilizadas de forma abusiva, porque continuam a deixar muita margem de manobra para os gestores de produto influenciarem as pontuações. Não são precisas muitas rondas para perceber exactamente como mover o ponteiro e inclinar a balança a nosso favor. Por isso, acho que vamos ver aqui os mesmos tipos de riscos.

Acho que existem ferramentas que prometem talvez recolher toda a informação: telemetria do produto, todas as conversas que alguma vez existiram. Mas todos sabemos que há muitas coisas que acontecem fora dos canais formais, observações que talvez venham de uma ferramenta de repetição de sessões, mas que não estão escritas numa forma que um LLM consiga compreender.

Certo. Por isso, acho que não há substituto para um bom discernimento de produto. E, embora talvez tenhamos mais dados do que nunca, no fim de contas são dados incompletos. Continua a ser necessária uma visão, uma estratégia e, na gestão de produto, há apostas. Sim, fazemos apostas sabendo que vamos conseguir medir os resultados, esperamos nós, se fizermos bem o nosso trabalho.

Mas continua a ter de ser um processo iterativo, e não acho que exista uma resposta mágica que a IA nos possa dar para produzir subitamente um roteiro infalível, por assim dizer.

Hannah Clark: Sim, tendo a concordar. Estive a falar com um convidado que ainda não passou pelo programa — vai acontecer em breve — e discutimos o conceito de que a IA é uma tecnologia irregular, na qual há coisas em que é muito boa e podemos explorar essas vantagens, mas há outras em que não é assim tão boa, embora pareça ser.

Por isso, sim, é uma questão de sensibilidade de produto, mas também de compreender suficientemente bem a tecnologia para conseguirmos verificar até que ponto estamos realmente a depender demasiado dos LLM para fazerem o trabalho por nós.

Matt Graney: E acho que, mesmo com interfaces de conversação básicas, já vimos muitos exemplos de algumas IAs serem bastante bajuladoras, certo? Se não estivermos realmente atentos a isso, podemos começar a pensar que temos sempre óptimas ideias.

Por isso, pessoalmente, gosto de apimentar um pouco as coisas e garantir que obtenho uma visão alternativa, pedindo uma análise hipercrítica das ideias que tenho. Caso contrário, pareço sempre um génio quando falo com a minha IA.

Hannah Clark: Sim, elas adoram-nos, não é? Então, vamos ultrapassar um pouco esse ponto e falar de outros atalhos atractivos, mas em última análise insustentáveis, que estamos a ver as equipas de produto adoptar neste momento.

Quais são alguns dos maiores infractores que tens visto?

Matt Graney: Acho que um dos meus favoritos são os OKR. Acho que temos uma relação problemática com eles. Talvez ao nível da empresa não seja assim tão má, mas no produto pode ser um pouco desafiante. E acho que é isto que acontece quando tentamos importar algo de uma empresa gigante, neste caso, uma das empresas de grande nome, sem termos necessariamente o resto da cultura que o acompanha. Em geral, não podemos simplesmente enxertar um membro. Está bem, agora vamos falar de monstros de Frankenstein. Se isso não fizer parte da cultura, estas coisas nunca vão realmente unir-se de forma adequada.

Certo? Esse é um exemplo. Também já todos vimos o teatro das métricas, um conjunto de métricas de vaidade que não nos dizem grande coisa nem conduzem a melhores decisões. Isso é uma armadilha que já existe há algum tempo. Talvez falemos de fábricas de funcionalidades ou quintas de funcionalidades, e talvez agora tenhamos a capacidade de cultivar por hectare, certo?

Por causa da escala, mais uma vez, a nossa capacidade de produzir está a aumentar. Como garantimos que estamos a produzir a coisa certa? Acho que todas estas coisas são essencialmente atalhos. Mais uma vez, procuramos soluções mágicas que aparentemente funcionam noutro lugar porque alguém as leu no X ou no LinkedIn, sem o rigor necessário por trás delas. Isso vai simplesmente corroer a confiança, penso eu.

Hannah Clark: Sim, concordo relativamente à erosão da confiança. Uma das coisas que me vem à cabeça é o impacto na comunidade de investigação de UX. Sei que os investigadores de UX há muito sofrem por serem vistos como o aspecto menos valorizado do processo de produto. Mas agora, com os LLM, acho que temos uma visão ainda mais confusa de como realizar correctamente essa investigação e do papel da IA no apoio a esse processo.

É uma daquelas coisas que gostaria de poder gritar aos quatro ventos: simplesmente não se pode substituir a investigação com utilizadores por um LLM.

Matt Graney: E a nossa responsável pela investigação com utilizadores disse-me recentemente exactamente a mesma coisa: as transcrições da IA são excelentes. Está bem, palavra por palavra, isto foi o que foi realmente dito. Mas os conhecimentos obtidos muitas vezes não captam as subtilezas, certamente neste momento, embora isso possa mudar.

Como dissemos, há gerações sucessivas desta tecnologia. Podemos estar optimistas relativamente ao futuro, mas, por agora, acho que é essencial compreender as limitações e protegermo-nos contra elas através da prática cuidadosa de uma boa investigação com utilizadores.

Hannah Clark: Mudando um pouco de assunto, vamos falar da tua experiência a fazer crescer equipas. Já o fazes há algum tempo. Fizeste crescer a tua equipa na Celigo de dois gestores de produto para dez vezes esse tamanho. Tens muita experiência na criação de processos. Tenho a certeza de que houve alguns erros pelo caminho.

Podes contar-nos um pouco quais foram algumas das tuas principais conclusões relativamente ao crescimento de equipas, desde organizações pequenas até à sua maturidade? O que aprendeste que continua a ser válido, mesmo nesta época de IA, que está a evoluir tão rapidamente?

Matt Graney: Sim, tem sido uma jornada, como dizes, Hannah.

Entrei na empresa e herdei dois gestores de produto e dois redactores técnicos. Uma equipa de quatro pessoas. Agora somos cerca de 45, quase 50, certo? Tem sido muita coisa e é uma equipa composta por gestores de produto, designers, investigadores, documentação técnica e operações de produto. Acho que o que aprendi foi talvez a ordem pela qual devemos fazer as coisas.

No início, a vida era simples. Eu estava ao lado da equipa, mais do lado da plataforma, a trabalhar directamente com o nosso CTO. Éramos três numa sala a dar prioridade a todo o backlog. Era tão simples quanto isso. Mas é evidente que, a longo prazo, isso não é escalável. Trabalhar com equipas offshore, tanto de gestores de produto como de engenharia, complica as coisas.

Fomos acrescentando processos gradualmente. No início, o design era simplesmente o melhor que conseguíamos fazer com as ferramentas que tínhamos. Os gestores de produto faziam o melhor possível. Lembro-me sempre de que era quase como juntar capturas de ecrã, como uma carta de resgate, algo tão rudimentar e quase embaraçoso. Depois, na nossa primeira incursão por designers profissionais, não fizemos um trabalho muito bom.

Senti que utilizávamos o design mais como um modelo de agência — “Olá, façam isto parecer bonito” — em vez de pensarmos realmente na experiência do utilizador, em oposição ao simples design. A documentação sempre foi uma área em que fomos razoavelmente bons e isso continuou a evoluir. Fomos acrescentando processos à medida que precisávamos deles. Não estou a dizer que somos perfeitos, mas tem funcionado bastante bem para nós e talvez nem sempre tenhamos implementado todas as cerimónias certas.

Mas acho que, em termos de direcção, temos estado correctos. Tem sido uma questão de ter processos suficientes e responder às necessidades do negócio, proporcionando espaço para o crescimento de todos os membros da equipa, e assim por diante. Mas tem sido uma jornada. Nunca tinha liderado uma equipa deste tamanho. Há aqui muitos primeiros momentos.

E tenho algumas cicatrizes de batalha e cabelos brancos para o provar.

Hannah Clark: A sério? Onde?

Matt Graney: Ah, sim. Talvez culpe os meus filhos. Está bem.

Hannah Clark: Podemos culpar tudo os nossos filhos. Eu faço isso o tempo todo. Para desenvolver um pouco esse ponto e relacioná-lo com o que estávamos a falar antes, tenho curiosidade em saber quais são as práticas de gestão de produto comprovadas pelo tempo que consideras talvez mais importantes agora do que nunca, mesmo que pareçam um pouco antiquadas.

Há algum conceito, estrutura ou prática a que tenhas voltado mais do que nunca ou que tenhas enfatizado com as tuas equipas na era da IA?

Matt Graney: Como disse, à medida que o custo de construir talvez se aproxime de zero, acho que isso nos responsabiliza ainda mais pela definição de prioridades. Por isso, penso mais nas ferramentas de priorização.

Parte disso passa por alinhar toda a gente em torno de uma visão e de uma estratégia, garantindo que todos na equipa têm clareza suficiente para tomar decisões localizadas. Nada substitui o contacto directo com utilizadores e clientes. Sinto que os primeiros tempos da minha carreira foram uma espécie de negociação de reféns, com clientes insatisfeitos, a tentar acalmá-los ou convencê-los, ou algo do género.

Acho que nada substitui isso, porque ajuda realmente a compreender o quadro completo do produto e dá aos gestores de produto as ferramentas de que precisam para perceber melhor como devem definir prioridades. Não há substituto para uma priorização rigorosa. A certa altura, a capacidade vai acabar.

Por vezes olho com inveja para empresas muito maiores, mas sei que, algures, têm exactamente os mesmos tipos de problemas. Sei que todos os gestores de produto os têm: nunca há capacidade suficiente. Portanto, tudo se resume à priorização e aplicam-se todas as ferramentas habituais. Como disse, é aqui que a IA entra em cena: talvez para ajudar a compreender um todo e digerir uma grande quantidade de informação, o que é indispensável na investigação, e depois, como falámos com a programação por intuição, quando utilizada no seu devido lugar, para criar protótipos rapidamente.

Acho que algumas pessoas também se esquecem de que a ideia original dos protótipos é serem descartados. Não foram feitos para servir de base ao que entra em produção. E se conseguirmos fazer todas essas coisas, acho que as ferramentas estão disponíveis para acelerar realmente a forma como trabalhamos e, mais uma vez, ajudar na priorização.

Hannah Clark: Muito bem dito. Para terminar com uma nota optimista, onde dirias que estão as oportunidades de maior valor e mais legítimas para a IA melhorar o trabalho dos gestores de produto? E que conselho darias aos líderes de produto que querem realmente adoptar a IA de uma forma ponderada, sem caírem em nenhuma destas armadilhas ou nos potenciais momentos de revelação de que falámos?

Matt Graney: Sim, acho que uma das grandes oportunidades está na investigação. A capacidade de realizar investigação competitiva para um gestor de produto é uma ferramenta que gostaria de ter tido no passado. Claro que parte disso se deve ao facto de os fornecedores serem muito mais transparentes: actualmente, a maior parte da documentação dos produtos está disponível. Mas é realmente necessário fazer esse trabalho.

Essa é uma oportunidade enorme. Acho também que podemos preparar rapidamente documentação. Muitas pessoas falam de escrever primeiro comunicados de imprensa ou perguntas frequentes. Penso que esta é uma óptima oportunidade. Antes, isso podia parecer trabalhoso, mas hoje é uma excelente forma de começar. Trata-se de utilizar ferramentas como esta para expandir a imaginação.

Em que é que não estou a pensar? Quando é devidamente orientada, a IA pode ser muito boa a identificar alguns pontos cegos. Sim, por vezes pode alucinar, mas, mesmo a partir daí, podem surgir ideias ou formas de pensar laterais que não nos tinham ocorrido. Acho, no entanto, que a IA pode ser um pouco como um espelho deformador de feira.

Se já estiver tudo desorganizado à partida, se não tivermos a disciplina necessária, a IA só vai piorar as coisas. Mas, quando utilizada correctamente, pode proporcionar o foco de que os gestores de produto precisam.

Hannah Clark: Sim, tendo a concordar. Matt, foi maravilhoso. Obrigada por partilhares todo o teu conhecimento e por verificares connosco algumas destas coisas que vemos tanto neste espaço.

Agradeço-te muito. Onde é que as pessoas podem acompanhar o teu trabalho online?

Matt Graney: O melhor é encontrarem-me no LinkedIn. Parece que estou lá mais do que em qualquer outro sítio, por isso espero falar com as pessoas por lá.

Hannah Clark: Excelente, muito obrigada.

A seguir, no The Product Manager Podcast. Se achou que este episódio foi intenso relativamente às expectativas e à realidade, estamos prestes a aprofundar a tecnologia dos LLM num episódio que vai pôr em causa tudo o que pensa saber sobre IA.

Embora o potencial da tecnologia seja ilimitado, as limitações actuais são muito mais complexas do que imaginamos — tal como os impactos sobre nós enquanto criadores e utilizadores de produtos de IA. Este episódio vai ser intenso, por isso subscreva já para se juntar a nós da próxima vez!