Estamos a prometer demasiado e a cumprir pouco com a IA?

Hannah Clark: A inovação é cumulativa — e, com isto, quero dizer que as formas como resolvemos problemas agora não poderiam ser eficazes se não fosse pelas formas como os resolvemos anteriormente. E, embora hoje em dia as palavras «dados de treino» sejam normalmente utilizadas no contexto do desenvolvimento de IA, vale a pena recordar que os utilizadores também são consumidores e detentores de enormes quantidades de dados de treino, acumulados ao longo de anos a descobrir e adoptar cada peça de software que alguma vez utilizaram. Por isso, enquanto estamos ocupados a obsessivamente analisar casos de utilização e novas funcionalidades para os nossos próprios produtos de IA, os utilizadores estão a seguir um guião diferente. Estão a operar com preferências, hábitos e, sobretudo, expectativas que adquiriram desde a primeira vez que abriram um navegador de Internet.

A minha convidada de hoje é Dhruv Batra, cofundador e cientista-chefe da Yutori. Como estão prestes a ouvir, a experiência de Dhruv em investigação, desenvolvimento, treino e liderança na área da IA estende-se por mais de 20 anos. Por isso, como podem imaginar, tem ideias muito mais fascinantes sobre a tecnologia do que aquelas que conseguiríamos abordar num único episódio. Tendo isso em conta, quando perguntei a Dhruv o que mais gostaria de comunicar aos líderes de produto, não hesitou. Disse-me que as capacidades da IA são extremamente irregulares. E estão prestes a ouvir exactamente o que isso significa para os vossos utilizadores, para a vossa organização e para o futuro próximo dos produtos. Vamos começar.

Ah, já agora, temos conversas como esta todas as semanas, por isso, se isto vos parece interessante, porque não subscrevem? Está bem, vamos começar.

Bem-vindos de volta ao podcast The Product Manager. Estou hoje aqui com Dhruv Batra, cofundador e cientista-chefe da Yutori.

Dhruv, muito obrigada por se juntar a mim hoje.

Dhruv Batra: Claro. Obrigado por me receberes, Hannah.

Hannah Clark: Vamos começar com algumas informações de contexto. Podes falar-nos um pouco sobre o teu percurso e sobre como a tua jornada na investigação de IA, desde a aprendizagem profunda até à actual revolução generativa, moldou a tua perspectiva sobre o ponto em que estamos agora com esta tecnologia?

Dhruv Batra: Sou investigador de IA. Estou nesta área há quase 20 anos. Nas discussões actuais, a investigação em IA parece começar com a revolução do ChatGPT, em 2022. Entrei na área em 2005, antes da última época da aprendizagem profunda. Fiz o doutoramento na CMU, a trabalhar em problemas fundamentais de aprendizagem automática aplicados à visão computacional, como a detecção de objectos em imagens.

Ao longo dos anos, construí chatbots e os primeiros sistemas capazes de responder a perguntas sobre imagens e de manter um diálogo sobre imagens. Fui professor no Georgia Tech durante muitos anos. Criei a disciplina de aprendizagem profunda. Também passei oito anos na Meta. Fui director sénior, a liderar a área de IA incorporada da FAIR. A FAIR é a divisão de investigação fundamental em IA da Meta.

A IA incorporada é IA para robótica e para óculos inteligentes. Uma das minhas equipas na Meta tinha criado a primeira versão de um modelo de resposta a perguntas sobre imagens que foi lançado como assistente multimodal na primeira versão dos óculos Ray-Ban Meta. Outras equipas minhas criaram o simulador 3D mais rápido do mundo para treinar robôs virtuais em simulação, antes de os implementarmos no robô da Boston Dynamics.

Vi, de certa forma, todo o espectro: visão computacional, chatbots e robótica. Fico simplesmente fascinado com a inteligência e com a construção de sistemas inteligentes, e foi isso que me trouxe até à Yutori.

Hannah Clark: És claramente uma pessoa muito qualificada para falar sobre este tema, algo que penso que todos queremos compreender o melhor possível. Estou muito entusiasmada com o tema de hoje, porque vamos analisar mais atentamente as expectativas e a realidade no que diz respeito ao estado actual da tecnologia de IA, e sinto que é necessário ter um conjunto específico de qualificações para conseguir falar verdadeiramente sobre este assunto e responder a algumas das perguntas que estão realmente presentes nas nossas mentes.

Hoje vamos analisá-lo sob três perspectivas: a do utilizador, a empresarial e a tecnológica da IA. Começando pelo lado do utilizador, estamos actualmente, obviamente, presos num enorme ciclo de entusiasmo em torno da IA, mas os utilizadores podem frequentemente ter resultados muito inconsistentes, dependendo das ferramentas e dos casos de utilização que estão a explorar.

Na tua opinião, o que está a causar actualmente a diferença entre aquilo que as pessoas, do lado do utilizador, esperam que a IA faça e aquilo que ela consegue realmente oferecer?

Dhruv Batra: Penso que é uma excelente pergunta. Refere-se a um problema que está no centro não só da criação de produtos, mas também da investigação em IA, e que se relaciona com aquilo a que muitas vezes se chama a natureza irregular da inteligência.

Tal como acontece com muitos destes temas, existe uma famosa banda desenhada do XKCD em que uma figura semelhante a um gestor de produto pede a uma figura semelhante a um engenheiro: «Podes criar-me uma aplicação? Sempre que alguém, um utilizador, tirar uma fotografia, quero saber se essa fotografia foi tirada num parque nacional», e o engenheiro responde: «Claro, isso parece uma simples consulta baseada em GPS a uma base de dados.

Dá-me algumas horas, deve ser possível». Depois, a frase seguinte do gestor de produto é: «Avisa-me se a fotografia for de um quadro». E a resposta do engenheiro é: «Vou precisar de uma equipa de investigação, 50 milhões de dólares, cinco anos e talvez consigamos responder a essa pergunta». O exemplo específico dessa história já não é válido.

A visão computacional progrediu o suficiente para que hoje consideremos a detecção de espécies de aves ou de cães um problema resolvido. Mas penso que o ponto que a história tenta ilustrar é que existem transições extremamente acentuadas entre problemas triviais e problemas impossivelmente difíceis. E essa brusquidão é difícil de conceptualizar e prever para as pessoas.

Isto é verdade não só para os utilizadores de tecnologias. Também é verdade para os criadores de tecnologias, para os criadores de produtos e para os investigadores de IA. Não são propriamente as credenciais que importam, mas quando passamos tempo a construir esta tecnologia, diferentes investigadores acabam por criar modelos mentais daquilo que as máquinas conseguem e não conseguem fazer.

E, no mundo actual, por exemplo, fazemos piadas sobre termos criado chatbots capazes de responder a perguntas internacionais de matemática e de relações públicas, mas que, simultaneamente, cometem erros como dizer que 9,11 é maior do que 9,9, algo que nenhum ser humano faria. Mas esse é simplesmente um tipo de erro que os chatbots cometem. Então, onde é que isso nos deixa?

Antes de mais, porque é que isso acontece? Onde é que isso nos deixa? Acontece por várias razões. Estamos a construir sistemas inteligentes que se encontram num ponto diferente do panorama da inteligência, e os seres humanos abordam os sistemas inteligentes com a sua compreensão humana, baseada na interacção com outros seres humanos.

Quando falo com uma pessoa, ela diz-me que frequentou o ensino secundário, uma faculdade, uma universidade ou que tem um doutoramento, situando-se em diferentes níveis da sua especialização. Tenho expectativas diferentes em relação a cada uma delas. Quando alguém diz que tem um doutoramento em química, não espero que cometa um erro do tipo «9,11 é maior do que 9,9».

Espero simplesmente que tenha conhecimentos matemáticos, que seja geralmente bem informado sobre o mundo e assim por diante. Essas expectativas quebram-se quando estamos a lidar com sistemas de IA, porque não podemos confiar nos mesmos pressupostos partilhados. O desempenho em determinadas tarefas exige treino para essas tarefas.

E, apesar de termos criado sistemas de uso geral nos últimos anos, existe um significado muito específico quando dizemos generalidade. Isso torna muito difícil para os consumidores criarem modelos mentais. E, por isso, existe esta experiência talvez frustrante em que as pessoas chegam a um produto.

O produto diz que consegue fazer muitas coisas. Pedimos-lhe que faça aquilo que está listado no sítio Web do fabricante desse produto e talvez consiga fazê-lo; fazemos uma ligeira variação da pergunta e ele já não consegue. E isso pode ser uma experiência frustrante.

Hannah Clark: Sem dúvida. E este também é um comportamento de consumo muito novo, porque estamos habituados a funcionalidades muito específicas, muito intuitivas e muito fáceis de utilizar. Existe, sem dúvida, esta questão de as pessoas recorrerem à sua aprendizagem anterior de interacção com uma conversa ou com outro ser humano e aplicarem essas expectativas a uma funcionalidade que é, em grande medida, indefinida.

Não compreendemos verdadeiramente as limitações das diferentes competências, por assim dizer. Portanto, sim, é uma tecnologia muito complexa que estamos todos a aprender a utilizar em conjunto. Quando pensamos em tarefas do dia-a-dia que a IA poderia automatizar, como marcar viagens ou gerir horários, o que torna tarefas desse tipo mais difíceis de resolver do que as pessoas pressupõem?

Dhruv Batra: Vou utilizar a Yutori e aquilo que estamos a construir como exemplo. Na Yutori, estamos a criar assistentes pessoais capazes de automatizar fluxos de trabalho banais na Web. O nosso primeiro produto chama-se Scouts. É uma equipa de agentes que monitoriza qualquer coisa na Web por nós. Era extremamente importante para nós afirmar claramente esta expectativa: este produto monitoriza uma informação.

Não se pode pedir ao produto que faça uma reserva ou compre algo por nós. Não cria apresentações, não faz os trabalhos de casa e não escreve código. Não é capaz de fazer tudo o que podemos fazer num navegador, mas pode, para consumidores individuais, avisar-nos quando o nosso artista favorito vem à nossa cidade.

O artista pode anunciar isso em vários sítios Web. Talvez eu visite esses sítios Web com alguma frequência. Gostaria simplesmente que verificasses esses sítios com essa frequência. Talvez esteja à procura de reservas para algo que exija preencher um formulário simples num navegador e clicar em botões. Gostaria que este agente fizesse isso por mim e me dissesse que informação está disponível.

Talvez eu seja um recrutador e esteja a acompanhar mudanças de funções de um determinado conjunto de pessoas. Se anunciarem isso no X, no LinkedIn ou numa publicação no blogue, avisa-me quando acontecer. Então, porque é que isto é difícil? Parece uma coisa trivial. Os seres humanos sentam-se, abrem o navegador, vão a uma determinada página e preenchem certas informações.

Porque é que isto é difícil? Fundamentalmente, estes problemas são difíceis porque são conhecidos como problemas de tomada de decisões sequenciais. Encontramo-nos num determinado estado, talvez numa página Web. Temos de realizar algumas acções diferentes. Os sítios Web estão organizados para consumo humano. A leitura do código HTML é extremamente inconsistente no que diz respeito à forma como os botões são anotados ou identificados nas páginas Web entre diferentes sítios.

Fundamentalmente, trata-se de um problema de percepção. Temos de clicar num botão e depois acontece algo. Talvez seja necessário percorrer a página, preencher alguma coisa e algo acontece. Qualquer erro cometido ao longo do caminho simplesmente se propaga, e os erros iniciais conduzem a falhas posteriores.

É um problema semelhante àquele com que a robótica e a indústria dos veículos autónomos lidaram. Percebemos que, se os robôs cometem um erro, esses erros se propagam. Se nos desviarmos ligeiramente da faixa de rodagem, deixamos de estar no centro da faixa. Temos de fazer uma manobra de correcção de trajectória.

Da mesma forma, nos agentes de automatização de navegadores que estamos a criar, se acabarmos numa parte de uma página Web que bloqueou ou onde não deveríamos estar, não vamos encontrar a resposta. Por isso, é necessário aprender a recuperar de erros quando se opera no mundo real. Também existem tarefas apenas de leitura e tarefas de escrita.

Se preenchermos um formulário e clicarmos em enviar, alguns sítios Web não permitem voltar atrás para o preencher novamente, o que significa que cometemos um erro irrecuperável. É difícil treinar para erros irrecuperáveis e, para isso, é necessário criar réplicas do mundo real. É isto que os especialistas em robótica fazem ao criar simuladores 3D do mundo, quase como um jogo virtual, treinando robôs virtuais em simulação e depois implementando-os no mundo real.

É também o que fazemos com os agentes de automatização de navegadores. Quando temos de os treinar para preencher um formulário e clicar em enviar, ou talvez para comprar algo na Web, esses erros serão irrecuperáveis se forem cometidos. Por isso, é necessário treinar em simulação. Estas são algumas das razões que tornam estes problemas difíceis, e muitas vezes é difícil saber que acções realizadas ao longo do caminho por um agente de IA contribuíram para o sucesso ou para as falhas. Isso é conhecido como o problema da atribuição de crédito.

Hannah Clark: Todas estas coisas que, enquanto seres humanos, estamos bem treinados para fazer parecem simples. No entanto, a nível técnico, estamos perante algo muito mais complexo. Sei que isto nem sequer tem em conta aspectos como as preferências. A que horas, onde no restaurante queres sentar-te, no bar?

Existem muitos outros factores que imagino serem simplesmente impossíveis de tratar do ponto de vista da programação.

Dhruv Batra: Vou dar um pequeno exemplo que ilustra isto. Os seres humanos estão habituados a determinados padrões de design. Por exemplo, quando acedemos a uma página Web e tentamos marcar uma reserva ou uma consulta, existe um padrão de design comum: se uma data ou um horário estiver a cinzento ou riscado, compreendemos que não está disponível, mesmo que não exista texto acima ou à volta a dizer que esse horário não está disponível.

Compreendemos isso porque fomos expostos a esse padrão de design em sítios Web que visitámos ou em vários textos que vimos ao longo do tempo. Como é que as máquinas compreendem isto? Podem ter lido muitos livros, mas têm de interagir com sítios Web para compreender que o texto a cinzento significa alguma coisa.

Este é apenas um exemplo dos tipos de padrões de design destinados ao consumo humano que as máquinas têm de absorver. Clicar neste botão não fará nada e não existe texto a descrever a sua finalidade. É simplesmente necessário saber o que significa.

Hannah Clark: Isto é muito interessante. Faz-me lembrar uma conversa que tive há muito tempo com Nimrod Priell, fundador da Cord.

Falámos sobre a evolução do comportamento dos utilizadores e sobre como estas mudanças incrementais, bem como a forma como compreendemos os elementos de UX e a disposição e o design gerais dos sítios Web e da tecnologia ao longo dos anos, constituem uma espécie de activo cumulativo que todos nós tomamos realmente como garantido. E isto é algo que nos é muito difícil comunicar.

É uma espécie de linguagem partilhada neste momento, que fomos construindo ao longo de muitos anos de evolução tecnológica. É muito difícil comunicá-la a uma máquina. Penso que esta é uma área fascinante e quero aprofundar um pouco mais o lado do comportamento dos consumidores. Como extensão de alguns destes comportamentos e padrões que fomos interiorizando ao longo do tempo, este é agora um processo contínuo. Que mudanças na forma como as pessoas interagem com a tecnologia devem os líderes de produto começar a preparar para o futuro próximo?

Dhruv Batra: O aparecimento de produtos de IA no mercado de consumo alterou certamente as expectativas das pessoas. Há agora crianças a crescer que simplesmente esperarão poder falar com máquinas.

Existe sempre aquele episódio de ficção científica ou aquela história futurista em que crianças que crescem em civilizações tecnologicamente avançadas, quando são expostas a uma tecnologia mais antiga, perguntam: «Porque é que não posso falar com o meu televisor? Porque é que ele não me compreende?» Penso que também estamos a assistir a essa mudança nas expectativas dos comportamentos dos consumidores.

Sentimos que deveríamos poder expressar-nos, que deveríamos simplesmente poder falar com a máquina. Ela deveria possuir determinadas capacidades de uso geral. Deveria conseguir manter um diálogo coerente. Deveria compreender os nossos padrões de utilização. Foi também isso que motivou o trabalho e a visão da Yutori.

Vemos a evolução da Web nos últimos 30 anos como avanços incrementais sobre uma tecnologia central que liga conteúdos e serviços aos seres humanos. A Web foi concebida sobretudo para consumo humano, porque eram essencialmente olhos humanos a navegar na Web. Agora, as pessoas esperam simplesmente poder dizer às máquinas o que querem que elas façam no computador e no navegador.

Porque é que eu, enquanto pessoa, deveria de me sentar, clicar em botões e preencher o meu nome, a morada e os dados do cartão de crédito para comprar algo ou obter alguma informação? Isto deveria ser automatizável, e penso que é isso que estamos a observar: uma mudança no comportamento dos consumidores. A ideia de ter 30 separadores abertos para procurar um único artigo que estou a tentar encontrar, depois de já ter lido 20 avaliações diferentes, está a desaparecer.

As pessoas querem simplesmente perguntar a um sistema de investigação aprofundada ou a um sistema de monitorização: «Porque não me avisas quando isto acontecer?» O passo seguinte é: se me disseste que o meu artista favorito vem à cidade e actua na sexta-feira, porque não compras os bilhetes por mim enquanto estou sentado a preencher formulários e outras coisas?

Penso que a mudança nas expectativas dos consumidores está a subir um nível de abstracção: falar com o software e esperar que o software automatize as partes banais das nossas vidas. Quase se transforma numa lista de tarefas com superpoderes, e penso que haverá uma noção de proactividade.

Não queremos sentar-nos e explicar tudo de cada vez. «Eis quem sou, eis quais são as minhas preferências.» Existe uma noção de memória. Quando compreendemos a memória e a personalização, porque não fazer algo de forma proactiva? Porque tenho de me sentar e dizer as coisas? É quase como se toda a gente passasse a ter um assistente, um funcionário com superpoderes ou um chefe de gabinete.

Hannah Clark: Também se percebe como algumas das tecnologias com que interagimos diariamente contribuem para isso. Pensemos na página «Para si» do TikTok e na tecnologia que aprende as nossas preferências, aprende aquilo com que provavelmente vamos interagir e que nos vai envolver. Aplicamos essa mesma lógica à tecnologia que utilizamos agora, sabendo que ela sabe muito sobre nós e sobre as nossas preferências e hábitos.

É interessante como o nosso panorama tecnológico está, de certa forma, a treinar algumas destas expectativas. Penso que estas relações são importantes para antecipar o que os consumidores vão esperar, o que constitui uma excelente transição para o lado empresarial.

Actualmente, não é surpreendente vermos muitas empresas a correr para o mercado com produtos e funcionalidades de IA, prometendo rapidamente capacidades transformadoras com diferentes graus de sucesso. Quais dirias que são os maiores erros cometidos pelas equipas de produto ao definir o âmbito e o posicionamento das suas funcionalidades de IA?

Dhruv Batra: Penso que isto remete novamente para a questão da natureza irregular da inteligência. É necessário ter muito cuidado. Isto afecta não só os consumidores, mas também os criadores. É preciso ter muito cuidado para não prometer o céu, porque não será possível cumpri-lo no primeiro dia. Ao mesmo tempo, as expectativas dos consumidores relativamente à generalidade estão a aumentar.

Esperam que não sejamos extremamente limitados, porque o ChatGPT responde a qualquer pergunta. Então, porque não podemos fazer tudo? Existe, assim, a armadilha de adoptar o padrão de design de uma caixa de texto como porta de entrada para qualquer coisa. Não se diz nada ao utilizador. Promete-se o mundo.

«O meu agente consegue fazer tudo.» Isso conduz à frustração dos utilizadores, porque, em primeiro lugar, estão perante o problema de uma tela em branco. Que tipos de coisas posso perguntar aqui? Se não estiver calibrado, vou pedir coisas que o agente não consegue fazer e ficarei frustrado.

Os utilizadores vão certamente sentir isso. Esta é uma das razões pelas quais, para o nosso primeiro produto, definimos um âmbito de capacidades bastante limitado. Os Scouts são agentes que monitorizam qualquer coisa na Web. Não iniciam sessão em serviços nem executam acções de escrita nesses serviços. É um produto de monitorização apenas de leitura. No entanto, não dissemos que era apenas monitorização de preços da Amazon ou de eventos do Ticketmaster.

Qualquer informação digital disponível na Web, à qual se pudesse aceder abrindo um navegador, pode ser acompanhada por estes agentes, que nos avisam por e-mail quando algo acontece. Basta dizer-nos em linguagem natural e indicar a frequência com que se pretende a monitorização. A razão pela qual fizemos isto foi ser extremamente importante para nós entregar esta capacidade.

É uma capacidade apenas de leitura. Não estamos a cometer erros irrecuperáveis. Se tomarmos uma decisão de compra em nome do utilizador, este ficará frustrado se for comprado o artigo errado. No entanto, existe uma certa generalidade nos tipos de consultas que podem ser feitas e nos locais onde se espera que a informação apareça.

A partir daí, é necessário subir a escada da confiança. Inicialmente, entregámos valor sem pedir credenciais de acesso nem informações de cartão de crédito. Contudo, depois de observarem esse valor, os utilizadores esperarão naturalmente que sejamos capazes de fazer mais. Se estiver a acompanhar a vinda de um artista à cidade, o passo seguinte é: «Arranja-me um bilhete».

Se estiver a acompanhar a disponibilidade de uma reserva num restaurante, o passo seguinte é fazer essa reserva. Se for recrutador e estiver a acompanhar a mudança de um determinado candidato, o passo seguinte é redigir um e-mail de contacto. Do ponto de vista de um criador, sou um principiante. Sou investigador de IA. Não sinto que esteja numa posição que me permita dar conselhos.

Posso apenas chamar a atenção para a cautela que seguimos: existe uma natureza irregular da inteligência. Algumas tarefas serão resolúveis e outras não. Normalmente, as tarefas que conseguimos resolver são aquelas em que temos a possibilidade de praticar. Por isso, têm de ser tarefas em que os erros não sejam demasiado dispendiosos, permitindo-nos evoluir incrementalmente a partir daí.

Hannah Clark: São palavras muito sábias. Vejo isto muitas vezes e compreendo perfeitamente o que queres dizer relativamente à frustração dos utilizadores perante limitações que são opacas para a sua experiência. Entram num chatbot e interagem naturalmente com ele da mesma forma que esperariam interagir com um agente humano.

Isso pode causar muita frustração. Existe uma análise de custo-benefício entre limitar o âmbito do que é possível e correr o risco de os consumidores abandonarem o produto e ficarem com um menor grau de confiança na tecnologia em geral.

Dhruv Batra: E, naturalmente, se não encontrarem valor naquilo que disseste que conseguias fazer, terão experiências abaixo do ideal e abandonarão o produto. Não voltarão.

Hannah Clark: Vamos aprofundar um pouco essa questão. Penso que a confiança é uma componente central da razão pela qual as pessoas abandonam um produto nesse momento crítico. Como devem os líderes de produto pensar na construção de confiança com os consumidores sem prometer em excesso capacidades que ainda não estão prontas ou que não conseguem fornecer?

Dhruv Batra: Penso que isto remete para a pergunta anterior. As pessoas têm de ver valor antes de entregarem credenciais ou informações sensíveis, como cartões de crédito. Se, logo no primeiro passo, se pede aos consumidores — existem algumas aplicações que tentaram fazer isto — acesso ao calendário e à caixa de entrada de e-mail, bem como alguns outros dados de acesso, antes de sequer verem aquilo de que o produto é capaz, essa é uma estratégia extremamente arriscada. Pode tornar-se viral nas redes sociais, mas imaginemos estar no lugar desse utilizador. Quero mesmo entregar o meu e-mail profissional, que contém documentação sensível, ou o meu cartão de crédito sem saber o que o produto consegue ou não consegue fornecer?

Foi por isso que começámos sem autenticação, sem escrever e sem alterar inicialmente o estado do mundo. Apenas leitura. Isto significa que é possível tentar novamente se forem cometidos erros. A IA não promete uma precisão de cem por cento.

É possível tentar novamente num produto apenas de leitura. Isso não é possível num produto de escrita com erros irrecuperáveis. São estas as coisas que temos em mente quando precisamos de subir a escada da confiança com os nossos utilizadores.

Hannah Clark: Consigo ver aqui uma ideia semelhante a um exemplo não relacionado, mas que ilustra um ponto parecido.

Tinha uma amiga que se mudou do Brasil para o Canadá e pensava que o Canadá era o país mais seguro do mundo. «Todos os lugares onde vou são seguros.» Na primeira semana no Canadá, houve um assalto na rua onde vivia e, de repente, passou a achar que todos os lugares eram inseguros. É uma ideia semelhante à de:

Dhruv Batra: Tempo até ao valor.

Hannah Clark: Tempo até ao encantamento, tempo até ao valor, mas também a fragilidade e a complexidade do período inicial de construção de confiança, quando algo interrompe a expectativa daquilo que será entregue e abala essa confiança fundamental.

Quero então abordar o lado tecnológico. Na tua perspectiva de investigador de IA, que problemas considerarias hoje praticamente resolvidos? E quais dirias que estão — e sei que esta é uma formulação carregada, porque se trata do horizonte próximo e isso pode sempre mudar — muito próximos de ser resolvidos, em comparação com aqueles que parecem estar perpetuamente a alguns anos de distância?

Dhruv Batra: O exemplo concreto que vou utilizar é o problema de responder a perguntas sobre imagens. Está presente na minha mente porque, na semana passada, estive numa conferência, a ICCV, a Conferência Internacional de Visão Computacional.

Os meus colaboradores e eu recebemos aquilo que é conhecido como o prémio Mark Everingham pelo trabalho que tínhamos realizado uma década antes. O trabalho chamava-se Resposta Visual a Perguntas. Apresentámos à comunidade um conjunto de dados, uma tarefa, uma referência de avaliação e um conjunto de métodos para criar a primeira geração de agentes capazes de responder a qualquer pergunta aberta sobre qualquer imagem natural.

Nos últimos dez anos, ajudámos a comunidade a acompanhar o progresso organizando competições anuais. Deixámos de organizar essa competição em 2021 porque, inicialmente, quando começámos em 2015, a maioria dos métodos era incrivelmente fraca. Como podem imaginar, responder a perguntas sobre imagens era uma tarefa difícil.

Em 2021, nesse conjunto de dados que tínhamos criado, atingimos basicamente a precisão humana. Alcançámos a concordância humana ao responder a estas perguntas e, por isso, deixámos de organizar a competição. Como mencionei, é uma evolução interessante: ao longo dos últimos dez anos, dei por mim a liderar uma equipa na FAIR que criou métodos modernos lançados nos óculos Ray-Ban Meta, nos quais se pode activar um assistente e dizer: «Olá, Meta, tira uma fotografia. Diz-me mais sobre este monumento».

Esse problema representa o encerramento de um ciclo iniciado dez anos antes. Quando começámos, havia muitos problemas completamente em aberto. Responder a perguntas que exigiam ler texto no mundo real era impossível. Se perguntássemos «O que diz o sinal?», a maioria desses métodos não executava OCR, ou reconhecimento óptico de caracteres, e, por isso, não conseguia ler o texto do sinal.

Os métodos tinham então de responder com base em pressupostos prévios: o que é que os sinais costumam dizer? Os sinais dizem «pare» ou «avance». Assim, faziam apenas suposições comuns. Descobrimos que este era um problema frequente: a maioria dos modelos de resposta a perguntas sobre imagens era fortemente dominada por pressupostos linguísticos. Se tirássemos uma fotografia de bananas e perguntássemos «De que cor são as bananas?», era muito provável que o modelo respondesse «amarelas», porque a maioria das bananas no mundo é amarela.

O modelo sabe isso a partir do conjunto de dados de treino. Na verdade, não consegue ver muito bem. É possível imaginá-lo a semicerrar os olhos perante a imagem. Assim, mesmo que seja uma fotografia de uma banana verde, dirá que a banana é amarela, porque a maioria das bananas é amarela. Estendemos a resposta a perguntas para o diálogo com chatbots, e a referência conjunta era um problema extremamente difícil.

Se perguntarmos «Há uma pessoa na imagem?», a resposta é «Sim». «O que está a fazer?» ou «O que está ele a fazer?» implica uma referência conjunta a uma entidade visual sobre a qual acabámos de falar na ronda anterior. Era um problema difícil. O modelo já estava confuso. Não sabia a que se referiam «ele» ou «eles».

Actualmente, esses problemas são considerados resolvidos. Na medida em que conseguimos medi-los, já não são problemas de investigação em aberto. No entanto, ainda existem problemas extremamente abertos. Contar objectos em imagens continua a ser um problema em aberto. Tire hoje uma fotografia com mais de dez pessoas numa multidão — digo dez porque é possível fazer estimativas razoáveis com um número pequeno de objectos — carregue-a no seu chatbot favorito e pergunte quantas pessoas existem na imagem. Observe a resposta obtida. Essa continua a ser uma questão de investigação em aberto.

Também é difícil perguntar sobre compreensão espacial 3D. Por exemplo, tire uma fotografia em que exista uma mesa no extremo mais afastado e talvez uma estante mais próxima da câmara. Pergunte pela altura da mesa e pela altura da estante. A maioria dos chatbots responderá com base na altura em píxeis: aquilo que parece estar mais próximo da câmara será indicado como mais alto, porque não possuem uma compreensão espacial da profundidade. As coisas que estão realmente mais afastadas podem ser mais altas do que as coisas mais próximas da câmara, porque existe um mundo 3D por detrás da imagem.

Essas continuam a ser questões em aberto. E, aproximando-nos mais da IA e da criação de agentes, por exemplo, nos agentes Web, existe ainda um fenómeno de deriva que ocorre nos agentes ao longo do tempo. A Yutori cria agentes de monitorização, certo? Os nossos agentes de monitorização funcionam durante meses, acompanhando determinados temas.

Podemos pedir-lhes que acompanhem um determinado tema noticioso durante meses. O que pode acontecer é que, lentamente, os agentes comecem a acompanhar algo que se desvia do pedido original, porque ninguém criou agentes capazes de funcionar durante meses e de atribuir crédito e recompensas pelo sucesso ou pelas falhas ao longo desses períodos extensos.

Hannah Clark: Esta é uma área muito interessante, porque nunca tinha pensado nos critérios utilizados para dizer a um agente que fez algo correctamente. De um modo geral, quando recebemos um resultado correcto, seguimos com a nossa vida. Não dizemos necessariamente «bom trabalho», nem fornecemos detalhes sobre aquilo que foi feito correctamente ou incorrectamente.

Isto é interessante no que diz respeito aos ciclos de feedback da tecnologia. Existe algum comportamento dos utilizadores que devêssemos adoptar para treinar melhor os modelos de que dependemos actualmente? Ou será este um assunto para outro programa? Como fechamos o ciclo de feedback?

Dhruv Batra: Internamente, fazemos avaliações e recolhemos feedback em vários níveis de abstracção. No caso dos agentes de automatização de navegadores, temos de anotar manualmente, por exemplo, cada clique que fazem. Foi a acção certa naquela página Web ou foi a acção errada? Como se pode imaginar, isso é demasiado específico e demasiado ruidoso.

Por vezes, uma tarefa pode ser realizada de várias formas. Às vezes, pode pesquisar-se um artigo escrevendo-o numa consulta de pesquisa numa página Web; outras vezes, pode clicar-se directamente num separador para aceder à fonte de informação. Isso é demasiado específico e demasiado ruidoso. No entanto, depois de uma tarefa estar concluída, talvez se tenha perguntado a um agente se havia uma reserva às 18h30 num restaurante. O agente clicou em vários botões, encontrou um restaurante e respondeu sim ou não.

No final dessa trajectória existe uma prova de trabalho. Em muitas destas tarefas, existe aquilo que é conhecido como a diferença entre gerador e verificador. Verificar a prova de trabalho é mais fácil do que resolver efectivamente a tarefa, porque resolver a tarefa exige clicar em muitos botões, escrever a coisa certa na caixa de pesquisa correcta e ir para o local certo no sítio Web.

Mas se um agente regressar e disser «Sim, encontrei uma reserva às 18h30», existe uma captura de ecrã de uma página Web. Podemos ler essa página e verificar se o agente tinha razão. Criamos avaliações com base nisso. Depois, naturalmente, existem mecanismos de feedback destinados aos consumidores: sempre que os nossos agentes enviam e-mails, as pessoas podem indicar «gosto» ou «não gosto».

Isto relaciona-se naturalmente com a personalização. Por vezes, não existem respostas certas ou erradas. Existem apenas preferências. Se estiver a acompanhar uma determinada notícia e talvez já esteja cansado de uma determinada direcção que essa notícia está a tomar, numa conversa com uma pessoa diria: «Não, quero ver menos disto e mais daquilo».

Idealmente, queremos dizer isso em linguagem natural, porque é conveniente. Por isso, é necessário criar mecanismos de feedback que aceitem comentários em linguagem natural e alterem o percurso dos agentes no futuro.

Hannah Clark: Isto é muito interessante. Estou a pensar na forma como as pessoas tendem a avaliar os resultados de algo como o ChatGPT através da perspectiva de «estamos satisfeitos com este serviço?» em vez de «estamos satisfeitos com isto do ponto de vista tecnológico?».

Por exemplo, se estiver ao lado de um colega e os dois estivermos a gerar planos de preparação de refeições para a semana, posso gerar um plano e o meu colega pode gerar exactamente o mesmo plano, mas posso sentir que ele não contém os macronutrientes certos para o objectivo que eu tinha. Do ponto de vista do serviço, seria uma avaliação negativa. Mas a pessoa ao meu lado pode dizer: «Fez exactamente aquilo que pedi. O resultado está tecnicamente correcto de acordo com as especificações do pedido». Para essa pessoa, seria uma avaliação positiva.

É muito confuso e existe uma nuance real na forma como compreendemos o nosso papel enquanto fornecedores de feedback a estas máquinas. Esse é outro conjunto de dados que pode ser muito difícil de utilizar.

Dhruv Batra: As noções tradicionais de testes A/B consistem em dividir os utilizadores em dois grupos sempre que se cria uma funcionalidade e mostrar um conjunto de respostas a um grupo e outra estratégia ao outro. Também se podem mostrar respostas paralelas ao mesmo utilizador e pedir-lhe que escolha uma.

Isso falha em muitos casos. Por exemplo, sempre que é necessário executar um fluxo de trabalho e comprar ou fazer alguma coisa, não existe teste A/B, porque não se vai fazer a mesma coisa duas vezes. O utilizador fica frustrado. Além disso, por vezes, as reacções de gosto e não gosto ou de teste A/B são demasiado rudimentares para um utilizador transmitir verdadeiramente o que está a tentar dizer.

Por vezes, é necessário permitir que, ao receber respostas textuais, o utilizador realce algo e diga «não isto», ou forneça um feedback mais editorial, como faria com outro ser humano. Se estivesse a rever o documento Google de alguém, não lhe daria simplesmente um gosto ou um não gosto.

Hannah Clark: Isso seria horrível. Um não gosto. Que parte é que recebeu um não gosto?

Dhruv Batra: Exactamente. É como ir ter com o editor e ouvir apenas: «Não, corrige». Corrigir o quê?

Hannah Clark: «Faz tudo de novo.» Mesmo que tivéssemos a capacidade de entrar no resultado de um modelo de linguagem e fornecer esse tipo de feedback crítico, isso seria pedir muito a um utilizador que apenas quer que a ferramenta funcione.

De um modo geral, já é suficientemente difícil conseguir que as pessoas respondam a inquéritos, mesmo quando recebem um código de referência ou algum tipo de bónus. Torna-se uma tarefa de co-autoria muito difícil pedir às pessoas que nos ajudem a co-criar o produto. O que retiro daqui é que precisamos realmente de esperar muito menos de vocês.

Dhruv Batra: E penso que os utilizadores têm de sentir que esse feedback é um investimento na personalização do chatbot para algo que querem conseguir fazer. O utilizador não pode ser o nosso engenheiro de garantia de qualidade. Não pode dizer-nos tudo o que está errado com o produto. A experiência que queremos que tenha é a de que este é o meu assistente. Por isso, qualquer feedback que eu dê a este assistente está a personalizá-lo, a torná-lo melhor e a alinhá-lo com as minhas preferências. Essa parece ser a relação ou o mecanismo de envolvimento correcto para que o utilizador dedique tempo.

Hannah Clark: Concordo. Tenho tendência para ser muito mais paciente com um modelo que se mostra mais disponível para aprender as minhas preferências.

Muitas vezes, quando faço uma consulta num modelo de linguagem e este começa por fazer perguntas para a aperfeiçoar, mesmo que pareçam um pouco triviais, sinto que isso reforça a ideia de que tudo aquilo que digo tem de ser muito mais específico do que imagino para obter o resultado que quero.

Também me prepara para a desilusão se não acertar completamente. Penso que isto é algo importante a ter em mente quando desenvolvemos funcionalidades que exigem algum tipo de troca com o utilizador para obter o resultado que todos queremos.

Dhruv Batra: É aqui que voltamos a falar de subir a escada da confiança.

Se a primeira coisa que fizermos a um utilizador que está apenas a tentar experimentar o produto for apresentar-lhe um questionário com 20 perguntas, ele está apenas a tentar chegar ao encantamento e criar rapidamente um modelo daquilo que conseguimos fazer. Depois, irá iterar a partir daí. Por isso, não pode ser a primeira coisa com que bombardeamos o utilizador, mas, à medida que ele observa algum valor, podemos introduzir essas perguntas e preferências.

Hannah Clark: Neste momento, tenho curiosidade em saber: porquê agora? Porque começaste agora a Yutori? Porque é este o momento em que decidiste iniciar este projecto e o que é fundamentalmente diferente no panorama actual que torna possível a sua existência, quando estás neste sector há tanto tempo? Porque não antes?

Dhruv Batra: Sou, naturalmente, susceptível ao enviesamento retrospectivo, mas sinto que este é um momento único para criar determinados tipos de produtos baseados em IA que não podíamos criar no passado. Eu trabalhava em robótica antes. Poderia ter criado uma startup de robótica, e não há falta delas. Existem muitas.

Não penso que este seja o momento certo para criar uma empresa de robótica focada no consumidor ou numa estrutura não definida, porque ainda temos décadas de problemas por resolver. As pessoas esquecem-se de que, em 2004, a agência governamental DARPA organizou o DARPA Grand Challenge, pedindo às universidades que construíssem carros autónomos capazes de conduzir do ponto A ao ponto B num deserto.

A primeira edição foi organizada em 2004. Nenhum carro terminou. Eu estava na CMU em 2005. A CMU foi a que chegou mais longe e, na primeira tentativa, em 2005, várias equipas universitárias terminaram. No final dos anos 2000, vários investigadores de Stanford foram absorvidos pela Google. O projecto tornou-se inicialmente Google X e, depois, em meados da década de 2010, surgiu o projecto Waymo.

Finalmente, em 2023 ou 2024, surgiram aplicações destinadas aos consumidores. Em São Francisco, é possível chamar um Waymo até à porta de casa ou a determinados locais de recolha. Pensem nessa jornada desde 2004 ou 2005, quando foi apresentada a primeira demonstração de um protótipo de investigação, até um produto destinado ao consumidor, disponível pelo menos em determinadas localizações geográficas. Ainda não foi implementado universalmente.

A implementação universal ainda estará talvez a uma década de distância. Esse é o desafio do hardware mais IA. Os ciclos de desenvolvimento de software mais IA são muito mais curtos. Finalmente chegámos a um ponto em que os sistemas de IA conseguem falar com as pessoas, existe um conhecimento amplo do mundo e é possível manter um diálogo.

Os sistemas de percepção amadureceram, pelo menos na Web. Podemos tirar uma captura de ecrã da Web e compreender como os sítios estão organizados e que funções têm os botões. Existe uma compreensão geral baseada no senso comum. Finalmente, foram lançados modelos de código aberto nos últimos anos, o que permite que empresas mais pequenas, como a nossa, possam pelo menos começar.

Há alguns anos, se tivéssemos de criar uma startup de automatização Web ou de agentes Web, teríamos de começar pelo pré-treino. O pré-treino de modelos de linguagem e de modelos de visão e linguagem é uma empresa completamente diferente, com investimentos de capital, requisitos computacionais e requisitos de dados completamente diferentes.

Hoje, fazemos pós-treino de modelos, o que significa que começamos com modelos de código aberto de visão e linguagem e fazemos o pós-treino para automatização de navegadores, clique em botões, preenchimento de formulários e assim por diante. Isto não seria possível há alguns anos. Simultaneamente, este não é um problema com ciclos de iteração longos e que ainda esteja a mais de uma década de distância.

Penso nisso da seguinte forma: não existe um mundo possível em que os robôs já tenham chegado às nossas casas, mas continuemos sentados nos computadores portáteis a escrever os nossos nomes em campos de navegadores. Os assistentes digitais chegarão antes dos assistentes físicos, porque o domínio digital se move mais depressa.

O mundo dos bits move-se mais rapidamente. Tem ciclos de iteração mais rápidos e grande parte da base sobre a qual podemos desenvolver estes sistemas inteligentes tornou-se uma mercadoria. Assim, podemos concentrar-nos nos problemas da última milha.

Hannah Clark: Que resposta eloquente. E adorei a utilização da palavra «base». Esta foi uma conversa absolutamente fascinante. Sinto que poderíamos ter aprofundado muito mais e tenho a certeza de que muitas pessoas gostariam de o fazer. Onde é que as pessoas podem acompanhar o teu trabalho online?

Dhruv Batra: Estou disponível pessoalmente em dhruvbatra.com. Esse é o meu sítio Web. O meu trabalho está disponível em yutori.com e o nosso produto chama-se Scouts. Está disponível em scouts.yutori.com.

Hannah Clark: Fantástico. Muito obrigada por te juntares a mim, Dhruv. Agradeço muito esta conversa.

Dhruv Batra: Obrigado por me receberes. Foi maravilhoso.

Hannah Clark: No próximo episódio do podcast The Product Manager. Liderar produtos na era da IA significa resolver muitos dos mesmos problemas de formas muito diferentes. Dos processos de desenvolvimento às tácticas de distribuição, praticamente todos os manuais que funcionavam há um ano já estão desactualizados — algo que Rachel Wolan, directora de produto da Webflow, considera simultaneamente um desafio e uma oportunidade incrível.

Vais obter as respostas e a clareza que tens procurado sobre temas como optimização para motores de resposta, desenvolver versus comprar e a forma correcta de entrar no mercado da IA. Subscreve agora para não perderes o próximo episódio.