In de wereld van productontwikkeling is het van cruciaal belang om de behoeften en wensen van gebruikers te begrijpen om succesvolle producten te creëren.
In deze aflevering wordt Hannah Clark vergezeld door Craig Watson—oprichter & CEO van Arro—om de geheimen van succesvolle productontdekking te delen en te bespreken hoe je generatieve AI kunt inzetten in het gebruikersonderzoeksproces.
Hoogtepunten van het interview
- Craigs reis: van startups naar Arro [01:02]
- Craig heeft 15 jaar ervaring in productfuncties en begon bij startups in Ierland.
- Hij werkte bij een startup in de muziektechnologie genaamd Soundwave, die door durfkapitaal werd gefinancierd en in 2016 door Spotify werd overgenomen.
- Craig werkte vijf jaar bij Spotify en maakte daar een aanzienlijke groei mee: van minder dan duizend naar meer dan 3.000 medewerkers in R&D.
- Hij werkte op het kantoor van Spotify in Stockholm in het groeiteam en verhuisde vervolgens naar Londen om te helpen met productinitiatieven zoals TEO en Spotify Duo.
- Craig stapte over naar consultancy, met een focus op productontdekking en het helpen van bedrijven bij het verbeteren van hun onderzoekspraktijken.
- Ongeveer anderhalf jaar geleden zagen Craig en zijn medeoprichter Johannes een kans om interessante technologie te ontwikkelen rond fundamentele modellen voor grote taalmodellen (LLMs), wat leidde tot de oprichting van Arro.
- De kunst en wetenschap van productontdekking [03:14]
- Craig vindt productontdekking fascinerend vanwege de combinatie van wetenschap en kunst.
- Hij vindt het interessant om de behoeften en vereisten van klanten te begrijpen en beschouwt dit als een belangrijk maar vaak over het hoofd gezien aspect van productmanagement.
- Craig waardeert het eerdere deel van de productmanagementtrechter, waarin de focus ligt op het begrijpen welk product er moet worden ontwikkeld.
- Hij ziet de kunst in het weten welke vragen je moet stellen en het bewust zijn van mogelijke vooroordelen in het ontdekkingsproces.
- Leren van fouten in gebruikersonderzoek [04:15]
- Craig erkent dat hij klassieke fouten heeft gemaakt in gebruikersonderzoek, waaronder meteen overschakelen naar het bedenken van oplossingen en validatieoefeningen.
- Hij benadrukt de veelvoorkomende valkuil onder productmanagers en onderstreept de noodzaak van een andere instelling, waarbij de focus ligt op falsificatie in plaats van validatie.
- Hij deelt een persoonlijke ervaring uit zijn twintiger jaren, toen hij aan Soundwave werkte en zij zich meer richtten op evaluerend dan op generatief onderzoek.
- Craig benadrukt hoe belangrijk het is om je ego opzij te zetten, naar gebruikers te luisteren en te begrijpen waar workflows kunnen worden verbeterd.
Zet je ego opzij en luister naar mensen om te begrijpen waar de hiaten liggen en hoe je hun workflows kunt verbeteren, en bouw je product daar omheen.
Craig Watson
- De rol van AI bij productontdekking [06:51]
- Craig schetst een proces dat begint met inzicht in de taken en problemen van klanten als basis voor het ontdekkingsproces.
- Hij zet de stappen in het onderzoeksproces uiteen, waaronder het formuleren van onderzoeksdoelstellingen, het werven van deelnemers, het selecteren van methodologieën, het synthetiseren van informatie, het intern delen van inzichten en het ondernemen van actie.
- Binnen elke taak zijn er verschillende resultaten en overwegingen, zoals gegevensnaleving, wervingsmethoden en strategieën voor betrokkenheid.
- Hij benadrukt het belang van een focus op workflowgebaseerde benaderingen, vooral in B2B-contexten, in plaats van generieke labels of categorieën.
- Craig bespreekt de uitdagingen van traditionele processen voor klantinterviews en benadrukt de aanzienlijke tijd en inspanning die nodig zijn voor taken zoals het plannen, transcriberen, synthetiseren en analyseren van interviews.
- Hij constateert een lacune in het proces waar AI mogelijk bepaalde taken rond het uitvoeren van gemodereerde interviews kan aanvullen of vervangen.
- De productstrategie van Arro is gericht op het aanpakken van deze lacune in het onderzoeksproces met behulp van AI-technologie.
- De toekomst van AI in productmanagement [10:14]
- Craig bespreekt het ontwrichtende potentieel van LLM’s in productonderzoek, met name bij het omzetten van gestructureerde gegevens in betekenisvolle inzichten.
- De focus van Arro op generatieve AI is gericht op het benutten van LLM’s voor het op grote schaal uitvoeren van interviews en het synthetiseren van inzichten.
- Hoewel de toepassing van AI in de technologiesector wijdverbreid is, merkt Craig op dat de invoering op de werkvloer trager verloopt door verschillende factoren, zoals veiligheidszorgen en onzekerheid over toepassingsmogelijkheden.
- Het genereren van content komt naar voren als een veelvoorkomende toepassing van AI, onder meer voor het schrijven van gebruikersverhalen, onderzoeksvoorstellen en gespreksleidraden.
- Daarnaast helpt AI bij contentanalyse, met tools zoals Grain die op transcripties gebaseerde zoekopdrachten mogelijk maken om waardevolle inzichten uit gesprekken te halen.
- Ondanks de uitdagingen in een vroeg stadium vindt Craig het veranderende landschap van AI-bedrijven veelbelovend en boeiend.
- Product-marktfit vinden met AI [15:49]
- Craig beschouwt PMF als een nooit eindigende reis en een samengestelde aanpak met verschillende benaderingen.
- Craig deelt inzichten uit zijn tijd bij Spotify en benadrukt de tijd en inspanning die nodig zijn om de groeicurve te veranderen en PMF te bereiken.
- Hij bespreekt de noodzaak om tijd te besteden aan het doen van inzetten, het uitvoeren van experimenten en het nemen van de juiste beslissingen om PMF te bereiken.
- Craig ziet AI als een hulpmiddel om de tijd te verkorten die nodig is voor taken rond het vinden van PMF. Hij erkent dat AI niet snel een perfecte oplossing zal bieden, maar wel de voortgang richting PMF kan versnellen.
- Voorbehouden en aandachtspunten bij AI-integratie [18:18]
- Craig erkent de mogelijke negatieve impact van slecht uitgewerkte AI-functies en benadrukt de noodzaak van naleving en ethische overwegingen.
- Hij wijst op de neiging van bedrijven om AI-integratie af te dwingen zonder de behoeften van klanten of de vereisten van hun taken volledig te begrijpen.
- Hij waarschuwt ervoor in de valkuil van het “syndroom van het glimmende object” te trappen, waarbij AI-functies uitsluitend vanwege hun nieuwigheid worden toegevoegd in plaats van vanwege hun praktische waarde.
- Craig pleit ervoor om uit te gaan van eerste principes en de behoeften van gebruikers te begrijpen om te bepalen of AI-integratie de efficiëntie verbetert, kosten verlaagt of de gebruikerservaring verbetert.
- Hij benadrukt het belang van het investeren van tijd en middelen in AI-functies die rechtstreeks bijdragen aan het oplossen van problemen van gebruikers en het verbeteren van de kernfunctionaliteit van het product.
- Advies voor oprichters en productmanagers [21:21]
- Craig benadrukt hoe belangrijk het is om rekening te houden met de context en ontwikkelingsfase van de startup.
- Hij wijst op de verschillende benaderingen op basis van de fase waarin de startup zich bevindt: de juiste marktfit vinden of een bekend probleem aanpakken.
- Craig waarschuwt voor de aanpak waarbij eerst een oplossing wordt gebouwd en vervolgens wordt gezocht naar een probleem waarbij deze past. Hij erkent dat dit voorkomt, maar dat het niet ideaal is.
- Craig stelt dat het opbouwen van relaties en generatief onderzoek cruciaal zijn voor startups in een vroeg stadium om de pijnpunten van klanten te begrijpen.
Het opbouwen van relaties is cruciaal. Contact leggen met potentiële klanten, hun pijnpunten begrijpen en generatief onderzoek uitvoeren dat aansluit bij je waardepropositie: daar moet je zijn.
Craig Watson
Maak kennis met onze gast
Craig Watson is de oprichter en CEO van Arro, een AI-aangedreven hulpmiddel voor gebruikersonderzoek. Craigs passie voor productontdekking gedurende zijn carrière heeft hem waardevolle inzichten gegeven in manieren waarop het proces van gebruikersonderzoek kan worden vereenvoudigd voor snelgroeiende bedrijven en andere productteams.

Wat me altijd heeft aangetrokken tot productontdekking is de combinatie van wetenschap en kunst. Het is boeiend om je te verdiepen in de wensen, vereisten en behoeften van klanten. Tegelijkertijd is er ook een kunst aan verbonden: weten welke vragen je moet stellen en mogelijke vooroordelen herkennen.
Craig Watson
Bronnen uit deze aflevering:
- Abonneer je op de nieuwsbrief van The CPO Club
- Maak contact met Craig op LinkedIn
- Bekijk Arro
Gerelateerde artikelen en podcasts:
- Over de podcast van The CPO Club
- Zo vind je snel en kosteneffectief een product-marktfit
- Zo creëer je een effectieve feedbacklus voor klanten voor productteams
- Het productontwikkelingsproces: zo breng je geweldige ideeën op de markt
- Productbetrokkenheid: zijn gebruikers dol op je product of haken ze af?
Lees het transcript:
We proberen onze podcasts te transcriberen met behulp van een softwareprogramma. Vergeef ons eventuele typefouten, want de bot is niet altijd 100% correct.
Hannah Clark: Ik weet dat ik het koor toespreek, maar ik ga het toch zeggen. Producten moeten boven alles nuttig zijn. Toch is er nog steeds geen gebrek aan producten die zijn gebouwd op basis van een stapel aannames over wat gebruikers daadwerkelijk willen. Waarom verwaarlozen zoveel organisaties dan het productontdekkingsproces? Ik weet zeker dat elke productmanager die ook de facto de leiding heeft genomen over gebruikersonderzoek je kan vertellen waarom. Het kost tijd, het is duur en het is ontzettend moeilijk om niet alleen een goede steekproefgrootte aan klantgegevens te verkrijgen, maar die gegevens ook te vertalen naar concrete actie.
Mijn gast vandaag is Craig Watson, oprichter en CEO van Arro, een AI-aangedreven tool voor gebruikersonderzoek. Craigs passie voor productontdekking gedurende zijn carrière heeft hem waardevolle inzichten gegeven in manieren waarop het gebruikersonderzoeksproces kan worden vereenvoudigd voor scale-ups en andere productteams. Je hoort hem ook een aantal geweldige, direct toepasbare tactieken delen om productontdekking met generatieve AI te verbeteren. Laten we beginnen.
Welkom terug bij de podcast voor productmanagers. Ik ben hier met Craig Watson. Hij is de oprichter en CEO van Arro.
Craig, ontzettend bedankt dat je vandaag bij ons bent.
Craig Watson: Bedankt. Ik ben blij dat ik erbij kan zijn.
Hannah Clark: Craig, kun je ons iets vertellen over je professionele achtergrond en hoe je bent gekomen waar je vandaag bij Arro bent?
Craig Watson: Zeker. Ik werk eigenlijk al vijftien jaar in productfuncties en begon meer in een startupomgeving. We hadden een paar startups in Ierland, waar we direct na onze studie aan bouwden. We probeerden al doende te leren terwijl we deze projecten uitvoerden en echt te begrijpen hoe je destijds producten voor consumenten bouwt.
Na ongeveer vier jaar gingen we verder. We begonnen in 2012 een muziek-technologiebedrijf genaamd Soundwave. Dat was een klassieke, door durfkapitaal ondersteunde startup. Opnieuw waren er veel hoogte- en dieptepunten. Ik leerde heel snel in de praktijk en waarschijnlijk leerde ik op dat moment meer over productontdekking, waar we het in dit gesprek nog over zullen hebben.
Wat ik echt geweldig vond aan die ervaring, was dat we zo vroeg in onze carrière gedwongen werden om veel verschillende rollen als productmanager te vervullen. Je realiseert je dat je op verschillende momenten allerlei soorten activiteiten moet uitvoeren, van gebruikersonderzoek tot oplevering en productmanagement.
Uiteindelijk werden we in 2016 overgenomen door Spotify en gingen we daar werken, wat een geweldige ervaring was. Ik was niet van plan om zo lang te blijven, maar uiteindelijk bleef ik vijf jaar. Dat was een geweldige periode, omdat Spotify destijds erg snel groeide. Ik denk dat er minder dan duizend mensen in onderzoek en ontwikkeling werkten toen ik begon, en tegen de tijd dat ik vertrok waren het er bijna drieduizend of meer. Het was een enorme groei.
Ik werkte een paar jaar op het kantoor in Stockholm in het groeiteam. Daarna verhuisde ik naar Londen toen ze daar een kantoor openden, om te helpen enkele productinitiatieven voor TEO, de selectie-app voor kinderen en Spotify Duo op te starten, naast een paar andere projecten. Dat was natuurlijk heel anders dan de startupwereld en een heel andere omgeving om productmanager te zijn, maar ik vond het erg leuk.
Meer recentelijk ben ik ongeveer anderhalf jaar gaan adviseren. Ik werkte specifiek aan productontdekking en probeerde andere bedrijven te helpen hun onderzoekspraktijken te verbeteren en te leren hoe ze voor klanten konden komen, op bewijs gebaseerde beslissingen konden nemen en hen in feite konden helpen betere producten te bouwen.
Om het kort samen te vatten: ongeveer anderhalf jaar geleden realiseerde ik me dat er een kans was om interessante technologie te bouwen, gezien de manier waarop fundamentele grote taalmodellen zich ontwikkelden. Mijn medeoprichter Johannes en ik kwamen samen. Daar kan ik je later wat meer over vertellen.
Hannah Clark: Absoluut. Voordat we daarop ingaan: kun je ons iets vertellen over productontdekking in het algemeen en waarom het zo’n passie van je is geworden?
Craig Watson: Wat me altijd tot productontdekking heeft aangetrokken, is denk ik de combinatie van wetenschap en kunst. Het is interessant om na te denken over hoe je echt begrijpt wat klanten willen, wat hun vereisten zijn en wat hun behoeften zijn. Maar er zit ook een kunstvorm in: begrijpen welke vragen je moet stellen en weten welke vragen mogelijk sturend of bevooroordeeld zijn.
Ik heb altijd genoten van het opleveringsgedeelte van productmanagement als vak, maar het is dat eerdere deel van de trechter, waarin je probeert te begrijpen welk product je moet bouwen, dat vaak over het hoofd wordt gezien en meestal grote impact heeft. Om welke reden dan ook, waarschijnlijk door mijn persoonlijkheid, voel ik me ertoe aangetrokken omdat ik het fascinerend vind.
Hannah Clark: Natuurlijk, er is niets fascinerenders dan begrijpen wat mensen echt willen. Als je terugkijkt op je eerdere werk in productontdekking, voordat AI het hulpmiddel werd dat het nu is, wat was dan je proces om de pijnpunten van gebruikers grondiger te begrijpen en te beslissen wat je moest bouwen?
Craig Watson: Het is ook de moeite waard om te vermelden dat we veel van de klassieke fouten hebben gemaakt die je maakt wanneer je begint met gebruikersonderzoek. We hebben op de harde manier geleerd dat we soms direct in de oplossingsmodus sprongen, de klassieke validatie-oefening deden en probeerden te bewijzen dat iets juist was.
Ik denk dat dit de meest voorkomende valkuil is die ik bij productmanagers heb gezien. Er is een heel andere mentaliteit nodig om iets te falsificeren. Dat is behoorlijk moeilijk, omdat je een idee hebt en enthousiast bent over dat idee. Je moet mensen achter dat idee krijgen en belanghebbenden enthousiast maken, maar effectieve goede onderzoekers—en ook het wetenschappelijke proces—werken met falsificatie.
Je probeert er daadwerkelijk op uit te gaan en te zien wat niet werkt. Het duurde even voordat we ons echt aan die mentaliteit hadden aangepast. Een deel daarvan is ook de methodologie wanneer je vragen stelt: ervoor zorgen dat je niet stuurt, objectief blijft enzovoort. Ik kan je daar ook wat achtergrond bij geven.
De eerste keer waren we volgens mij in de twintig. Soundwave begon net door te breken; we hadden meer dan een miljoen installaties van de app en probeerden een nieuwe functie te bouwen. We voerden één-op-één-gesprekken met mensen, destijds nog persoonlijk, voordat gesprekken op afstand gebruikelijker werden.
We leerden snel wat mensen wilden. We waren enthousiast over wat er werd gebouwd, maar op sommige manieren was het nogal zelfreferentieel, omdat we een vrij kleine functieset onderzochten. We gingen niet echt in op de problemen. Het was niet generatief, maar eerder evaluatief.
Het was meer: dit zijn enkele dingen die we overwegen te bouwen. We proberen wat meer te leren over hun interesses en muziek in het bijzonder. We haalden een derde partij erbij, een bestuurder die ons adviseerde en hielp met enkele interviews. Hij zei: kijk, wat jullie doen is prima, maar jullie moeten oppassen dat hier lokale maxima ontstaan.
Je optimaliseert het product, maar in de fase waarin jullie startup zich bevindt, moet je volgens mij echt nadenken over meer generatief en fundamenteler onderzoek. Begrijp welke taken mensen willen uitvoeren, begrijp de context en welke uitkomsten ze proberen te bereiken.
Bouw daarna je oplossing daaromheen. Dat was een andere belangrijke les. Nog iets moeilijks wanneer je een oplossingsgerichte mentaliteit hebt en met geweldige ideeën wilt komen, is je ego opzijzetten en gewoon naar mensen luisteren. Begrijp waar de gaten zitten, welke stappen je in hun werkprocessen kunt verbeteren en bouw je product daar echt omheen.
Ik denk niet dat ik het volledig onder de knie heb en ik heb zeker nog hulp nodig. Ik heb door de jaren heen met geweldige onderzoekers en datawetenschappers gewerkt. Ik denk dat ik de mentale modellen en kaders op dit moment in ieder geval iets beter begrijp.
Hannah Clark: Fantastisch. Het klinkt echt alsof je het jobs-to-be-done-raamwerk volledig hebt omarmd als kernelement van dat proces.
Kun je me wat meer meenemen in hoe dat ontdekkingsproces eruitzag en hoe je die technieken hebt toegepast bij de oprichting van Arro?
Craig Watson: We hebben nu een proces waarbij we beginnen met de taken. Wanneer ik het over taken heb, hangt het af van hoe gedetailleerd je wilt worden, maar in feite probeer je van je klanten te leren.
Je probeert te begrijpen wat ze willen of welke problemen ze in hun leven hebben. We beginnen dus met de vraag: wat betekent dit in de praktijk? Wat moet je doen wanneer je een onderzoeksstudie wilt opzetten? Je moet bepalen wat je probeert te leren.
Vervolgens moet je eropuit, deelnemers werven en nadenken over de methodologie die je gaat gebruiken om met klanten in contact te komen. Daarna moet je bedenken hoe je informatie gaat synthetiseren, hoe je die gaat meenemen en ervan gaat leren, hoe je dit intern bekendmaakt en deelt met het team of belanghebbenden, en vervolgens hoe je ernaar gaat handelen.
Dat is behoorlijk abstract en nogal uitgezoomd, maar binnen elk van die taken zitten weer allerlei uitkomsten. Neem bijvoorbeeld de werving voor onderzoek: wat komt daarbij kijken? Moet je een lijst met mensen uit een database halen en een klantsegment begrijpen?
Wil je deelnemers werven via een extern panel, zodat het sneller gaat, maar het misschien niet je bestaande klantenbestand is? Met welke zaken rond gegevensnaleving moet je rekening houden wanneer je met klanten werkt? Het is dus een hele lijst met uitkomsten die onder elke taak valt. Het klinkt een beetje droog, bijna alsof je op nummer schildert, maar zodra je alle stappen en verschillende uitkomsten in kaart brengt, heb je een kader om te begrijpen welke onderdelen onvoldoende en welke overmatig worden bediend.
Ik heb veel geleend van andere schrijvers en experts, zoals auteurs over Jobs To Be Done, Anthony Ulwick, enzovoort, die schreven over Outcome-Driven Innovation. Sindsdien hebben allerlei mensen daarop voortgebouwd. Maar ik denk dat het vooral in software makkelijk is om te verdwalen in zaken als persona’s, labels en categorieën, die niet altijd relevant zijn voor wat je probeert te leren. Als je kijkt naar B2B in de sector waarin wij actief zijn, draait het altijd om werkprocessen. Bij onderzoek hebben mensen een taak: ze gaan eropuit en proberen iets op te lossen. Zo hebben we het met Arro aangepakt.
We brachten het landschap in kaart, zagen waar de hiaten zaten en steeds opnieuw kwam hetzelfde naar voren: er was enorm veel traagheid bij klantinterviews. Het was erg moeilijk om mensen aan een gesprek te laten deelnemen. Opnieuw waren er allerlei stappen. Wat waren de stappen in dat proces? Eerst moet je de mensen vinden, dan moet je met hen in contact komen, een tijdstip plannen, het gesprek voeren, het gesprek transcriberen, het synthetiseren en alle resultaten codificeren, een thematische analyse uitvoeren, hen betalen en dit vervolgens doen voor vijftig mensen of hoeveel het er ook zijn—vijf of tien mensen.
Daarna moet je proberen betekenis te geven aan dit geaggregeerde perspectief. Toch is dit nog steeds de meest gebruikelijke manier waarop onderzoek wordt uitgevoerd. Ik ben een groot voorstander van één-op-één-klantinterviews, maar het deed ons beseffen dat daar misschien een gat zit. Gezien de ontwikkeling van AI is het niet onrealistisch om te denken dat een groot aantal van die specifieke deeltaken rond het uitvoeren van gemodereerde interviews door AI kan worden vervangen of aangevuld.
Dat is dus echt het gat waarop we ons wilden richten. Daar omheen hebben we onze productstrategie gebouwd.
Hannah Clark: Als we daarop voortbouwen: welke elementen hebben volgens jou veel potentieel om door grote taalmodellen te worden verstoord, of zie je die verstoring al plaatsvinden?
Craig Watson: De meest voor de hand liggende toepassingen tot nu toe, specifiek binnen productonderzoek, zijn volgens mij het omzetten van ongestructureerde gegevens in gestructureerde gegevens. Grote taalmodellen zijn daar gewoon geweldig in, in veel gevallen beter dan mensen, omdat ze enorme stukken ongestructureerde tekst uit veel gegevenspunten kunnen verwerken en omzetten in iets dat betekenisvol en nauwkeurig is—en meestal klopt, maar niet altijd.
Wat teams volgens mij steeds beter leren doen, is zaken als toeschrijving: die bewijsketen kunnen zien tussen wie wat heeft gezegd en begrijpen hoe dat verband houdt met een bepaald team. Veel van de eerste successen in deze sector hadden volgens mij vooral te maken met dat synthesegedeelte. Wat zich waarschijnlijk verder zal ontwikkelen, en waarom wij meer de generatieve kant op zijn gegaan, is het volgende. Arro is een manier voor mensen om interviews uit te voeren: door AI gevoerde gesprekken met deelnemers.
Je stelt een aantal vragen op, de AI voert het gesprek en neemt vervolgens de inzichten over, synthetiseert ze en levert een rapport over wat er is geleerd van vijftig, honderd of duizend mensen. Dat is een voordeel van AI: je kunt veel gemakkelijker opschalen. We wilden daarom wat meer tijd besteden aan generatieve AI, omdat de interviews zelf meer generatief van aard zijn. Dat vind ik ontzettend interessant.
Een ander onderdeel waar we over beginnen na te denken, zijn beeld-API’s en het werken met multimodale gegevens. Daarmee kun je begrijpen hoe mensen door een gebruikerservaring of product navigeren. Ik denk dat dit de komende twaalf tot achttien maanden veel meer een functie wordt, omdat de technologie nu snel genoeg vooruitgaat.
Er zijn al veel tools die bijvoorbeeld iframes gebruiken om te begrijpen hoe mensen door een Figma-prototype navigeren. Maar over een paar jaar is het waarschijnlijk niet meer logisch om het op die manier te doen. Het zou veel eenvoudiger, goedkoper en nauwkeuriger zijn om een AI te laten kijken naar wat er gebeurt in de gebruikersvisie-API, mogelijk ook gebruikerstests te laten modereren en vervolgens met die inzichten terug te komen. Dat zijn dus twee zaken waar we naar kijken.
Hannah Clark: Het is zo fascinerend. Een paar jaar geleden zouden we niet hebben gedacht dat dit mogelijk was. Het is interessant om te zien hoe snel het die richting op beweegt.
Wat zijn enkele andere manieren waarop je productteams AI in 2024 in hun voordeel ziet gebruiken om effectiever te zijn tijdens de productontdekkingsfase?
Craig Watson: Er zijn er nogal wat. We hebben inmiddels waarschijnlijk zelf zo’n 150 tot 200 klantinterviews uitgevoerd. We hebben met veel productmensen gesproken: gebruikersonderzoekers, productontwerpers en productmanagers. Ik ben soms eigenlijk verbaasd hoe weinig AI wordt gebruikt.
Ik weet dat het vreemd klinkt, omdat de meeste mensen in de technologiesector vroege gebruikers zijn en nieuwe innovaties snel overnemen. Toch is er volgens mij nog steeds wat terughoudendheid om het op de werkplek te gebruiken. Dat kan allerlei redenen hebben.
Soms gaat het om interne voorschriften, soms om beveiligingszorgen en soms weten mensen gewoon niet goed wat de toepassing is. Hoewel we in een bubbel van de techwereld zitten, hebben we onlangs een enquête gehouden onder ongeveer honderd mensen. Dat was een vrij kleine steekproef en dus niet enorm representatief, maar het was interessant om enkele richtinggevende inzichten te krijgen.
Veel mensen weten nog steeds niet goed hoe ze AI optimaal kunnen inzetten op de werkplek. In hun persoonlijke leven gebruiken ze misschien ChatGPT, experimenteren ze met Perplexity of hebben ze met Midjourney gespeeld. Maar het staat nog in de kinderschoenen. We bevinden ons echt nog maar aan het begin.
Dat is wat mij het meest enthousiast maakt. Soms denk je: dit is overal. Als je op Twitter kijkt, lijkt alles alleen nog maar AI te zijn. Het voelt alsof AI de wereld heeft overgenomen en algemene kunstmatige intelligentie om de hoek ligt. Maar we staan nog heel vroeg. In een B2B-context staan we zelfs nog eerder aan het begin.
Dat is dus ook bijzonder interessant. Wat zou daar allemaal kunnen gebeuren? Om terug te komen op je vraag over de manieren waarop mensen AI gebruiken: veel daarvan heeft volgens mij te maken met contentgeneratie. Dat is waarschijnlijk de meest voorkomende toepassing. Het kan bijvoorbeeld helpen bij het schrijven van gebruikersverhalen als je productmanager bent.
Het kan ook helpen bij het opstellen van een onderzoeksstudie of voorstel als je onderzoeker bent, of bij het maken van een gespreksleidraad. Aan de synthesekant zijn mensen het ook gaan gebruiken, niet noodzakelijk via speciale tools, maar bijvoorbeeld door een transcript te uploaden. Een goed voorbeeld is een klantgesprek met een transcript van Zoom of een andere automatische transcriptiedienst.
Wij gebruiken een tool genaamd Grain om al onze video’s op te nemen. Die is uitstekend, omdat alle gesprekken worden getranscribeerd. Vervolgens kun je je eigen gegevensmodel toevoegen en vragen stellen over de transcripten. Dat is fascinerend. Je kunt bijvoorbeeld vragen: welke uit te voeren taken zijn in dit gesprek geïdentificeerd? Of: welke persona’s denk je dat uit dit gesprek naar voren kwamen?
We beginnen dus die twee uiteinden te zien: content creëren of de inspanning verminderen die nodig is om content te begrijpen. Dat zijn waarschijnlijk de meest voorkomende toepassingen. Maar het is juist die vroege fase die zo spannend is.
Hannah Clark: Heel spannend. Het doet je nadenken over de hoeveelheid werk die onderzoekers vroeger moesten verrichten om grote hoeveelheden informatie te synthetiseren die vaak erg ongeorganiseerd waren.
Je werkt met menselijke reacties van mensen. Zelfs het naar boven halen van enkele van de meer genuanceerde inzichten kan dus erg moeilijk zijn om uit te pluizen, vooral als je veel onderzoek voor allerlei producten hebt gedaan. Ik ben daarom ook erg benieuwd hoe dit zich ontwikkelt. Wanneer we het hebben over sommige van diezelfde tools, geldt veel daarvan volgens mij ook voor het vinden van product-marktfit.
Ik vraag me af of er iets aan de horizon staat waarvan je vermoedt dat AI productteams kan helpen die fit te vinden.
Craig Watson: Goede vraag. Product-marktfit is controversieel, zeker nu ik zo lang startups heb geleid. Het is de heilige graal die iedereen wil bereiken, maar het is altijd een eindeloze reis. Je bereikt de bestemming nooit helemaal, omdat de markt of het product verandert. Ik denk eerlijk gezegd niet dat er één specifieke aanpak is die je daar brengt. Het is eerder een samengestelde aanpak met verschillende manieren om ernaartoe te bewegen.
Een concreet voorbeeld: een paar jaar geleden waren er beroemde enquêtes in omloop. Rahul Vohra van Superhuman deed volgens mij de vragenlijst voor product-marktfit. Dat ging over segmentatie en was destijds een aantrekkelijke manier om snel te proberen te leren of je product-marktfit had. Er zit zeker waarde in die methodologie. Je begrijpt hoe teleurgesteld mensen zouden zijn als je product zou worden weggenomen. Maar dat is slechts een temperatuurmeting en helpt je niet noodzakelijk om daar te komen.
Een van de grote lessen bij Spotify was hoe lang het kan duren om de richting van je groeicurve te veranderen. Dit is openbare informatie: er was een interne podcast genaamd The Curve, precies om die reden. Gustav Söderström, de CPO, interviewde daarvoor verschillende mensen binnen het bedrijf.
Ik was er vijf jaar en Gustav volgens mij ongeveer twaalf jaar. Inmiddels is hij een van de invloedrijkste bestuurders binnen het bedrijf. Zijn conclusie na die twaalf jaar zou volgens mij zijn dat je, om product-marktfit te bereiken, twaalf jaar lang weddenschappen moet aangaan, experimenten moet uitvoeren en de juiste beslissingen moet nemen.
Het gebeurt niet snel. Geen enkele tool kan je daar zomaar brengen. Het gaat om de complexiteit van al die verschillende onderdelen die samenkomen. Wat AI volgens mij wel heel goed kan doen, is de tijd verminderen die al die taken kosten. AI geeft je niet noodzakelijk de perfecte oplossing die snel resultaat oplevert, maar versnelt wel de tijd die nodig is om bepaalde stappen te zetten.
Hannah Clark: Dat is logisch. En dat brengt ons terug bij het idee van falsificatie. Ik ben het ermee eens dat het voor veel mensen een grote uitdaging is om hun ego opzij te zetten. Ik wil het ook hebben over de geschiktheid van AI-functies in bepaalde producten.
Ik denk dat er momenteel bij verschillende gevestigde bedrijven en startups sprake is van een soort glimmende-objectsyndroom. Er lijkt veel druk te zijn om AI-functies aan producten toe te voegen, omdat het een soort basisvereiste lijkt. Toch heb ik AI-integraties gezien die naar mijn mening niet veel waarde hebben toegevoegd.
Dat zien we tegenwoordig steeds vaker. Hoe kun je begrijpen of het überhaupt nodig is om AI te gebruiken, of dat het de investering waard is om een AI-functie toe te voegen aan een bestaand product? En hoe beoordeel je of die investering waardevol is?
Craig Watson: We hebben allemaal een paar behoorlijk angstaanjagende toepassingen gezien waarbij een chatbot je een auto probeert te verkopen of ontspoort. Dat is niet prettig wanneer het gebeurt en het wordt snel openbaar. Voor bedrijven kan dat een enorme impact op het merk hebben wanneer ze het verkeerd aanpakken. Ik denk dus dat mensen terecht vragen stellen over de toepassingen en ervoor willen zorgen dat AI op een conforme en ethische manier wordt ingezet.
De manier waarop ik de meeste bedrijven AI geforceerd zie invoeren, sluit aan bij wat we eerder bespraken: je zit in de oplossingsmodus en begrijpt niet echt wat de klant met een bepaalde taak in je software probeert te bereiken. Neem Notion als voorbeeld. Wij gebruiken Notion als kennisbank voor ons volledig op afstand werkende bedrijf.
We vertrouwen er behoorlijk op en delen veel geschreven documenten. Dat is natuurlijk een uitstekende toepassing voor AI, omdat ik soms alleen een overzicht wil schrijven en AI kan vragen om verder te schrijven of mijn tekst te verbeteren. Het past echt in mijn werkproces. Er is een snelle feedbacklus.
Ik kan het aanpassen en verdergaan. Het glimmende-objectsyndroom ontstaat volgens mij wanneer mensen niet echt begrijpen wat de eindgebruiker probeert te bereiken. Als je iets optimaliseert dat hen in hun werk toch niet helpt, ziet het er misschien interessant uit, maar het zal de zaken nooit echt verbeteren.
Wat wij hebben geleerd, is dat je steeds moet teruggaan naar de basisprincipes: wat probeert iemand hier te bereiken? Hoe kan AI het proces versnellen, de kosten verlagen of een andere efficiëntieverbetering opleveren die de investering vanuit het oogpunt van productontwikkeling rechtvaardigt?
Het is geen garantie. Je moet echt controleren of het de investering waard is. Soms zijn kleine, aangename verbeteringen de investering waard. Wij hebben persoonlijk maanden besteed aan het goed krijgen van de gespreksgerichte gebruikerservaring van Arro, omdat dat de kernmotor van ons product is. Het draait om eropuit gaan en met mensen praten.
Het is dan ook terecht dat we daar 80 of 90 procent van onze tijd aan hebben besteed. We hebben de resterende tijd niet gebruikt om willekeurige kleine AI-functies door het hele product te verspreiden, zodat het er interessant uitziet en je op een klein toverstafje of een magische knop kunt klikken waarna er iets leuks gebeurt.
Het komt steeds terug op de vraag: wat proberen mensen te bereiken? Hoe kun je dat versnellen of verbeteren? Als AI daar goed bij past, is de investering absoluut de moeite waard.
Hannah Clark: Daar ben ik het volledig mee eens. Over het nemen van misschien wat twijfelachtige beslissingen rond tijd- of geldinvesteringen: voor welke andere valkuilen zou je als oprichter andere oprichters of productmanagers waarschuwen tijdens de ontdekkingsfase, vooral in het huidige landschap?
Craig Watson: Dat hangt sterk van de situatie en de context af, vooral van de fase waarin je je bevindt. Als je nog heel vroeg bent, probeer je eigenlijk de juiste markt te vinden waarin je je product kunt plaatsen en die markt goed te begrijpen. Soms bouwen mensen een startup rond een probleem dat ze zelf hebben.
Dan kennen ze het probleem. Andere keren houden ze van een bepaalde markt, willen ze die aanvallen en zoeken ze interessante manieren om dat te doen. De slechtste aanpak is om eerst een oplossing te bouwen en daarna een probleem te zoeken dat erbij past. Toch gebeurt dat ook.
Afhankelijk van de fase waarin je zit, is de situatie dus anders. Als je een groeiend bedrijf bent, zoals veel klanten die Arro nu gebruiken, ben je waarschijnlijk een scale-up. Je probleem is dan dat je een volwassen product hebt, maar niet noodzakelijk genoeg onderzoekscapaciteit om te begrijpen hoe je een nieuwe functie moet bouwen.
Een tool als Arro helpt je onderzoeksinspanningen op te schalen en met meer klanten in contact te komen, zodat je meer inzichten kunt verzamelen. Ik zou echter zeggen dat Arro waarschijnlijk geen goede keuze is wanneer je nog in een heel vroege fase zit. Ik denk namelijk dat het opbouwen van relaties dan zo belangrijk is: in contact komen met potentiële klanten, hun pijnpunten leren kennen en dat generatieve onderzoek uitvoeren rond je waardepropositie.
Het hangt dus een beetje van elke situatie af, maar mijn advies zou zijn dat er geen universele oplossing bestaat. Er zijn geweldige boeken. Teresa Torres heeft geschreven over Continuous Product Discovery. Michele Hansen schreef een boek over praten met klanten. Ook veel materiaal over Jobs To Be Done is geweldig.
Het hangt echt af van de fase waarin je zit, maar er zijn zoveel goede bronnen. Vergeleken met vijf jaar geleden is er veel meer kennis over productontdekking. Er is dus voor iedereen wel iets beschikbaar.
Hannah Clark: Daar ben ik het mee eens. We hadden onlangs een geweldige aflevering met Steve Portigal, die het boek Interviewing Users schreef. Hij deelde interessante inzichten over de psychologie van gesprekken met mensen en hoe je de beste inzichten kunt verkrijgen zonder jezelf in het gesprek te mengen en de uitkomst te beïnvloeden.
Dit was een geweldig gesprek, Craig. Ik waardeer het enorm dat je vandaag bij ons wilde zijn. Waar kunnen luisteraars je werk online volgen?
Craig Watson: Je kunt Arro zelf bekijken via www.arro.co. Je kunt ook contact met me opnemen via LinkedIn; ik heet gewoon Craig Watson. Ik ben een van de medeoprichters van Arro. Op Twitter kun je me vinden onder cdcwatson.
Ik praat graag met mensen. Als je vragen hebt, neem dan gerust contact op.
Hannah Clark: Bedankt dat je te gast wilde zijn. We waarderen het enorm en bedanken je voor het delen van al je inzichten.
Craig Watson: Het was een genoegen. Bedankt voor de uitnodiging, Hannah. Het was geweldig om met je te praten.
Hannah Clark: Bedankt voor het luisteren. Abonneer je op onze nieuwsbrief via theproductmanager.com/subscribe voor meer geweldige inzichten, handleidingen en toolrecensies. Je kunt meer gesprekken zoals dit beluisteren door je te abonneren op The Product Manager, waar je ook naar podcasts luistert.
