De meest misleidende zetten in productontwikkeling ontmaskerd

Hannah Clark: Dingen zijn niet altijd wat ze lijken. Van abonnementsprijzen die met een lokkertje beginnen en uiteindelijk iets anders blijken te zijn, tot mensen die zweren dat suikermaïs lekker smaakt: we hebben geen gebrek aan redenen om overal sceptisch over te zijn — zeker nu niet in de productwereld. De snelheid waarmee deze sector verandert, ligt zo hoog dat trends op best practices kunnen gaan lijken en echte best practices verouderd kunnen lijken. Maar als het doel is om een product te bouwen dat in de loop der tijd kan meegroeien, is het aan ons om te voorkomen dat we ons laten meeslepen door hypetreinhypnose.

Mijn gast vandaag is Matt Graney, CPO van Celigo. Matt werkt al meer dan twintig jaar in B2B-productontwikkeling en heeft bijna negen jaar besteed aan het opschalen van het productteam bij Celigo, van vier naar meer dan 45 mensen. En hoewel AI een buitengewone kans voor het bedrijf is gebleken, heeft hij een kloof opgemerkt tussen verwachtingen en werkelijkheid als het gaat om enkele van de glimmende nieuwe tactieken die onze LinkedIn-feeds overspoelen. Van prototypes die zich voordoen als productieklare code tot tools die te mooi lijken om waar te zijn: je hoort zijn visie op waar voorzichtigheid geboden is en op de beproefde wijsheid waarop hij vertrouwt om deze AI-transformatie levend door te komen. Laten we beginnen.

O ja, trouwens, we voeren elke week gesprekken zoals dit. Dus als dit je interessant lijkt, waarom abonneer je je dan niet? Oké, laten we beginnen.

Welkom terug bij The Product Manager Podcast. Vandaag ben ik hier met Matt Graney. Hij is CPO bij Celigo.

Matt, heel erg bedankt dat je tijd hebt vrijgemaakt in je agenda om met ons te praten.

Matt Graney: Dank je, Hannah. Leuk om vandaag met je te praten.

Hannah Clark: Kun je ons iets vertellen over je achtergrond en je traject naar de functie van CPO bij Celigo?

Matt Graney: Ja, ik werk nu al lange tijd in B2B-productontwikkeling, ongeveer de afgelopen twintig jaar. Celigo is een integratieplatform en ik werk er inmiddels acht en een half jaar. Ik kwam bij het bedrijf kort na de financieringsronde van serie A.

Daarvoor had ik nog vijf en een half jaar in de integratiesector gewerkt. Dat was niet echt gepland; zo liepen de dingen gewoon. Daarvoor hield ik me bezig met producten rond de levenscyclus van softwareontwikkeling, waaronder UML-modelleertools. Voor degenen die zich nog herinneren wat dat waren: oorspronkelijk was ik software-engineer in Australië, waar ik in de telecom- en defensiesector werkte.

Daarna kwam ik voor het eerst naar de VS om als sales engineer te werken voor een product waarvan ik bij Motorola een zeer ervaren gebruiker was geworden. Dus ik heb een nogal diverse achtergrond. Vervolgens maakte ik een uitstapje naar productmarketing en uiteindelijk belandde ik in productontwikkeling.

Hannah Clark: Een uitstapje? Zo heb ik het nog nooit horen omschrijven.

Dat is grappig. Vandaag gaan we het hebben over een ietwat Halloween-achtige aflevering. We richten ons op het thema van slechte productkeuzes in vermomming. We beginnen met vibe coding. In de productcommunity worden daar momenteel veel meningen over verkondigd.

En ik geef als eerste toe: no-codeplatforms zijn geweldige tools. Ik gebruik ze voortdurend, maar ze kunnen ook leiden tot momenten die rechtstreeks uit Scooby-Doo lijken te komen: momenten waarop het masker afgaat en we beter kijken en ontdekken dat iets niet is wat het lijkt. Wat is jouw ervaring, Matt, met vibe coding binnen productteams?

Vertel me wat goed, slecht en lelijk is.

Matt Graney: Ja. En we zouden ermee zijn weggekomen als jij er niet was geweest, vervelende kinderen. Dus ja, ik denk dat democratisering ongelooflijk is. Maar we moeten ook nadenken over de misleiding die daarmee gepaard kan gaan. Het vermogen om iets er goed uit te laten zien, betekent niet noodzakelijk dat het goed is gebouwd.

Ik denk dat er onder de oppervlakte veel moet gebeuren. We moeten snelle prototypes misschien niet verwarren met productieklare code. Dus prima, burgerontwikkelaars, maar je hebt ook burgerarchitecten nodig. In de context van ons bedrijf bijvoorbeeld, B2B, werken we met infrastructuursoftware — we hebben het over miljarden transacties per maand.

Er zijn maar bepaalde onderdelen van de applicatie, misschien helemaal aan de voorkant, waar we ons prettig zouden voelen bij vibe coding. Het moet dus gaan om het juiste gereedschap voor de taak, zoals dat altijd al het geval is geweest. Tegelijkertijd moeten we ervoor zorgen dat er een cultuur van experimenteren is, dat we het team aanmoedigen risico’s te nemen, nieuwe tools uit te proberen en op de hoogte te blijven van de nieuwste ontwikkelingen in wat werkelijk een baanbrekende tijd voor de hele sector is.

Hannah Clark: Om daar wat dieper op in te gaan: wanneer we kijken naar de verschillende niveaus van begrip van technologie binnen de hele organisatie, kan het voor mensen die minder ervaring hebben met technologie of voor nieuwe oprichters heel verleidelijk zijn om code te zien die functioneel lijkt en er gewoon mee door te gaan. Dat zet veel druk op engineeringteams om die snelheid bij te benen, of om op hetzelfde niveau en even snel te kunnen ontwikkelen en het er zo glanzend en nieuw uit te laten zien.

Hoe helpen we belanghebbenden om de werkelijke beperkingen en overwegingen te begrijpen tussen het prototype dat we met vibe-codingtools zien en productieklare software?

Matt Graney: Ja, dat is een heel goed punt, want snelheid naar een demo is niet hetzelfde als snelheid naar productie. Zeker wanneer we het opnieuw hebben over 5.000 klanten met B2B-workloads. We zeggen soms dat wat wij doen de infrastructuur is — het leidingwerk.

AI kan het huis misschien schilderen, maar het legt niet noodzakelijk de leidingen aan. Je wilt bij sommige van deze zaken zeker weten dat ze goed gebeuren. Er zijn uitdagingen, of het nu gaat om druk op engineeringteams of zelfs druk vanuit het managementteam. Onlangs heb ik intern gezien dat vrij senior medewerkers uit niet-technische teams met vibe coding proof-of-concepts maakten om nieuwe mogelijkheden te tonen waar hun klanten grote behoefte aan hebben.

Dat heeft de verbeelding zeker aangewakkerd, maar het creëert ook een onuitgesproken druk: misschien is dit voor iedereen toegankelijk en kunnen we dit snel naar productie brengen. En als we het over gebouwen hebben — als ik terugga naar huizen schilderen of leidingen aanleggen — dan zijn dit niet noodzakelijk dragende muren, toch?

Dit is de gevel. Het kan er goed uitzien. Nogmaals, dat betekent niet dat er geen plaats voor is, want de snelheid waarmee je een proof-of-concept maakt is ongelooflijk. We moeten dat bij elke gelegenheid benutten. Bijvoorbeeld om een productmanager te helpen vereisten beter uit te leggen of om een ontwerper te helpen alternatieve workflows te tonen.

Voorheen ontwierp iemand misschien veel verschillende schermen in zijn favoriete ontwerptool. De kracht van werkende code valt niet te ontkennen, en we moeten die bij elke mogelijke gelegenheid benutten — terwijl we erkennen dat dit niet hetzelfde is als productieklare code.

Hannah Clark: Iets anders waar ik aan denk, is dat deze tools onvermijdelijk veel geavanceerder zullen worden en dat wij als gebruikers er ook steeds beter mee zullen leren werken. Dat betekent natuurlijk dat we afstevenen op bouwkosten die bijna nul zijn.

Welke zorgen heb jij als productleider over die trend en wat heb je bij Celigo gedaan om die zorgen te beperken?

Matt Graney: Hannah, ik denk dat dat een geweldig mentaal model is, een uitstekend gedachte-experiment. Wat gebeurt er als de kosten van bouwen naar nul gaan?

Misschien komen we daar snel bij in de opeenvolgende generaties van deze tools, zoals je zegt, en in het vermogen van gebruikers en ervaren gebruikers — net zoals we verbeteringen zien in de gebruikelijke ChatGPT-achtige ervaringen. We kunnen dus een dramatische daling verwachten, waardoor bouwen extreem goedkoop wordt. Maar paradoxaal genoeg legt dat volgens mij nog meer druk op productmanagers om ervoor te zorgen dat we het juiste bouwen. Het ontslaat ons niet van alle juiste dingen die we zouden moeten doen: kijken naar productanalyses, kwantitatief en kwalitatief gebruikersonderzoek, klantinterviews, productadviesraden en al die andere zaken.

Proof-of-concepts, A/B-tests, nauw samenwerken in een drietal van productmanagers, ontwerpers en engineers — niets daarvan verdwijnt. Daar moeten we ons tegen beschermen, want als we het in Halloween-termen zeggen: we zouden zomaar met een stel zombies kunnen eindigen, zoals zombieprojecten — dingen die zo eenvoudig te bouwen waren dat ze het product misschien bezaaien met allerlei ideeën die het uiteindelijk nooit echt hebben gehaald.

Ook daarom komen sommige oudere disciplines van productmanagement weer op de voorgrond. We hebben nu immers nog meer keuze. Het vermogen om beslissingen te nemen en de juiste resultaten te bereiken, moet allemaal behouden blijven.

Hannah Clark: Daar ben ik het mee eens. En over misschien slecht doordachte ideeën gesproken: ik zie absoluut een explosie van tools die de markt overspoelen en ogenschijnlijk betoverende voordelen bieden, terwijl ze misschien zeer ernstige risico’s verbergen — of die zelfs niet verbergen, maar gewoon aanbieden.

Ik heb een aantal behoorlijk schrijnende concepten zien rondgaan waarvan ik heel duidelijk kon zien dat kwaadwillenden ze konden manipuleren op een manier die we absoluut niet willen. Welke dingen zie jij in deze sector die je zorgen baren, en welke rol speelt productbeoordelingsvermogen nog steeds die simpelweg niet kan worden geautomatiseerd?

Matt Graney: Ik denk dat we altijd al op zoek zijn geweest naar de magische achtbal van productmanagement, bijvoorbeeld in de vorm van scoringsmethodologieën zoals RICE.

Ik heb ook gezien dat die worden misbruikt, omdat ze productmanagers nog steeds veel ruimte laten om de weegschaal te beïnvloeden en de scores te sturen. Er zijn maar een paar rondes nodig om precies te ontdekken hoe je de naald beweegt en de schaal in je voordeel laat doorslaan. Ik denk dat we hier dezelfde soorten risico’s zullen zien.

Er zijn tools die beloven alle informatie op te zuigen: producttelemetrie, elk gesprek dat ooit is gevoerd. Maar we weten allemaal dat er veel dingen buiten de officiële kanalen gebeuren — observaties die misschien uit een sessie-opnametool komen, maar niet zijn opgeschreven in een vorm die een LLM kan begrijpen.

Er is dus geen vervanging voor degelijk productbeoordelingsvermogen. Hoewel we misschien meer gegevens hebben dan ooit, blijven het volgens mij uiteindelijk onvolledige gegevens. Er moet nog steeds een visie en een strategie zijn, en in productmanagement zijn er weddenschappen. We nemen inderdaad risico’s, in de wetenschap dat we de resultaten hopelijk kunnen meten als we ons werk goed doen.

Maar het moet een iteratief proces blijven. Ik denk niet dat AI ons een magisch antwoord geeft waarmee we plotseling een feilloze roadmap kunnen produceren.

Hannah Clark: Ja, daar ben ik het doorgaans mee eens. Ik sprak met een gast die nog niet in de show is geweest — dat komt binnenkort — en we bespraken het concept dat AI een grillige technologie is. Er zijn dingen waar AI heel goed in is en waarvan we de voordelen kunnen benutten, maar er zijn ook dingen waar AI niet zo goed in is, terwijl het er wel uitziet alsof dat zo is.

Het gaat dus om productgevoel, maar ook om de technologie goed genoeg begrijpen om jezelf te kunnen controleren: waarop vertrouw je eigenlijk te veel, en wat laat je door de LLM voor je doen?

Matt Graney: Zelfs bij eenvoudige chatinterfaces hebben we volgens mij genoeg voorbeelden gezien van AI die nogal onderdanig reageert. Als je daar niet echt alert op bent, zou je kunnen gaan denken dat je altijd geweldige ideeën hebt.

Persoonlijk breng ik er graag wat meer pit in. Ik zorg ervoor dat ik ook een alternatief standpunt krijg en vraag om een hyperkritische beoordeling van mijn ideeën. Anders klink ik altijd als een genie wanneer ik met mijn AI praat.

Hannah Clark: Ja, ze zijn dol op ons, hè? Laten we de aandacht nu een beetje verleggen en praten over andere aantrekkelijke maar uiteindelijk onhoudbare sluiproutes die productteams momenteel nemen.

Wat zijn enkele van de grootste overtreders die je bent tegengekomen?

Matt Graney: Een van mijn favorieten is volgens mij OKR’s. We hebben er een wat moeizame relatie mee. Op bedrijfsniveau valt het misschien mee, maar in productontwikkeling kan het behoorlijk uitdagend zijn. Ik denk dat dit gebeurt wanneer je iets probeert te importeren van een techgigant — in dit geval een van de grote bekende bedrijven — zonder noodzakelijkerwijs de rest van de cultuur mee te brengen.

In het algemeen kun je niet zomaar een ledemaat aan een lichaam vastzetten. Oké, nu gaan we het hebben over de monsters van Frankenstein. Als dit geen onderdeel van de cultuur is, zullen deze dingen nooit echt goed met elkaar verweven raken.

Dat is er één. Ik denk ook dat we allemaal wel eens metrics-theater hebben gezien: een verzameling ijdelheidsmetrics die ons niet echt veel vertellen of die niet leiden tot betere beslissingen. Dat is een bekende valkuil die al een tijdje bestaat. Misschien praten we over featurefabrieken of featureboerderijen. En misschien kunnen we nu per hectare boeren, toch?

Want door de schaal neemt ons vermogen om te produceren opnieuw toe. Hoe zorgen we ervoor dat we het juiste produceren? Al dit soort dingen zijn in wezen sluiproutes. We zoeken opnieuw naar magische oplossingen die blijkbaar ergens werken omdat iemand ze op X of LinkedIn heeft gelezen, maar zonder de nodige grondigheid zullen ze volgens mij alleen maar het vertrouwen aantasten.

Hannah Clark: Ja, over het aantasten van vertrouwen gesproken: een van de dingen die bij mij opkomen is de invloed hiervan op de UX-onderzoeksgemeenschap. UX-onderzoekers zijn volgens mij al lange tijd het ondergewaardeerde onderdeel van het productproces. Maar nu geven LLM’s ons volgens mij een nog onduidelijker beeld van hoe we dat proces correct uitvoeren en van de rol van AI bij het ondersteunen ervan.

Ik zou willen dat ik dit van de daken kon schreeuwen: je kunt gebruikersonderzoek simpelweg niet vervangen door een LLM.

Matt Graney: Ons hoofd gebruikersonderzoek vertelde me onlangs hetzelfde: AI-transcripties zijn geweldig. Je krijgt woordelijk te zien wat er daadwerkelijk is gezegd. Maar de inzichten missen vaak de subtiliteiten, zeker op dit moment. Misschien verandert dat nog.

Zoals we zeggen, komen er voortdurend nieuwe generaties van deze technologie. We kunnen dus optimistisch zijn over de toekomst, maar voorlopig is het volgens mij vooral belangrijk om de beperkingen te begrijpen en ze te ondervangen door goed, zorgvuldig gebruikersonderzoek uit te voeren.

Hannah Clark: Laten we van onderwerp veranderen en wat praten over je ervaring met het opschalen van teams. Je doet dat al een tijdje. Je hebt je team bij Celigo opgeschaald van twee PM’s naar tien keer zoveel. Je hebt veel ervaring met het opbouwen van processen. Ik weet zeker dat er onderweg misstappen zijn geweest.

Kun je ons iets vertellen over enkele van je belangrijkste lessen bij het opschalen van teams, van kleine organisaties naar meer volwassen organisaties? Wat heb je geleerd dat volgens jou nog steeds geldt, zelfs in deze snel veranderende tijd van AI?

Matt Graney: Ja, het is inderdaad een traject geweest, zoals je zegt, Hannah.

Ik kwam bij het bedrijf en erfde twee PM’s en twee technisch schrijvers — een team van vier. Nu zijn we met ongeveer 45, bijna 50 mensen. Het is een groot team van PM’s, ontwerpers, onderzoekers, technische documentatieschrijvers en productoperations. Wat ik heb geleerd, gaat misschien vooral over de volgorde waarin je dingen doet.

Helemaal aan het begin was het leven eenvoudig. Ik werkte aan de platformkant rechtstreeks samen met onze CTO. Met z’n drieën zaten we in een kamer en prioriteerden we een volledige backlog. Zo eenvoudig was het. Maar op de lange termijn schaalt dat duidelijk niet. Werken met offshoreteams, waarbij zowel PM’s als engineers op afstand werken, maakt de zaken ingewikkelder.

Geleidelijk voegden we processen toe. In het begin was design gewoon het beste wat we konden doen met de tools die we hadden. PM’s deden hun best. Ik denk altijd dat het bijna leek op het aan elkaar naaien van screenshots, als een soort losgeldbrief die zo rommelig en bijna gênant was. Daarna deden we onze eerste poging met professionele ontwerpers, en dat deden we niet goed.

Ik had het gevoel dat we design meer gebruikten als een bureaumodel: Hé, maak dit mooi, in plaats van echt na te denken over gebruikerservaring in plaats van alleen over design. Op het gebied van strategie zijn we altijd redelijk goed geweest en dat is zich blijven ontwikkelen. We hebben processen toegevoegd wanneer we ze nodig hadden. Ik zeg niet dat we perfect zijn, maar het heeft voor ons behoorlijk goed gewerkt. Soms hadden we misschien niet alle juiste vergaderingen en rituelen op hun plaats.

Maar in grote lijnen was het de juiste richting. Het ging om precies genoeg proces en reageren op de behoeften van het bedrijf, terwijl we alle teamleden ruimte gaven om te groeien. Maar het is een traject geweest. Ik heb nog nooit eerder zo’n groot team geleid. Er waren hier veel eerste keren.

En ik heb de littekens van de strijd en de grijze haren om het te bewijzen.

Hannah Clark: Echt? Waar?

Matt Graney: O ja. Ik geef misschien mijn kinderen de schuld.

Hannah Clark: Ja, je kunt alles aan je kinderen wijten. Ik doe dat voortdurend. Om daar wat verder op in te gaan en het te verbinden met waar we het eerder over hadden: ik ben benieuwd naar enkele beproefde productmanagementpraktijken waarvan je denkt dat ze nu misschien belangrijker zijn dan ooit, ook al lijken ze een beetje ouderwets.

Zijn er concepten, kaders of praktijken waar je meer dan ooit naar teruggrijpt of die je benadrukt bij je teams in het tijdperk van AI?

Matt Graney: Zoals ik zei: als de kosten om iets te bouwen misschien naar nul gaan, legt dat volgens mij juist meer verantwoordelijkheid bij ons om prioriteiten te stellen. Ik denk dus meer aan de tools voor prioritering.

Een deel daarvan is afstemming rond een visie en strategie, zodat iedereen in het team duidelijk genoeg weet wat de bedoeling is om zelfstandig beslissingen te kunnen nemen. Er is geen vervanging voor rechtstreeks contact met gebruikers en klanten. Ik heb het gevoel dat de eerste dagen van mijn carrière een beetje leken op gijzelingsonderhandelingen: met ontevreden klanten praten en proberen hen van de richel weg te praten.

Daar is geen vervanging voor, omdat het echt helpt om het volledige beeld van het product te begrijpen en PM’s de tools geeft die ze nodig hebben om beter te weten hoe ze prioriteiten moeten stellen. Er is dus geen vervanging voor meedogenloze prioritering. Op een bepaald niveau raakt je capaciteit gewoon op.

Soms kijk ik jaloers naar veel grotere bedrijven, maar ik weet dat ze ergens precies dezelfde problemen hebben. Alle PM’s hebben dat: je hebt nooit genoeg capaciteit. Het komt dus neer op prioritering en alle gebruikelijke tools blijven van toepassing. Zoals ik zei, kan AI helpen om het geheel te begrijpen en grote hoeveelheden informatie te verwerken. Dat is onmisbaar voor onderzoek. En bij vibe coding geldt: wanneer je het op de juiste plek inzet, is het geweldig voor snelle prototyping.

Wat sommige mensen ook vergeten over prototyping, is dat prototypes oorspronkelijk bedoeld zijn om te worden weggegooid. Ze zijn niet bedoeld als basis voor wat uiteindelijk naar productie gaat. Als je al die dingen kunt doen, zijn de tools er volgens mij echt om de manier waarop we werken te versnellen en opnieuw te helpen bij prioritering.

Hannah Clark: Goed gezegd. Om af te sluiten met een optimistische noot: waar liggen volgens jou de meest legitieme kansen met hoge waarde om het werk van productmanagers met AI te verbeteren? En welk advies zou je geven aan productleiders die AI echt op een doordachte manier willen omarmen, zonder in een van de valkuilen of mogelijke ontmaskeringsmomenten te vallen waar we het over hebben gehad?

Matt Graney: Een van de belangrijkste gebieden is volgens mij onderzoek. De mogelijkheid om tegenwoordig concurrentieonderzoek te doen voor een PM is een tool die ik vroeger graag had gehad. Natuurlijk zijn leveranciers tegenwoordig veel opener en zijn de meeste productdocumenten beschikbaar, maar je moet dat onderzoek wel echt uitvoeren.

Dat is een enorme kans. Ook het snel samenstellen van documentatie. Veel mensen praten over eerst persberichten schrijven of eerst FAQ’s maken. Ik denk dat dit een geweldige mogelijkheid is. Misschien leek dat vroeger omslachtig, maar tegenwoordig is het een uitstekende manier om te beginnen. Het gaat erom tools zoals deze te gebruiken om je verbeelding te vergroten.

Waar denk ik niet aan? AI kan, wanneer je het op de juiste manier aanstuurt, heel goed zijn in het identificeren van blinde vlekken. Ja, soms hallucineert het, maar zelfs daaruit kunnen soms inzichten of vormen van lateraal denken voortkomen waar je zelf nog niet aan had gedacht. AI kan echter ook een beetje een lachspiegel zijn.

Als het uitgangspunt al rommelig is en je discipline niet op orde is, maakt AI het alleen maar erger. Maar wanneer je het goed inzet, kan het de focus bieden die productmanagers nodig hebben.

Hannah Clark: Ja, daar ben ik het mee eens. Matt, dit was geweldig. Bedankt dat je al je kennis hebt gedeeld en dat je een realiteitscheck hebt gegeven bij sommige dingen die we momenteel zo vaak in deze sector zien.

Ik waardeer het echt. Waar kunnen mensen je werk online volgen?

Matt Graney: Je kunt me het beste op LinkedIn vinden. Daar ben ik volgens mij vaker dan ergens anders, dus ik kijk ernaar uit om daar met mensen contact te hebben.

Hannah Clark: Geweldig, heel erg bedankt.

De volgende keer in The Product Manager Podcast: als je vond dat deze aflevering stevig inging op verwachtingen versus werkelijkheid, dan gaan we in de volgende aflevering diep in op LLM-technologie — op een manier die alles wat je denkt te weten over AI ter discussie zal stellen.

Hoewel het potentieel van de technologie onbeperkt is, zijn de huidige beperkingen veel complexer dan we beseffen. Dat geldt ook voor de gevolgen voor ons als bouwers én gebruikers van AI-producten. Deze aflevering komt hard aan, dus abonneer je nu en doe de volgende keer met ons mee!