De mest misvisende produktgreb afsløret

Hannah Clark: Ting er ikke altid, som de ser ud. Fra abonnementspriser baseret på lokketilbud og skift til de mennesker, der sværger på, at candy corn smager godt, mangler vi ikke grunde til at være skeptiske over for alt – især ikke lige nu inden for produktudvikling. Forandringstempoet i denne branche er så højt, at tendenser kan begynde at ligne best practices, mens de virkelige best practices kan begynde at se forældede ud. Men når målet er at bygge et produkt, der kan skalere over tid, er det vores ansvar at passe på, at vi ikke bliver suget ind i hypetogets hypnose.

Min gæst i dag er Matt Graney, CPO hos Celigo. Matt har arbejdet med B2B-produkter i over 20 år og har brugt næsten ni af dem på at skalere produktteamet hos Celigo fra fire til over 45 personer. Og selvom AI har vist sig at være en ekstraordinær mulighed for virksomheden, har han bemærket et gab mellem forventninger og virkelighed, når det gælder nogle af de skinnende nye taktikker, der fylder vores LinkedIn-feed. Fra prototyper, der udgiver sig for at være produktionsklar kode, til værktøjer, der lyder for gode til at være sande, hører du hans syn på, hvor man bør træde varsomt, og den gennemprøvede visdom, han regner med for at komme levende igennem denne AI-transformation. Lad os gå i gang.

Nå ja, vi har samtaler som denne hver uge. Så hvis det lyder interessant for dig, hvorfor så ikke abonnere? Okay, lad os gå i gang.

Velkommen tilbage til The Product Manager Podcast. Jeg er her i dag sammen med Matt Graney. Han er CPO hos Celigo.

Matt, tusind tak, fordi du har afsat tid i din kalender til at tale med os.

Matt Graney: Tak, Hannah. Det er dejligt at tale med dig i dag.

Hannah Clark: Kan du fortælle os lidt om din baggrund og din rejse frem mod at blive CPO hos Celigo?

Matt Graney: Ja, jeg har arbejdet med B2B-produkter i lang tid efterhånden, omkring de sidste 20 år. Celigo er en integrationsplatform, så jeg har været hos Celigo i otte et halvt år, hvor jeg kom med kort efter serie A-finansieringen.

Og fem et halvt år før det arbejdede jeg også inden for integrationsområdet. Det var ikke rigtig planlagt, det var bare sådan, tingene udviklede sig. Før det arbejdede jeg med produkter omkring softwareudviklingens livscyklus, blandt andet UML-modelleringsværktøjer. For dem af jer, der måske kan huske, hvad det var, var jeg oprindeligt softwareingeniør i Australien, hvor jeg arbejdede med telekommunikation og forsvar.

Og jeg kom først til USA for faktisk at arbejde som salgsingeniør for et produkt, som jeg var blevet superbruger af, mens jeg var hos Motorola. Så jeg har en ret alsidig baggrund. Derefter tog jeg en tørn inden for produktmarketing, og til sidst kom jeg ind i produktområdet.

Hannah Clark: En tørn. Jeg har aldrig hørt det beskrevet på den måde.

Det er sjovt. I dag skal vi have det lidt sjovt med en episode med et meget løst Halloween-tema. Vi vil fokusere på temaet dårlige produktgreb i forklædning. Og vi begynder med at dykke ned i vibe coding. Der bliver kastet mange meninger rundt om vibe coding i produktmiljøet.

Og jeg vil være den første til at indrømme, at no-code-platforme er fantastiske værktøjer. Jeg bruger dem hele tiden, men de kan også føre til nogle meget Scooby-Doo-agtige øjeblikke, hvor masken falder, og vi ser nærmere efter og opdager, at tingene ikke er, som de ser ud. Så hvad har din erfaring været, Matt, med vibe coding i produktteams?

Fortæl mig om det gode, det dårlige og det grimme.

Matt Graney: Ja. Og vi var sluppet af sted med det, hvis det ikke havde været for jer, irriterende unger. Ikke? Jeg synes, det handler om demokratisering, hvilket er fantastisk. Men vi er også nødt til at tænke på illusionen, altså at man med den magt kan få noget til at se godt ud. Det betyder ikke nødvendigvis, at det er bygget rigtigt.

Og jeg tror, der er meget, der skal ske under overfladen. Vi bør måske ikke forveksle hurtige prototyper med produktionsklar kode. Så ja, borgerlige skabere, men man har også brug for borgerlige arkitekter. Og i den virksomhed, vi for eksempel driver, altså B2B, arbejder vi med infrastruktursoftware. Vi taler om milliarder af transaktioner om måneden.

Der er kun bestemte dele af applikationen, måske helt ude på frontenden, hvor vi ville være trygge ved at lave vibe coding af hvad som helst. Så jeg synes, det skal handle om det rigtige værktøj til opgaven, sådan som det altid har gjort. Samtidig skal vi sikre, at der er en kultur for eksperimenter, at vi opmuntrer teamet til at tage chancer, afprøve nye værktøjer og holde sig ajour med den seneste udvikling i det, der virkelig er en banebrydende tid for hele branchen.

Hannah Clark: Lad os gå lidt dybere ned i det. Når vi tænker på de forskellige niveauer af teknologiforståelse på tværs af hele organisationen, kan det være meget fristende for folk, der enten har mindre erfaring med teknologien eller selv er nye grundlæggere, at se noget, der ligner fungerende kode, og bare løbe med det. Og det lægger et stort pres på ingeniørteams for at matche den hastighed eller kunne udvikle på det niveau så hurtigt og få det til at se så skinnende og nyt ud.

Hvordan hjælper vi interessenter med at forstå de reelle begrænsninger og overvejelser mellem den prototype, vi ser fra vibe-coding-værktøjer, og produktionsklar software?

Matt Graney: Ja, det er en rigtig god pointe, for hastighed frem til en demo er ikke det samme som hastighed frem til produktion. Og især når vi taler om 5.000 kunder og igen om B2B-arbejdsbelastninger, taler vi nogle gange om det, vi laver, som VVS-installationen. Altså, AI kan måske male huset, men den kommer ikke nødvendigvis til at installere rørene i huset. Ikke? Man skal være sikker på nogle af de her ting. Der er nogle udfordringer, for det kan både være pres på ingeniørteams eller pres fra ledelsen. For nylig har jeg internt set ret højtstående medarbejdere uden teknisk baggrund lave vibe coding af proof of concepts for at vise nye funktioner, som deres kunder har stort behov for.

Det har bestemt sat gang i fantasien, men det skaber også et uudtalt pres om, at det her måske er tilgængeligt for alle, og at det er noget, vi hurtigt kan sætte i produktion. Og hvis vi taler om bygninger – hvis jeg vender tilbage til at male huse eller installere rør i huse – så er det her ikke nødvendigvis bærende vægge, vel?

Det er facaden. Det kan se godt ud. Og igen, det betyder ikke, at der ikke er en plads til det, for hastigheden i et proof of concept er ganske enkelt utrolig. Og det skal vi omfavne ved enhver lejlighed. Det kan være for at hjælpe en produktchef med bedre at forklare krav, eller for at hjælpe en designer med at vise alternative arbejdsgange.

Hvor de måske tidligere skulle igennem designet af mange forskellige skærmbilleder i deres foretrukne designværktøj. Velfungerende kode er ubestrideligt kraftfuld, og vi skal se på, hvordan vi kan omfavne den ved enhver mulig lejlighed, samtidig med at vi anerkender, at den ikke er det samme som produktionsklar kode.

Hannah Clark: Noget andet, jeg også har tænkt på, er, at det her er værktøjer, som uundgåeligt kommer til at blive langt mere sofistikerede, og vi som brugere bliver også langt mere sofistikerede i vores anvendelse af dem. Det betyder selvfølgelig, at vi bevæger os hen imod, at omkostningerne ved at bygge nærmer sig nul.

Så hvilke bekymringer har du som produktleder omkring den tendens, og hvad har du gjort for at afbøde dem hos Celigo?

Matt Graney: Ja, Hannah, jeg synes, det er en fantastisk mental model, et godt tankeeksperiment at køre. Hvad sker der, hvis omkostningerne ved at bygge nærmer sig nul?

Måske nærmer vi os hurtigt det punkt med de nye generationer af de her værktøjer, som du siger, og med brugernes og de dygtige brugeres evner – ligesom vi ser forbedringer i de sædvanlige ChatGPT-lignende oplevelser. Så vi kan forvente et dramatisk fald, så det bliver meget billigt at bygge. Jeg tror faktisk, at det kontraintuitivt lægger endnu mere pres på produktchefer for at sikre, at vi bygger det rigtige. Det fritager os ikke for alt det rigtige, vi bør gøre: at se på produktanalyse, kvantitativ og kvalitativ brugerresearch, kundeinterviews, produktråd og alt det andet.

Proofs of concept, A/B-test, tæt samarbejde i en treenighed af produktchefer, designere og ingeniører, ikke? Intet af det forsvinder. Og jeg tror, vi er nødt til at beskytte os mod det, for hvis vi holder os til Halloween-temaet, kunne vi ende med en masse zombier, der render rundt – zombieprojekter, altså ting, der var så nemme at bygge.

Måske fylder de produktet med alle mulige idéer, der aldrig rigtig blev til noget. Så jeg tror igen, at nogle af de ældre discipliner inden for produktledelse kommer i forgrunden, fordi vi nu har endnu flere valgmuligheder. Evnen til at træffe beslutninger og skabe de rigtige resultater skal stadig være der.

Hannah Clark: Det er jeg enig i. Og apropos måske dårligt gennemtænkte idéer har jeg bestemt set en eksplosion af værktøjer, der oversvømmer markedet, og som ser ud til at tilbyde, lad os sige, fortryllende fordele, samtidig med at de skjuler nogle, måske – faktisk ikke engang skjuler, men bare tilbyder – meget alvorlige risici.

Jeg har set nogle ret grelle koncepter cirkulere, hvor jeg meget tydeligt kunne se en mulighed for, at ondsindede aktører kunne manipulere dem på en måde, som vi egentlig ikke ønsker. Hvad er nogle af de ting, du ser på området, som får dig til at tøve, og hvilken rolle spiller produktdømmekraft stadig, som bare ikke kan automatiseres væk?

Matt Graney: Jeg tror, vi altid har ledt efter produktledelsens magiske ottekugle, hvad enten det er scoringsmetoder som RICE.

Jeg har også set dem blive misbrugt, fordi de stadig giver produktchefer meget spillerum til at lægge tommelfingeren på vægten og påvirke resultaterne. Det kræver ikke mange runder at finde ud af præcis, hvordan man flytter nålen og tipper vægtskålen til sin egen fordel. Så jeg tror, vi vil se den samme slags risici her.

Jeg tror, der er nogle værktøjer, der lover, at de måske vil suge al viden til sig – produkttelemetri, alle samtaler, der nogensinde har fundet sted. Men vi ved alle, at der sker masser af ting uden for de officielle kanaler, observationer, der måske kommer fra et værktøj til afspilning af sessioner, men som ikke er skrevet ned i en form, som en stor sprogmodel kan forstå.

Så der er ingen erstatning for sund produktdømmekraft. Og selvom vi måske har flere data end nogensinde, er det stadig ufuldstændige data. Der skal stadig være en vision og en strategi, og i produktledelse foretager man satsninger. Ja, vi satser velvidende, at vi forhåbentlig kan måle resultaterne, hvis vi gør vores arbejde ordentligt.

Men det skal stadig være en iterativ proces, og jeg tror ikke, at AI giver os et magisk svar, der pludselig kan producere en fejlfri køreplan.

Hannah Clark: Ja, det er jeg tilbøjelig til at være enig i. Jeg talte med en gæst, som endnu ikke har været med i programmet. Det kommer snart, men noget, vi talte om, var konceptet om, at AI er en ujævn teknologi, hvor der er nogle ting, den er meget god til. Dem kan vi udnytte, men der er også ting, den ikke er så god til, selvom det ser ud, som om den er det.

Så ja, det handler om produktfornemmelse, men også om at forstå teknologien godt nok til at kunne kontrollere sig selv og spørge: Hvad er det egentlig, du stoler for meget på, at de store sprogmodeller skal gøre for dig?

Matt Graney: Og jeg synes, selv med grundlæggende chatgrænseflader har vi set masser af eksempler på, at noget AI kan være ret krybende imødekommende, ikke? Og hvis man ikke er opmærksom på det, kan man begynde at tro, at man altid har gode idéer.

Personligt kan jeg godt lide at krydre det lidt og sørge for, at jeg får et alternativt synspunkt og beder om en hyperkritisk gennemgang af de idéer, jeg har. Ellers lyder jeg altid som et geni, når jeg taler med min AI. Så…

Hannah Clark: Ja, de elsker os, gør de ikke? Lad os gå lidt videre fra at pege på det, og jeg vil gerne tale om nogle andre, lad os sige attraktive, men i sidste ende uholdbare genveje, som vi ser produktteams tage lige nu.

Hvad er nogle af de større syndere, du har set?

Matt Graney: En af mine favoritter er OKR’er. Jeg synes, vi har et lidt problematisk forhold til dem. Måske er det ikke så slemt på virksomhedsniveau, men i produktområdet kan det være en udfordring. Og jeg tror, det er det, der sker, når man forsøger at importere noget fra en stor, berømt virksomhed uden nødvendigvis at have resten af kulturen med sig.

Generelt kan man ikke bare pode en lem på. Okay, nu taler vi om Frankensteins monstre. Hvis det ikke er en del af kulturen, kommer de her ting aldrig rigtig til at hænge ordentligt sammen.

Det er én ting. Jeg tror også, vi alle har set måleteater, en masse forfængelighedsmetrikker, der ikke rigtig fortæller os noget eller fører til bedre beslutninger. Det er et gammelt trick, som har eksisteret længe. Måske taler vi om funktionsfabrikker eller funktionsfarme, og måske har vi nu mulighed for at dyrke pr. hektar, ikke?

Fordi skalaen vokser, og vores evne til at producere igen bliver større. Hvordan sikrer vi, at vi producerer det rigtige? Jeg tror, alle den slags ting grundlæggende er genveje. Igen leder man efter magiske løsninger, der tilsyneladende virker et eller andet sted, fordi nogen læste om dem på X eller LinkedIn, og uden den form for stringens bag dem kommer de bare til at udhule tilliden.

Hannah Clark: Ja, jeg er enig i det med at udhule tilliden. En af de ting, jeg kommer til at tænke på, er, hvordan det har påvirket UX-researchmiljøet. Jeg ved, at UX-researchere længe har lidt under at være den underapprecierede del af produktprocessen. Men nu synes jeg, at store sprogmodeller giver os et endnu mere uklart billede af, hvordan man udfører research korrekt, og hvilken rolle AI spiller i at hjælpe med den proces.

Det er sådan en ting, hvor jeg ville ønske, jeg kunne råbe det ud fra hustagene: Man kan ganske enkelt ikke erstatte brugerresearch med en stor sprogmodel.

Matt Graney: Vores chef for brugerresearch sagde for nylig det samme til mig: AI-transskriptionerne er fantastiske. Okay, her er ordret, hvad der faktisk blev sagt. Men indsigterne overser ofte nuancerne, i hvert fald på nuværende tidspunkt, og måske ændrer det sig.

Som vi siger, kommer der hele tiden nye generationer af den her teknologi. Jeg tror, vi kan være optimistiske omkring fremtiden, men lige nu er det vigtigst at forstå begrænsningerne og beskytte sig mod dem gennem det gode håndværk, som god brugerresearch er.

Hannah Clark: Lad os skifte spor lidt og tale om din erfaring med at skalere teams. Det har du gjort et stykke tid. Du har skaleret dit team hos Celigo fra to produktchefer til ti gange så mange. Du har masser af erfaring med at opbygge processer. Jeg er sikker på, at der har været fejltrin undervejs.

Kan du fortælle os lidt om nogle af dine vigtigste erfaringer med at skalere teams fra små organisationer gennem deres modning? Hvad har du lært, som stadig gælder i dag i denne hurtigt bevægende AI-tid?

Matt Graney: Ja, det har været en rejse, som du siger, Hannah.

Jeg kom ind i virksomheden og overtog to produktchefer og to tekniske skribenter. Et team på fire. Nu er vi omkring 45, tæt på 50, ikke? Så det har været meget, og det er et team af produktchefer, designere, researchere, tekniske dokumentationsfolk og produktdrift. Jeg tror, det, jeg har lært, måske handler om rækkefølgen, man gør tingene i.

I begyndelsen var livet enkelt. På platformsiden arbejdede jeg direkte sammen med vores CTO, og vi var tre personer omkring et bord, der prioriterede en hel backlog, ikke? Det var så enkelt. Men det skalerer tydeligvis ikke på lang sigt. Når både produktchefer og ingeniører arbejder offshore, bliver tingene mere komplicerede.

Vi tilføjede gradvist processer. I begyndelsen var design bare det bedste, vi kunne gøre med de værktøjer, vi havde. Produktcheferne gjorde deres bedste. Jeg tænker altid på det som at sy skærmbilleder sammen, lidt som en løseseddel, der var så grumset og næsten pinlig. Og da vi for første gang forsøgte os med professionelle designere, gjorde vi det egentlig ikke særlig godt.

Jeg følte, at vi brugte design mere som en bureau-model: Hej, få det her til at se pænt ud, i stedet for virkelig at tænke på det som brugeroplevelse og ikke bare design. Dokumentationen har vi altid været forholdsvis gode til, og det har fortsat med at udvikle sig. Så vi har tilføjet processer, efterhånden som vi havde brug for dem. Jeg siger ikke, at vi er perfekte, men det har fungeret ret godt for os. Måske har vi ikke altid haft alle de rigtige ritualer på plads, og nogle gange føles det sådan.

Men jeg tror, at vi overordnet set har bevæget os i den rigtige retning. Det har handlet om lige præcis nok proces og om at reagere på virksomhedens behov. Og om at give alle teammedlemmer plads til at udvikle sig. Men det har været en rejse. Jeg har aldrig før ledet et team af den størrelse. Der er mange første gange her.

Og jeg har kamp ar og gråt hår, der kan bevise det.

Hannah Clark: Virkelig? Hvor?

Matt Graney: Åh ja. Jeg giver måske mine børn skylden. Okay.

Hannah Clark: Ja, man kan give sine børn skylden for alt. Det gør jeg hele tiden. For at udvide det lidt og koble det til det, vi talte om før, er jeg nysgerrig på nogle af de gennemprøvede produktledelsespraksisser, som du mener måske faktisk er vigtigere nu end nogensinde, selvom de virker lidt gammeldags.

Er der nogle koncepter, rammeværk eller praksisser, som du har fundet dig selv vende tilbage til mere end nogensinde eller fremhæve over for dine teams i AI-alderen?

Matt Graney: Som jeg sagde, når omkostningerne ved at bygge måske nærmer sig nul, tror jeg faktisk, at det lægger endnu mere ansvar på os for at prioritere. Så jeg tænker mere på værktøjerne til prioritering.

Noget af det handler om at være enige om en vision og en strategi og sikre, at alle i teamet forstår dem godt nok til at kunne træffe lokale beslutninger. Der er ingen erstatning for direkte kontakt med brugere og kunder. Jeg føler, at de tidlige dage af min karriere mindede om gidsel-forhandlinger – utilfredse kunder, som man skulle tale ned fra gesimsen eller hvad det nu hedder.

Der er ingen erstatning for det, for det hjælper virkelig med at give et komplet billede af, hvad produktet handler om, og giver produktcheferne de værktøjer, de har brug for, til bedre at forstå, hvordan de bør prioritere. Der er ingen erstatning for kompromisløs prioritering. På et eller andet tidspunkt løber man tør for kapacitet.

Nogle gange ser jeg misundeligt på meget større virksomheder, men jeg ved, at de et eller andet sted har præcis de samme problemer. Alle produktchefer har dem. Man har aldrig nok kapacitet. Så det handler bare om prioritering, og alle de sædvanlige værktøjer gælder stadig. Som jeg sagde, kommer AI ind i billedet ved måske at hjælpe med at forstå en helhed og fordøje en masse information, hvilket er uundværligt i forbindelse med research, og så, som vi talte om med vibe coding, når det bruges på sin rette plads, til hurtig prototyping.

Jeg tror også, nogle glemmer noget vigtigt ved prototyping: Den oprindelige idé med prototyper er, at de skal kasseres. De er ikke tænkt som grundlaget for det, der kommer i produktion. Og hvis man kan gøre alle de ting, tror jeg, værktøjerne virkelig kan accelerere den måde, vi arbejder på, og igen hjælpe med prioriteringen.

Hannah Clark: Ja, godt sagt. For at slutte på en optimistisk note: Hvor vil du sige, at de mest legitime muligheder med høj værdi ligger for AI til at forbedre produktchefers arbejde? Og hvilket råd vil du give produktledere, der virkelig gerne vil omfavne AI på en gennemtænkt måde uden at falde i nogle af de fælder eller potentielle øjeblikke, hvor masken falder, som vi har talt om?

Matt Graney: Ja, jeg tror virkelig, at et af de store områder er research. Evnen til at lave konkurrentresearch som produktchef i dag er et værktøj, jeg ville ønske, jeg havde haft tidligere. Selvfølgelig er en del af forklaringen, at leverandører er langt mere offentlige nu, og de fleste produktdokumenter er tilgængelige. Men man er virkelig nødt til at gøre det.

Det er et enormt område. Og selvfølgelig også hurtigt at samle dokumentation. Mange taler om at skrive pressemeddelelser først eller ofte stillede spørgsmål først. Jeg synes, det er en fantastisk mulighed. Det kan have virket besværligt tidligere, men det er en god måde at komme i gang på i dag. Jeg tror, det handler om at bruge værktøjer som dette til at udvide fantasien.

Hvad tænker jeg ikke på? Jeg synes, AI, når den bliver bedt om det på den rigtige måde, kan være rigtig god til at identificere blinde vinkler. Ja, den kan hallucinere nogle gange, men selv ud af det kan der somme tider komme indsigter eller lateral tænkning, som man ikke selv havde overvejet. Men AI kan også være lidt som et tivolispejl.

Hvis det allerede fra begyndelsen er skævt, og hvis man ikke har sin disciplin på plads, gør den det kun værre. Men når det gøres rigtigt, kan den give det fokus, som produktchefer har brug for.

Hannah Clark: Ja, det er jeg tilbøjelig til at være enig i. Matt, det har været fantastisk. Tak, fordi du delte al din viden og hjalp med at kvalitetssikre nogle af de ting, vi ser så meget af på området.

Jeg sætter virkelig pris på det. Hvor kan folk følge dit arbejde online?

Matt Graney: Det bedste er at finde mig på LinkedIn. Jeg virker til at være der mere end noget andet sted, så jeg glæder mig til at komme i kontakt med folk der.

Hannah Clark: Fantastisk, tusind tak.

Næste gang i The Product Manager Podcast. Hvis du syntes, at denne episode gik hårdt til forskellen mellem forventninger og virkelighed, skal vi til at dykke dybt ned i teknologien bag store sprogmodeller i en episode, der vil udfordre alt, hvad du tror, du ved om AI.

Selvom teknologiens potentiale er grænseløst, er de nuværende begrænsninger langt mere komplekse, end vi er klar over, og det samme gælder påvirkningen af os som både udviklere og brugere af AI-produkter. Den her episode kommer til at ramme hårdt, så abonnér nu, og spring med os næste gang!