De mest vilseledande dragen inom produktutveckling, avslöjade

Hannah Clark: Saker är inte alltid som de verkar. Från prenumerationspriser med lockpriser och dolda villkor till människor som hävdar att sockerkorn smakar gott – vi saknar inte anledningar att vara skeptiska till allt, särskilt inte just nu inom produktutveckling. Förändringstakten i den här branschen är så hög att trender kan börja likna bästa praxis, medan den verkliga bästa praxisen kan börja verka föråldrad. Men när målet är att bygga en produkt som kan växa över tid är det vårt ansvar att se till att vi inte dras med i en hypetågs-hypnos.

Min gäst i dag är Matt Graney, produktchef på Celigo. Matt har arbetat med B2B-produkter i över 20 år och har tillbringat nästan nio av dem med att skala upp produktteamet på Celigo från fyra till över 45 personer. Och även om AI har visat sig vara en enastående möjlighet för företaget har han lagt märke till ett glapp mellan förväntningar och verklighet när det gäller vissa av de skinande nya taktiker som svämmar över vårt LinkedIn-flöde. Från prototyper som utger sig för att vara produktionsklar kod till verktyg som verkar vara för bra för att vara sanna får du höra hans syn på var man bör gå varsamt fram, och den beprövade visdom han förlitar sig på för att ta sig igenom den här AI-omvandlingen med livet i behåll. Då sätter vi igång.

Förresten, vi har sådana här samtal varje vecka. Så om det här låter intressant för dig, varför inte prenumerera? Okej, då sätter vi igång.

Välkommen tillbaka till The Product Manager Podcast. I dag har jag med mig Matt Graney. Han är produktchef på Celigo.

Matt, tack så mycket för att du tar dig tid att prata med oss.

Matt Graney: Tack, Hannah. Det är trevligt att prata med dig i dag.

Hannah Clark: Kan du berätta lite om din bakgrund och din väg till att bli produktchef på Celigo?

Matt Graney: Ja, jag har arbetat med B2B-produkter länge nu, ungefär de senaste 20 åren. Celigo är en integrationsplattform, så jag har varit på Celigo i åtta och ett halvt år efter att ha börjat strax efter serie A-finansieringen.

Och ytterligare fem och ett halvt år dessförinnan arbetade jag också inom integration. Det var egentligen inte planerat, det är bara så det blev. Innan dess arbetade jag med produkter kring programvaruutvecklingens livscykel, bland annat UML-modelleringsverktyg. För er som kanske minns vad det var, var jag ursprungligen programvaruingenjör i Australien och arbetade inom telekom och försvar.

Sedan kom jag först till USA för att arbeta som försäljningsingenjör för en produkt som jag hade blivit expertanvändare av när jag arbetade på Motorola. Så jag har en ganska varierad bakgrund. Därefter gjorde jag en avstickare till produktmarknadsföring och tog mig till slut över till produktutveckling.

Hannah Clark: En avstickare. Jag har aldrig hört det beskrivas så.

Det var roligt. I dag ska vi ha lite kul med ett avsnitt med ett ganska tydligt Halloween-tema. Vi ska fokusera på temat dåliga produktstrategier i förklädnad. Och vi börjar med att gå på djupet kring intuitiv kodning. Det finns gott om åsikter om intuitiv kodning i produktcommunityt.

Och jag erkänner gärna att plattformar utan kod är fantastiska verktyg. Jag använder dem hela tiden, men de kan också leda till väldigt Scooby-Doo-aktiga ögonblick, ögonblick där masken faller och vi tittar närmare och upptäcker att det inte alls är vad det verkar vara. Så hur har din erfarenhet varit, Matt, av intuitiv kodning inom produktteam?

Berätta om det goda, det dåliga och det fula.

Matt Graney: Ja. Och vi skulle ha kommit undan med det om det inte vore för dig, era besvärliga ungar. Precis. Jag tycker att demokratiseringen är fantastisk. Men vi måste också tänka på illusionen – den kraften att få något att se bra ut. Det betyder inte nödvändigtvis att det är korrekt byggt.

Och jag tror att mycket måste hända under ytan. Vi bör kanske inte blanda ihop snabba prototyper med produktionsklar kod. Så visst, medborgarskapare, men man behöver också medborgararkitekter. Och i den typ av verksamhet vi bedriver, till exempel B2B, arbetar vi med infrastrukturprogramvara och talar om miljarder transaktioner i månaden.

Det finns bara vissa delar av applikationen, kanske längst fram i användargränssnittet, där vi skulle känna oss bekväma med att intuitivt koda vad som helst. Därför tror jag att det måste handla om rätt verktyg för jobbet, precis som det alltid har gjort. Och samtidigt måste vi se till att det finns en experimentkultur, uppmuntra teamet att ta risker, prova nya verktyg och hålla sig uppdaterade om den senaste utvecklingen under en tid som verkligen är banbrytande för hela branschen.

Hannah Clark: Om vi går lite djupare in på det. När vi tänker på de olika nivåerna av teknisk förståelse genom hela organisationen kan det vara väldigt frestande för personer som har mindre erfarenhet av tekniken, eller för nya grundare, att se något som verkar vara fungerande kod och bara köra vidare med det. Det sätter stor press på ingenjörsteamen att matcha den hastigheten eller kunna utveckla på den nivån så snabbt och få det att se så skinande och nytt ut.

Hur hjälper vi intressenter att förstå de verkliga begränsningarna och övervägandena mellan prototypen vi ser från verktyg för intuitiv kodning och produktionsklar programvara?

Matt Graney: Ja, det är en väldigt bra poäng, för demonstrationshastighet är inte samma sak som produktionshastighet. Särskilt när vi talar om 5 000 kunder och B2B-arbetsbelastningar. Vi brukar ibland beskriva det vi gör, infrastrukturen, som rörsystemet.

AI kan alltså måla huset, men den kommer inte nödvändigtvis att installera rören i huset. Man måste vara säker på vissa av de här sakerna. Det finns utmaningar, oavsett om det handlar om press på ingenjörsteam eller till och med press från företagsledningen. På senare tid har jag internt sett relativt seniora personer i icke-tekniska roller använda intuitiv kodning för att skapa konceptbevis som visar nya funktioner som deras kunder verkligen behöver.

Det har definitivt satt fart på fantasin, men det skapar också ett outtalat tryck: kanske är detta tillgängligt för alla, kanske är detta något vi kan skynda ut i produktion. Och om vi fortsätter med byggmetaforen – om jag återgår till att måla eller installera rör i hus – är det här inte nödvändigtvis bärande väggar.

Det är fasaden. Den kan se bra ut. Och återigen betyder det inte att det inte finns en plats för det, eftersom hastigheten med vilken man kan skapa ett konceptbevis är otrolig. Vi måste ta till vara på det vid varje tillfälle. Det kan handla om att hjälpa en produktchef att förklara krav bättre eller hjälpa en designer att visa alternativa arbetsflöden.

Tidigare kanske de hade behövt utforma många olika skärmar i sitt favoritverktyg för design. Kraften i fungerande kod går inte att förneka, och vi måste försöka använda den vid varje tänkbart tillfälle, samtidigt som vi inser att den inte är samma sak som produktionsklar kod.

Hannah Clark: Något annat jag har tänkt på är att de här verktygen ofrånkomligen kommer att bli mycket mer sofistikerade, och vi som användare kommer också att bli mycket bättre på att använda dem. Det betyder förstås att vi rör oss mot en kostnad för att bygga som närmar sig noll.

Vilka farhågor har du själv som produktledare kring den trenden, och vad har du gjort för att hantera dem på Celigo?

Matt Graney: Hannah, jag tycker att det är en fantastisk mental modell, ett bra tankeexperiment att genomföra. Vad händer om kostnaden för att bygga går mot noll?

Kanske närmar vi oss snabbt det med de här verktygens utveckling, som du säger, och med skickliga användares förmåga, precis som vi ser förbättringar i de vanliga ChatGPT-liknande upplevelserna. Vi kan alltså förvänta oss en dramatisk minskning av kostnaden så att det blir väldigt billigt att bygga. Men paradoxalt nog tror jag att det sätter ännu större press på produktchefer att se till att vi bygger rätt saker. Det befriar oss inte från allt det viktiga vi bör göra: att titta på produktanalys, kvantitativ och kvalitativ användarundersökning, kundintervjuer, produktråd och allt sådant.

Konceptbevis, A/B-tester och nära samarbete i en triad bestående av produktchefer, designers och ingenjörer. Inget av det försvinner. Och jag tror att vi måste skydda oss mot det, för att återknyta till Halloween-temat kan vi annars få en massa zombier som springer runt – zombieprojekt, saker som var så enkla att bygga.

De kanske skräpar ner produkten med alla dessa idéer som aldrig riktigt blev något. Därför tror jag återigen att några av de äldre disciplinerna inom produktledning kommer tillbaka i förgrunden, eftersom vi nu har ännu fler valmöjligheter. Förmågan att fatta beslut och driva rätt sorts resultat måste finnas kvar.

Hannah Clark: Jag håller med. Och på tal om kanske ogenomtänkta idéer har jag verkligen sett en explosion av verktyg som strömmar ut på marknaden och verkar erbjuda, låt säga, förtrollande fördelar samtidigt som de döljer, eller kanske inte ens döljer, utan bara erbjuder, mycket allvarliga risker.

Jag har sett några ganska grova koncept cirkulera där jag tydligt kan se möjligheter för illvilliga aktörer att manipulera dem på ett sätt som vi egentligen inte vill. Vilka saker ser du i det här området som får dig att stanna upp, och vilken roll spelar produktomdömet fortfarande – det som helt enkelt inte kan automatiseras bort?

Matt Graney: Jag tror att vi alltid har letat efter produktledningens magiska kula, oavsett om det handlar om poängsättningsmetoder som RICE.

Jag har också sett dem missbrukas, eftersom de fortfarande ger produktchefer stort utrymme att påverka resultaten och lägga tummen på vågen. Det krävs inte många omgångar innan man förstår exakt hur man ska flytta nålen och tippa vågen till sin egen fördel. Jag tror att vi kommer att se samma slags risker här.

Det finns verktyg som lovar att de ska suga upp all information – produkttelemetri, varje samtal som någonsin har ägt rum. Men vi vet alla att det händer mycket utanför de formella kanalerna, sådant som observeras men kanske kommer från ett verktyg för uppspelning av sessioner utan att vara nedskrivet i en form som en språkmodell kan förstå.

Det finns alltså ingen ersättning för ett sunt produktomdöme. Även om vi kanske har mer data än någonsin är det i slutändan ofullständiga data. Det måste fortfarande finnas en vision och en strategi, och inom produktledning gör man avvägningar. Vi gör avvägningar i vetskap om att vi förhoppningsvis kommer att kunna mäta resultaten om vi gör vårt jobb väl.

Men det måste fortfarande vara en iterativ process, och jag tror inte att AI ger oss något magiskt svar som plötsligt kan skapa en ofelbar färdplan.

Hannah Clark: Ja, jag tenderar att hålla med. Jag pratade med en gäst som ännu inte har varit med i programmet. Det kommer snart, men något vi diskuterade var tanken att AI är en slags taggig teknik: det finns saker som den är väldigt bra på och som vi kan utnyttja, men också saker som den inte är särskilt bra på, trots att det ser ut som att den är det.

Så ja, det handlar om produktkänsla, men också om att förstå tekniken tillräckligt väl för att kunna kontrollera sig själv och fråga: Vad är det egentligen jag i alltför hög grad förlitar mig på att språkmodellen ska göra åt mig?

Matt Graney: Och även med grundläggande chattgränssnitt har vi sett många exempel på att AI kan vara ganska inställsam. Om man inte är uppmärksam på det kan man börja tro att man alltid har fantastiska idéer.

Personligen tycker jag om att krydda det lite och se till att jag får ett alternativt perspektiv. Jag ber om en hyperkritisk granskning av mina idéer. Annars låter jag alltid som ett geni när jag pratar med min AI.

Hannah Clark: Ja, de älskar oss, eller hur? Låt oss gå vidare från det och prata lite om andra, ska vi säga, attraktiva men i slutändan ohållbara genvägar som vi ser produktteam ta just nu.

Vilka är några av de värsta exemplen du har sett?

Matt Graney: En av mina favoriter är OKR:er. Jag tycker att vi har en något problematisk relation till dem. På företagsnivå kanske det inte är så illa, men inom produkt kan det vara lite utmanande. Det är vad som händer när man försöker importera något från en förebild, i det här fallet ett av de stora namnföretagen, utan att nödvändigtvis ha resten av kulturen som krävs.

I allmänhet kan man inte bara ympa fast en kroppsdel. Nu pratar vi alltså om Frankensteins monster. Om det inte redan är en del av kulturen kommer de här sakerna aldrig riktigt att fogas samman på rätt sätt.

Det är en sak. Jag tror också att vi alla har sett måttcirkus, en massa fåfängemått som inte säger särskilt mycket eller leder till bättre beslut. Det är en gammal fälla. Kanske pratar vi om funktionsfabriker eller funktionsodlingar, och kanske har vi nu möjligheten att odla på tunnland, eftersom skalan ökar och vår förmåga att producera blir större. Hur ser vi till att vi producerar rätt saker?

Alla sådana saker är i grunden genvägar. Man letar efter magiska lösningar som uppenbarligen fungerar någonstans, eftersom någon läste om dem på X eller LinkedIn, men utan den bakomliggande noggrannheten kommer de bara att urholka förtroendet.

Hannah Clark: Ja, jag håller med när det gäller att urholka förtroendet. Ett exempel jag tänker på är hur det har påverkat communityt för UX-undersökningar. Jag vet att UX-forskare länge har varit den underskattade delen av produktprocessen. Men nu får vi genom språkmodeller en ännu mer grumlig bild av hur man ska göra det korrekt och vilken roll AI ska spela när processen stöds.

Det är en sådan sak där jag önskar att jag kunde ropa från hustaken att man helt enkelt inte kan ersätta användarundersökningar med en språkmodell.

Matt Graney: Vår chef för användarundersökningar sade nyligen samma sak till mig: AI-transkriberingarna är fantastiska. Okej, här är ordagrant vad som faktiskt sades. Men insikterna missar ofta nyanserna, åtminstone för tillfället, och det kanske förändras.

Som vi har sagt utvecklas den här tekniken hela tiden. Jag tror att vi kan vara optimistiska inför framtiden, men just nu är det viktigast att förstå begränsningarna och skydda sig mot dem genom det gedigna hantverket bakom bra användarundersökningar.

Hannah Clark: Om vi byter ämne lite, låt oss prata om din erfarenhet av att skala upp team. Du har gjort det länge. Du har skalat upp teamet på Celigo från två produktchefer till tio gånger så många. Du har stor erfarenhet av att bygga processer, och jag är säker på att det har funnits felsteg längs vägen.

Kan du berätta lite om några av dina viktigaste lärdomar när det gäller att skala upp team från små organisationer genom olika mognadsstadier? Vad har du lärt dig som fortfarande gäller i dag, även i den här snabbrörliga AI-tiden?

Matt Graney: Ja, det har varit en resa, som du säger, Hannah.

Jag började på företaget och tog över två produktchefer och två tekniska skribenter, alltså ett team på fyra personer. Nu är vi omkring 45, nästan 50. Det har varit mycket, och teamet består av produktchefer, designers, forskare, tekniska dokumentationsspecialister och produktoperationspersonal. Det jag har lärt mig handlar kanske om i vilken ordning man ska göra saker.

I början var livet enkelt. Jag arbetade nära plattformssidan och direkt med vår teknikchef. Vi tre satt i ett rum och prioriterade hela ärendekön. Det var så enkelt. Men det skalar uppenbarligen inte på lång sikt. Att arbeta med team utomlands, både produktchefer och ingenjörer, gör saker mer komplicerade.

Vi lade gradvis till processer. I början var design helt enkelt det bästa vi kunde åstadkomma med de verktyg vi hade. Produktcheferna gjorde sitt bästa. Jag minns det nästan som att vi satte ihop skärmdumpar till ett lösensummemeddelande – så ruffigt och nästan pinsamt. Och sedan gjorde vi nog inte vår första satsning på professionella designers särskilt bra.

Det kändes som om vi använde design mer som en byråmodell: ”Hej, gör det här snyggt”, i stället för att verkligen tänka på användarupplevelsen som något annat än bara design. Dokumentation har vi alltid varit ganska bra på, och det har fortsatt att utvecklas. Vi har alltså lagt till processer när vi har behövt dem. Jag säger inte att vi är perfekta, men det har fungerat ganska bra för oss. Ibland har vi kanske inte haft alla rätta möten och ceremonier på plats.

Men riktningen har varit korrekt, och det har handlat om precis tillräckligt mycket process samt att svara på verksamhetens behov. Och att ge alla i teamet utrymme att växa. Men det har varit en resa. Jag har aldrig lett ett så stort team tidigare. Det finns många första gånger här.

Och jag har både stridsärr och gråa hår för att bevisa det.

Hannah Clark: Jaså? Var då?

Matt Graney: Jo då. Jag skyller kanske på mina barn.

Hannah Clark: Man kan skylla allt på sina barn. Det gör jag hela tiden. Om vi utvecklar det lite och knyter an till det vi talade om tidigare är jag nyfiken på vilka beprövade metoder inom produktledning du tycker är viktigare än någonsin, även om de kan verka lite gammaldags.

Finns det några koncept, ramverk eller metoder som du har återvänt till mer än någonsin eller betonat för dina team i AI-eran?

Matt Graney: Som jag sade tror jag att när kostnaden för att bygga närmar sig noll läggs ännu större ansvar på oss att prioritera. Jag tänker alltså mer på verktygen för prioritering.

En del av det måste handla om samsyn kring en vision och en strategi och om att se till att alla i teamet har tillräckligt tydliga riktlinjer för att kunna fatta lokala beslut. Det finns ingen ersättning för direktkontakt med användare och kunder. Jag känner att de första åren av min karriär nästan bestod av gisslanförhandlingar med missnöjda kunder – att prata ner dem från kanten eller vad man nu ska kalla det.

Det finns ingen ersättning för det, eftersom det verkligen hjälper en att förstå hela bilden av vad produkten handlar om och ger produktcheferna de verktyg de behöver för att förstå hur de bör prioritera. Det finns alltså ingen ersättning för kompromisslös prioritering. Förr eller senare tar kapaciteten slut.

Ibland ser jag avundsjukt på mycket större företag, men jag vet att de någonstans har exakt samma typ av problem. Alla produktchefer har dem. Man har aldrig tillräcklig kapacitet. Det handlar helt enkelt om prioritering, och alla de vanliga verktygen gäller. När AI kommer in i bilden kan den kanske hjälpa till att förstå en helhet och bearbeta stora mängder information, vilket är oumbärligt i forskning. Och som vi talade om med intuitiv kodning kan den användas för snabb prototyputveckling när den används på rätt plats.

Jag tror att vissa också glömmer något om prototyper. Den ursprungliga tanken med prototyper är att de ska kastas bort. De ska inte vara grunden för det som går in i produktion. Om man kan göra alla de sakerna tror jag att verktygen verkligen kan påskynda vårt arbetssätt och återigen hjälpa till med prioriteringen.

Hannah Clark: Ja, väl sagt. För att avsluta på en optimistisk ton: var skulle du säga att de mest legitima möjligheterna med högt värde finns för AI att förbättra produktchefers arbete? Och vilka råd skulle du ge produktledare som verkligen vill ta till sig AI på ett genomtänkt sätt utan att falla i någon av de fällor eller hamna i de ögonblick där masken faller som vi har talat om?

Matt Graney: Jag tror verkligen att ett av de stora områdena är forskning. Möjligheten att göra konkurrensanalys som produktchef i dag är ett verktyg jag önskar att jag hade haft tidigare. En del av det beror förstås på att leverantörer är mycket mer offentliga nu och att de flesta produktdokument finns tillgängliga. Men man måste verkligen göra det.

Det är en mycket viktig möjlighet. Jag tycker naturligtvis också att det är värdefullt att snabbt sätta ihop dokumentation. Många talar om att skriva pressmeddelanden först eller vanliga frågor och svar först. Jag tror att det är en fantastisk möjlighet. Tidigare kunde det ha verkat omständligt, men i dag är det ett utmärkt sätt att komma igång. Det handlar om att använda sådana här verktyg för att vidga fantasin.

Vad är det jag inte tänker på? När AI får rätt instruktioner kan den vara mycket bra på att identifiera blinda fläckar. Ja, den kan ibland hitta på saker, men även ur det kan det ibland komma insikter eller sidledes tänkande som man själv inte hade kommit på. AI kan dock vara lite som en lustig spegel.

Om det redan från början är något fel, om man inte har disciplinen på plats, kommer den bara att göra det värre. Men när den används rätt kan den ge den fokusering som produktchefer behöver.

Hannah Clark: Ja, jag håller med. Matt, det här har varit fantastiskt. Tack för att du delade med dig av all din kunskap och för att du hjälpte oss att verklighetskontrollera några av de saker vi ser så mycket av inom området.

Jag uppskattar det verkligen. Var kan folk följa ditt arbete på nätet?

Matt Graney: Det är bäst att hitta mig på LinkedIn. Jag verkar vara där mer än någon annanstans, så jag ser fram emot att få kontakt med folk där.

Hannah Clark: Toppen, tack så mycket.

Nästa gång i The Product Manager Podcast. Om du tyckte att det här avsnittet gick hårt åt skillnaden mellan förväntningar och verklighet kommer vi snart att göra en djupdykning i språkmodellsteknik i ett avsnitt som kommer att utmana allt du tror att du vet om AI.

Även om teknikens potential är obegränsad är de nuvarande begränsningarna mycket mer komplexa än vi inser, och detsamma gäller konsekvenserna för oss som både utvecklare och användare av AI-produkter. Det här avsnittet kommer att träffa hårt, så prenumerera nu och följ med oss nästa gång!