De mest villedende grepene innen produkt, avslørt

Hannah Clark: Ting er ikke alltid slik de ser ut. Fra abonnementspriser basert på lokkemidler og bytte, til folk som påstår at candy corn smaker godt, mangler vi ikke grunner til å være skeptiske til alt – særlig akkurat nå innen produkt. Endringstakten i denne bransjen er så høy at trender kan begynne å se ut som beste praksis, mens den virkelige beste praksisen kan begynne å virke utdatert. Men når målet er å bygge et produkt som skal kunne skalere over tid, er det vårt ansvar å passe på at vi ikke lar oss rive med av hypetogets hypnose.

Dagens gjest er Matt Graney, produktsjef på toppnivå i Celigo. Matt har jobbet med B2B-produkter i over 20 år, og nesten ni av dem har gått med til å skalere produktteamet i Celigo fra fire til over 45 personer. Og selv om kunstig intelligens har vist seg å være en ekstraordinær mulighet for selskapet, har han lagt merke til et gap mellom forventninger og virkelighet når det gjelder noen av de skinnende nye taktikkene som fyller LinkedIn-strømmen vår. Fra prototyper som utgir seg for å være produksjonsklar kode, til verktøy som virker for gode til å være sanne, får du høre hans syn på hvor man bør gå varsomt fram, og den tidstestede kunnskapen han stoler på for å komme levende gjennom denne KI-transformasjonen. La oss sette i gang.

Forresten: Vi har samtaler som denne hver uke. Så hvis dette høres interessant ut, hvorfor ikke abonnere? Ok, la oss sette i gang.

Velkommen tilbake til podkasten «Produktlederen». I dag har jeg med meg Matt Graney. Han er produktsjef på toppnivå i Celigo.

Matt, tusen takk for at du tar deg tid i en travel kalender til å snakke med oss.

Matt Graney: Takk, Hannah. Hyggelig å snakke med deg i dag.

Hannah Clark: Kan du fortelle litt om bakgrunnen din og veien fram til å bli produktsjef på toppnivå i Celigo?

Matt Graney: Ja, jeg har jobbet med B2B-produkter lenge nå, omtrent de siste 20 årene. Celigo er en integrasjonsplattform, og jeg har vært i Celigo i åtte og et halvt år etter at jeg begynte like etter serie A-finansieringen.

Og fem og et halvt år før det jobbet jeg også innen integrasjon. Det var egentlig ikke planlagt, det var bare slik ting utviklet seg. Før det jobbet jeg med produkter rundt programvareutviklingslivssyklusen, blant annet UML-modelleringsverktøy. For dere som kanskje husker hva det var, var jeg opprinnelig programvareingeniør i Australia, der jeg jobbet med telekom og forsvar.

Jeg kom først til USA for å jobbe som salgsingeniør for et produkt som jeg hadde blitt superbruker av mens jeg jobbet i Motorola. Så jeg har en ganske variert bakgrunn. Deretter tok jeg en periode innen produktmarkedsføring, før jeg til slutt gikk over til produkt.

Hannah Clark: En periode i tjenesten. Jeg har aldri hørt det beskrevet på den måten.

Det var morsomt. I dag skal vi ha det litt gøy med en episode med et slags Halloween-tema. Vi skal fokusere på temaet dårlige produktgrep i forkledning. Og vi begynner med å se nærmere på stemningskoding. Det kastes rundt mange meninger om stemningskoding i produktmiljøet.

Og jeg innrømmer gjerne at plattformer uten kode er fantastiske verktøy. Jeg bruker dem hele tiden, men de kan også føre til noen svært Scooby-Doo-aktige øyeblikk – øyeblikk der masken faller og vi ser nærmere etter, og det ikke er slik det så ut. Hva har erfaringen din vært, Matt, med stemningskoding i produktteam?

Fortell meg om det gode, det dårlige og det stygge.

Matt Graney: Ja. Og vi hadde sluppet unna hvis det ikke hadde vært for dere plagsomme barn. Ikke sant? Jeg tror det handler om demokratisering, og det er utrolig. Men vi må også tenke på illusjonen som følger med denne kraften til å få noe til å se bra ut. Det betyr ikke nødvendigvis at det er bygget riktig.

Jeg tror det er mye som må skje under overflaten. Vi bør kanskje ikke forveksle raske prototyper med produksjonsklar kode. Så ja, skapere uten teknisk bakgrunn – men da trenger man også arkitekter uten teknisk bakgrunn. I virksomheten vår, for eksempel B2B, jobber vi med infrastrukturprogramvare. Vi snakker om milliarder av transaksjoner i måneden.

Det er bare enkelte deler av applikasjonen, kanskje helt ytterst i brukergrensesnittet, der vi kan være komfortable med å stemningskode hva som helst. Så jeg tror det må handle om riktig verktøy til riktig oppgave, slik det alltid har gjort. Samtidig må vi sørge for at det finnes en kultur for eksperimentering, oppmuntre teamet til å ta risiko, prøve nye verktøy og holde seg oppdatert på den siste utviklingen – for dette er virkelig en banebrytende tid for hele bransjen.

Hannah Clark: For å gå litt dypere inn i det: Når vi tenker på de ulike nivåene av teknologiforståelse i hele organisasjonen, kan det være veldig fristende for folk som har mindre erfaring med teknologien, eller for nye gründere, å se det som ser ut som fungerende kode og bare kjøre på. Det legger mye press på ingeniørteamene til å matche den farten, eller til å kunne utvikle på det nivået så raskt og få det til å se så skinnende og nytt ut.

Hvordan hjelper vi interessenter med å forstå de reelle begrensningene og vurderingene mellom prototypen vi ser fra verktøy for stemningskoding, og produksjonsklar programvare?

Matt Graney: Ja, det er et veldig godt poeng, for hastighet fram til demo er ikke det samme som hastighet fram til produksjon. Vi snakker særlig om 5 000 kunder og B2B-arbeidsbelastninger, så vi snakker noen ganger om infrastrukturen vår som røropplegget.

KI kan kanskje male huset, men den legger ikke nødvendigvis rørene i huset. Ikke sant? Man må være sikker på enkelte av disse tingene. Det finnes noen utfordringer, enten det er press på ingeniørteamene eller press fra ledergruppen. I det siste har jeg sett ganske høytstående medlemmer av ikke-teknisk personale internt stemningskode konseptbevis for å vise nye funksjoner som kundene deres virkelig trenger.

Det har absolutt satt fart på fantasien, men det skaper også et uuttalt press om at dette kanskje er tilgjengelig for alle, og at vi kan skynde oss med å sette det i produksjon. Og hvis vi snakker om bygninger – hvis jeg går tilbake til å male eller legge rør i hus – er dette ikke nødvendigvis bærende vegger, ikke sant?

Dette er fasaden. Det kan se bra ut. Og igjen, det betyr ikke at det ikke har en plass, for hastigheten på konseptbevis er ganske enkelt utrolig. Vi må ta det i bruk ved enhver anledning. Enten det er for å hjelpe en produktleder med å forklare krav bedre, eller for å hjelpe en designer med å vise alternative arbeidsflyter.

Tidligere måtte de kanskje gå gjennom utformingen av mange ulike skjermer i favorittverktøyet sitt for design. Kraften i fungerende kode kan ikke benektes, og vi må se etter muligheter til å ta den i bruk overalt – samtidig som vi erkjenner at den ikke er det samme som produksjonsklar kode.

Hannah Clark: Noe annet jeg har tenkt på, er at dette er verktøy som uunngåelig kommer til å bli mye mer sofistikerte, og vi som brukere kommer også til å bli mye flinkere til å bruke dem. Det betyr selvfølgelig at vi beveger oss mot at kostnaden ved å bygge nærmer seg null.

Som produktleder, hvilke bekymringer har du rundt denne utviklingen, og hva har dere gjort for å håndtere disse bekymringene i Celigo?

Matt Graney: Hannah, jeg synes det er en flott mental modell og et flott tankeeksperiment å gjennomføre. Hva skjer hvis kostnaden ved å bygge nærmer seg null?

Kanskje vi raskt nærmer oss dette med nye generasjoner av disse verktøyene, slik du sier, og med brukernes og de dyktige brukernes evne til å ta dem i bruk – på samme måte som vi ser forbedringer i de vanlige ChatGPT-opplevelsene. Vi kan forvente en dramatisk nedgang i kostnaden, slik at det blir svært billig å bygge. Jeg tror det kontraintuitivt legger enda mer press på produktledere for å sørge for at vi bygger det riktige, så det fritar oss ikke fra alt det riktige vi bør gjøre: se på produktanalyse, kvantitativ og kvalitativ brukerundersøkelse, kundeintervjuer, produktråd og alt dette.

Konseptbevis, A/B-testing og tett samarbeid i en treenighet av produktledere, designere og ingeniører – ikke sant? Ingenting av dette forsvinner. Og jeg tror vi må beskytte oss mot det, for å holde oss til Halloween-temaet: Tenk om vi ender opp med en flokk zombier som løper rundt, som zombieprosjekter – ting som var så enkle å bygge.

Kanskje produktet blir strødd med alle disse ideene som aldri helt kom i mål. Så jeg tror igjen at noen av de eldre disiplinene innen produktledelse virkelig kommer tilbake i forgrunnen, fordi vi nå har enda flere valgmuligheter. Evnen til å ta beslutninger og skape de riktige resultatene må bestå.

Hannah Clark: Det er jeg enig i. Og når vi snakker om kanskje dårlig gjennomtenkte ideer: Jeg har sett en eksplosjon av verktøy som strømmer ut på markedet og ser ut til å tilby, la oss si, fortryllende fordeler, samtidig som de skjuler – eller kanskje ikke engang skjuler – noen svært alvorlige risikoer.

Jeg har sett noen ganske graverende konsepter sirkulere, der jeg tydelig kan se en mulighet for at aktører med dårlige hensikter kan manipulere dem på en måte vi egentlig ikke ønsker. Hvilke ting ser du i dette markedet som får deg til å stoppe opp, og hvilken rolle spiller produktdømmekraft fortsatt – en rolle som ikke bare kan automatiseres bort?

Matt Graney: Jeg tror vi alltid har lett etter produktledelsens magiske åtteball, enten det er poengsettingsmetoder som RICE.

Jeg har også sett dem bli misbrukt, fordi de fortsatt gir produktledere mye spillerom til å legge tommelen på vektskålen og påvirke poengene. Det skal ikke mange runder til før man finner ut nøyaktig hvordan man flytter nålen og tipper skalaen i sin favør. Så jeg tror vi vil se de samme typene risikoer her også.

Jeg tror det finnes verktøy som lover at de skal suge opp all informasjonen – produktdata, hver eneste samtale som har funnet sted. Men vi vet alle at mye skjer utenfor de formelle kanalene: observasjoner som kanskje kommer fra et verktøy for øktavspilling, men som ikke er skrevet ned i en form en stor språkmodell vil forstå.

Så det finnes ingen erstatning for god produktdømmekraft. Selv om vi kanskje har mer data enn noen gang, er dataene fortsatt ufullstendige. Det må fortsatt finnes en visjon, en strategi, og i produktledelse tar man valg. Ja, vi tar valg vel vitende om at vi forhåpentligvis kan måle resultatene hvis vi gjør jobben vår godt.

Men det må fortsatt være en iterativ prosess, og jeg tror ikke KI gir oss noe magisk svar som plutselig produserer et feilfritt veikart.

Hannah Clark: Ja, det er jeg tilbøyelig til å være enig i. Jeg snakket med en gjest som ennå ikke har vært med i programmet. Episoden kommer snart, men noe vi diskuterte, var ideen om at KI er en hakkete teknologi, der det er noen ting den er veldig god på og som vi kan utnytte, men også ting den ikke er så god på – selv om den ser ut som om den er det.

Så ja, det handler om produktforståelse, men også om å forstå teknologien godt nok til å kunne kontrollere seg selv: Hva er det egentlig du stoler for mye på at de store språkmodellene skal gjøre for deg?

Matt Graney: Selv med grunnleggende samtalegrensesnitt har vi sett mange eksempler på at enkelte KI-systemer kan være ganske smiskende. Hvis du ikke er oppmerksom på det, kan du begynne å tro at du alltid har gode ideer.

Personlig liker jeg å krydre det litt og sørge for at jeg får et alternativt syn. Jeg ber om en hyperkritisk gjennomgang av ideene mine. Ellers høres jeg alltid ut som et geni når jeg snakker med KI-en min. Så …

Hannah Clark: Ja, de elsker oss, gjør de ikke? La oss gå litt videre fra det å peke på ting, og snakke om noen andre attraktive, men til syvende og sist uholdbare snarveier som vi ser produktteam ta akkurat nå.

Hva er noen av de største synderne du har sett?

Matt Graney: En av mine favoritter er målstyring med OKR-er. Jeg synes vi har et litt vanskelig forhold til dem. På selskapsnivå er det kanskje ikke så ille, men innen produkt kan det være utfordrende. Jeg tror det er det som skjer når man prøver å importere noe fra en teknologigigant – en av de store navngitte selskapene – uten nødvendigvis å ha resten av kulturen som hører med.

Generelt kan man ikke bare pode på en gren. Nå skal vi snakke om Frankensteins monstre. Hvis dette ikke allerede er en del av kulturen, kommer disse tingene aldri til å vokse ordentlig sammen.

Det er én ting. Jeg tror også vi alle har sett måleteater: en haug med forfengelighetsmåltall som ikke forteller oss særlig mye eller fører til bedre beslutninger. Det er en gammel felle. Kanskje vi snakker om funksjonsfabrikker eller funksjonsfarmer, og kanskje vi nå kan drive jordbruk etter målestokk, fordi kapasiteten vår til å produsere øker. Hvordan sørger vi for at vi produserer det riktige?

Alle slike ting er i bunn og grunn snarveier. Igjen leter man etter magiske løsninger som tilsynelatende fungerer et sted fordi noen leste om dem på X eller LinkedIn, men uten den nødvendige grundigheten kommer det bare til å svekke tilliten.

Hannah Clark: Ja, når vi snakker om svekket tillit, tenker jeg på hvordan dette har påvirket miljøet for UX-undersøkelser. Jeg vet at UX-undersøkere lenge har vært den lite verdsatte delen av produktprosessen. Men nå tror jeg store språkmodeller gir oss et enda mer uklart bilde av hvordan man gjør dette riktig, og hvilken rolle KI skal spille i arbeidet.

Det er noe jeg skulle ønske jeg kunne rope ut fra hustakene: Du kan ganske enkelt ikke erstatte brukerundersøkelser med en stor språkmodell.

Matt Graney: Lederen vår for brukerundersøkelser sa nylig det samme til meg: KI-transkripsjoner er flotte. Greit – ordrett, dette er det som faktisk ble sagt. Men innsikten går ofte glipp av nyansene, i hvert fall foreløpig, og kanskje vil det endre seg.

Som vi sier, kommer det stadig nye generasjoner av denne teknologien. Jeg tror vi kan være optimistiske med tanke på framtiden, men akkurat nå er det viktigst å forstå begrensningene og beskytte seg mot dem gjennom godt håndverk og gode brukerundersøkelser.

Hannah Clark: La oss skifte tema litt og snakke om erfaringen din med å skalere team. Du har gjort det en stund. Du har skalert teamet ditt i Celigo fra to produktledere til ti ganger så mange. Du har mye erfaring med å bygge prosesser. Jeg er sikker på at det har vært noen feiltrinn underveis.

Kan du fortelle litt om noen av dine viktigste lærdommer når det gjelder å skalere team fra små organisasjoner gjennom ulike modenhetsstadier? Hva har du lært som du mener fortsatt gjelder i dag, i denne raske KI-tiden?

Matt Graney: Ja, det har vært en reise, som du sier, Hannah.

Jeg begynte i selskapet og overtok to produktledere og to tekniske skribenter – et team på fire. Nå er vi rundt 45, nesten 50. Det har vært mye, og teamet består av produktledere, designere, undersøkere, tekniske dokumentasjonsspesialister og produktdrift. Det jeg har lært, handler kanskje om rekkefølgen man gjør ting i.

I begynnelsen var livet enkelt. På plattformsiden jobbet jeg direkte med teknologidirektøren, og tre av oss satt rundt et bord og prioriterte en hel oppgaveliste. Det var så enkelt. Men det skalerer tydeligvis ikke på lang sikt. Når man skal håndtere team i utlandet, både produktledere og ingeniører, blir ting mer kompliserte.

Vi la gradvis til prosesser. I begynnelsen var design bare det beste vi kunne få til med verktøyene vi hadde. Produktlederne gjorde så godt de kunne. Jeg husker det nesten som at vi sydde sammen skjermbilder, som et løsepengebrev – så røft og nesten pinlig. Og da vi først prøvde oss med profesjonelle designere, gjorde vi det egentlig ikke så bra.

Jeg følte at vi brukte design mer som en byråmodell: «Hei, få dette til å se pent ut», i stedet for å tenke på brukeropplevelse og ikke bare design. Dokumentasjon har vi alltid vært ganske gode på, og det har fortsatt å utvikle seg. Vi har lagt til prosesser etter hvert som vi har trengt dem. Jeg sier ikke at vi er perfekte, men det har fungert ganske godt for oss. Vi har kanskje ikke alltid hatt alle de riktige møtene og ritualene på plass, men retningen har stort sett vært riktig.

Det har handlet om akkurat nok prosess, å svare på virksomhetens behov og å gi alle teammedlemmene rom til å utvikle seg. Men det har vært en reise. Jeg har aldri ledet et så stort team før. Det har vært mange førsteganger her.

Og jeg har noen arr fra kampen og grå hår som bevis på det.

Hannah Clark: Å, virkelig? Hvor?

Matt Graney: Å ja. Jeg kan kanskje skylde på barna mine.

Hannah Clark: Ja, du kan skylde alt på barna dine. Det gjør jeg hele tiden. For å bygge litt videre på det og knytte det til det vi snakket om tidligere, er jeg nysgjerrig på noen av de velprøvde produktledelsespraksisene du mener kanskje er viktigere enn noen gang, selv om de virker litt gammeldagse.

Er det noen konsepter, rammeverk eller praksiser du har vendt tilbake til oftere enn før, eller som du legger større vekt på i teamene dine i KI-alderen?

Matt Graney: Som jeg sa: Når kostnaden ved å bygge kanskje nærmer seg null, tror jeg det legger mer ansvar på oss for å prioritere. Så jeg tenker mer på verktøyene for prioritering.

Noe av dette handler om å være samkjørte rundt en visjon og en strategi, og sørge for at alle i teamet har nok klarhet til å kunne ta lokale beslutninger. Det finnes ingen erstatning for direkte kontakt med brukere og kunder. Jeg føler at de første årene av karrieren min var litt som gisselforhandlinger – misfornøyde kunder som måtte roes ned eller snakkes bort fra kanten, eller hva man nå skal kalle det.

Det finnes ingen erstatning for dette, fordi det virkelig bidrar til å gi et komplett bilde av hva produktet handler om, og gir produktlederne verktøyene de trenger for å forstå bedre hvordan de bør prioritere. Det finnes ingen erstatning for beinhard prioritering. På et eller annet tidspunkt går man tom for kapasitet.

Noen ganger ser jeg misunnelig på mye større selskaper, men jeg vet at de et eller annet sted har nøyaktig de samme problemene. Alle produktledere har det slik – man har aldri nok kapasitet. Det handler derfor om prioritering, og alle de vanlige verktøyene gjelder fortsatt. Som jeg sa, kan KI bidra til å forstå helheten og fordøye store mengder informasjon, noe som er uunnværlig når det gjelder undersøkelser. Og når vi snakker om stemningskoding, kan det brukes til rask prototyping – når det brukes på riktig sted.

Jeg tror også noen glemmer noe ved prototyping: Den opprinnelige ideen med prototyper er at de skal kastes. De skal ikke være grunnlaget for det som går i produksjon. Hvis man kan gjøre alle disse tingene, tror jeg verktøyene virkelig kan akselerere måten vi jobber på, og igjen hjelpe oss med prioriteringen.

Hannah Clark: Godt sagt. For å avslutte på en optimistisk note: Hvor mener du at de mest legitime mulighetene med høy verdi ligger for KI når det gjelder å forbedre produktledernes arbeid? Og hvilke råd vil du gi produktledere som virkelig ønsker å ta i bruk KI på en gjennomtenkt måte, uten å gå i noen av fellene eller oppleve noen av de masken-faller-øyeblikkene vi har snakket om?

Matt Graney: Jeg tror en av de store mulighetene virkelig ligger innen undersøkelser. Muligheten til å gjøre konkurranseanalyser som produktleder i dag er et verktøy jeg skulle ønske jeg hadde tidligere. En del av forklaringen er selvfølgelig at leverandører er mye mer åpne nå, og at det meste av dokumentasjonen for produkter er tilgjengelig. Men dette må man virkelig gjøre.

Det er en enorm mulighet. Det samme gjelder å sette sammen dokumentasjon raskt. Mange snakker om å skrive pressemeldinger først, eller vanlige spørsmål først. Jeg synes dette er en flott mulighet. Det kunne virke arbeidskrevende tidligere, men i dag er det en flott måte å komme i gang på. Det handler om å bruke slike verktøy til å utvide fantasien.

Hva er det jeg ikke tenker på? Når KI blir ledet på riktig måte, kan den være svært god til å identifisere blinde flekker. Ja, den kan hallusinere iblant, men selv ut av det kan det noen ganger komme innsikt eller en sidelengs tenkemåte som ikke hadde falt oss inn. Men KI kan også være litt som et tivolispeil.

Hvis grunnlaget allerede er forvrengt, og du ikke har disiplinen på plass, kommer den bare til å gjøre det verre. Men når den brukes riktig, kan den gi produktlederne den fokuseringen de trenger.

Hannah Clark: Ja, det er jeg tilbøyelig til å være enig i. Matt, dette har vært fantastisk. Takk for at du delte all kunnskapen din og for at du hjalp oss med å kvalitetssikre noen av disse tingene vi ser så mye av i bransjen.

Jeg setter stor pris på det. Hvor kan folk følge arbeidet ditt på nettet?

Matt Graney: Det beste er å finne meg på LinkedIn. Jeg ser ut til å være der mer enn noe annet sted, så jeg håper å komme i kontakt med folk der.

Hannah Clark: Flott, tusen takk.

Neste gang i podkasten «Produktlederen». Hvis du syntes denne episoden gikk hardt ut mot forventninger kontra virkelighet, skal vi snart gå i dybden på teknologi for store språkmodeller i en episode som vil utfordre alt du tror du vet om KI.

Selv om teknologiens potensial er grenseløst, er de nåværende begrensningene langt mer komplekse enn vi innser. Det samme gjelder konsekvensene for oss som både utviklere og brukere av KI-produkter. Denne episoden kommer til å treffe hardt, så abonner nå for å bli med oss neste gang!