Profftips for å bygge opp kompetansen din innen AI-produktledelse
I en tid der AI transformerer bransjer i høyt tempo, er produktroller med AI-funksjoner blant de mest ettertraktede innen teknologi. Hvis du ønsker å komme inn i dette feltet eller videreutvikle ferdighetene du allerede har, kan det være svært nyttig å forstå reisen og strategiene til dem som leder an.
I denne episoden får Hannah Clark selskap av Lorilyn McCue – AI-produktleder i Superhuman – som deler sine perspektiver på hvordan man navigerer i det stadig skiftende landskapet innen AI-produktledelse.
Høydepunkter fra intervjuet
- Lorilyns karrierereise og nøkkelferdigheter [01:06]
- Lorilyn begynte karrieren som Apache-helikopterpilot i hæren i seks år.
- Deretter underviste hun i kroppsøving ved West Point.
- Etter at hun sluttet i hæren, begynte hun på handelshøyskole.
- Hun begynte i Slack som produktleder, først i vekstteamet og deretter i plattformteamet.
- Senere jobbet hun i maskinlæringsoppstartsselskapet Impira.
- For tiden er Lorilyn ledende AI-produktleder i Superhuman.
- AI i Superhuman: bedre brukeropplevelse [02:08]
- Lorilyn setter pris på at AI kan spare brukerne for tid, slik at de kan konsentrere seg om viktige oppgaver.
- Hun forteller en historie fra Irak, der det å fly et Apache-helikopter på et kjedelig oppdrag tydeliggjorde ineffektiviteten ved repetitive oppgaver.
- Et mer engasjerende oppdrag viste henne verdien av å bruke teknologi til komplekse oppgaver i stedet for trivielle.
- Hun knytter dette til AI, som håndterer rutineoppgaver slik at brukerne kan fokusere på meningsfylt arbeid.
- Superhumans «øyeblikkelig svar»-funksjon sparer for eksempel brukerne for to minutter per e-post ved å automatisere rutinemessige svar.
- Dette «aha»-øyeblikket bekreftet AIs rolle i å fjerne rutinearbeid og øke produktiviteten.
AI kan fjerne rutinearbeidet fra oppgavelisten din. Overlat alle de repetitive oppgavene til AI, la den sirkle rundt basen i tre timer, og gå og gjør de spennende tingene selv.
Lorilyn McCue
- Karriereutvikling og integrering av AI [04:19]
- Lorilyn prioriterer å optimalisere for læring, en lærdom som ble forsterket i Slack og som er avgjørende innen AI.
- Superhumans «Spør AI»-funksjon lar brukerne stille spørsmål direkte, slik at de sparer tid på søk.
- Teamet planla opprinnelig å bruke tre måneder, men lanserte en foreløpig versjon etter én måned for å samle inn tilbakemeldinger.
- Denne trinnvise lanseringen – først til AI-teamet, deretter internt og til slutt til betabrukere – ga innsikt som formet det endelige produktet.
- Iterativ utvikling var avgjørende, fordi den gjorde det mulig for teamet å tilpasse seg og skape et mer effektivt produkt basert på brukeratferd.
- AIs uforutsigbare natur krever gjentatte læringssykluser for å tilpasses brukernes behov.
AI er et så ukjent område at du ofte ikke har noen anelse om hvordan folk kommer til å bruke det. Derfor må du optimalisere for læring. Du må lansere litt, deretter iterere og gjenta denne prosessen.
Lorilyn McCue
- Viktigheten av sømløs AI-integrasjon [06:46]
- Lorilyn understreker viktigheten av å integrere AI dypt i produktdesignen, slik at det ikke føles som et «tillegg».
- En ideell AI-integrasjon gjør at funksjonene føles naturlige og ikke oppfattes som «AI» av brukerne.
- Superhumans «Instant Event»-funksjon illustrerer denne tilnærmingen ved å la brukerne opprette kalenderhendelser fra e-poster med ett enkelt klikk.
- Opprinnelig lå funksjonen på et mindre tilgjengelig sted for testformål, ved hjelp av Superhumans kommandomeny, «Command K».
- Etter testing og læring basert på tilbakemeldinger flyttet teamet den til mer intuitive steder, som en knapp i e-poster og en kalenderhurtigtast.
- Denne sømløse integrasjonen sørger for at AI-funksjonene føles nyttige og tilgjengelige når det er behov for dem.
- «Instant Event»-funksjonen lar nå brukerne opprette hendelser ved ganske enkelt å klikke på datoer i e-poster, mens markøren endres til et håndikon for å signalisere denne handlingen.
- Funksjonen ble først testet i kommandomenyen, men er nå fullt integrert for å gjøre den enkel å bruke.
- Brukerne oppdager og bruker funksjonen naturlig uten eksplisitte instruksjoner, noe som samsvarer med Lorilyn sitt mål om sømløs AI-integrasjon.
- Optimalisering av AI for hastighet og nøyaktighet [10:54]
- Superhuman prioriterer proaktive funksjoner som automatisk oppsummering og umiddelbare svar, og viser dem umiddelbart for å gjøre det enklere for brukerne.
- Funksjonen for automatisk oppsummering gir et sammendrag på én linje av hver e-post, slik at brukerne får raskere tilgang til informasjon uten å måtte foreta seg noe.
- For umiddelbare svar sto teamet overfor et kompromiss mellom en «skilpadderobot» (smart, men treg) og en modell som en «rask, keitete onkel» (rask, men mindre nøyaktig).
- Til tross for skilpadderobotens høyere kvalitet valgte teamet den raskere modellen, med prioritering av hastighet og brukeropplevelse.
- De finjusterte den raskere modellen for å forbedre nøyaktigheten og sørge for at svarene er raske og rimelig nøyaktige.
- Det er avgjørende å balansere kvalitet med hastighet når man avgjør om funksjoner skal være proaktive eller startes av brukeren.
- Tekniske beslutninger innen AI [14:24]
- Lorilyn bruker et verktøy til å sammenligne flere instruksjoner og modeller side om side, og vurderer ytelsen med reelle data.
- Hun oppretter et datasett basert på interne tilbakemeldinger fra brukere (tommel opp/ned) for å gjenspeile virkelige situasjoner.
- Evalueringene fokuserer på ventetid, med mål om svar innen 1–2 sekunder for å oppfylle brukernes behov.
- Gjennom gjentatt testing identifiserer hun problemer (for eksempel feiltolkning av kontekst i svar) og forbedrer instruksjonene for å øke nøyaktigheten.
- Iterativ testing bidrar til å etablere suksesskriterier, balansere hastighet med nøyaktighet og avklare hvilke spesifikke former for nøyaktighet som trengs.
- Å mestre instruksjonsutforming [16:38]
- Lorilyn utviklet ferdigheter innen instruksjonsutforming gjennom læring og eksperimentering i jobben.
- Av og til undersøkte hun spesifikke løsninger på nettet.
- Hun fikk også tips fra OpenAI, som å bruke teknikker som kommandoer med bare store bokstaver, gjentakelse av instruksjoner og inkludering av eksempler med ett eksempel.
- Finjusteringen innebar å legge til eksempler for å håndtere utfordrende tilfeller og forbedre nøyaktigheten.
- Lorilyn brukte en teknikk der hun ba språkmodellen forklare resonnementet sitt for å forbedre instruksjonene.
- Hun kunne for eksempel spørre språkmodellen hvem den svarte, og hvorfor.
- Denne prosessen avdekket misforståelser i språkmodellens svar, slik at hun kunne gjøre spesifikke justeringer i instruksjonene.
- Metoden «forklar deg selv» bidro til å tydeliggjøre språkmodellens tankeprosess og gjorde det enklere å finjustere instruksjonene mer effektivt.
- Forretningsmessige utfordringer ved AI-integrasjon hos Superhuman [18:54]
- Integreringen av AI i Superhuman innebar å balansere kompleksitet og utfordringer.
- Lorilyn sammenlignet AI-modeller: GPT-4 (treg, men av høy kvalitet) mot GPT-3.5 (raskere, men mindre intelligent).
- Til å begynne med skapte tregheten til GPT-4 betydelige utfordringer for skalering av e-postoppsummering.
- Superhuman prioriterte kvalitet og brukernes behov, med vurdering av hastighet og korrekthet.
- De valgte GPT-3.5 for bedre ventetid, samtidig som de brukte instruksjonsutforming for å oppfylle kvalitetsstandardene.
- Forretningsfokuset var å sikre at brukernes behov ble oppfylt, uavhengig av kostnadene.
- Praktisk læring og praktiske AI-ferdigheter [20:54]
- Praktisk læring er avgjørende for produktledelse innen AI.
- Det er viktig å holde seg oppdatert på ukentlige trender og lanseringer.
- Eksperimenter med AI-verktøy i hverdagen for å oppnå praktisk forståelse.
- Eksempel: Bruk ChatGPT til å lage tilpassede fargeleggingsark for barn.
- Bruk AI i profesjonelle sammenhenger, for eksempel til å generere korte verktøytips for brukere.
- Engasjement med ny teknologi øker kunnskapen om AIs muligheter.
- Det er ikke nødvendig med noe spesifikt kurs; praktisk anvendelse er nøkkelen.
Møt gjesten vår
Lorilyn McCue er produktleder for AI hos Superhuman, den mest produktive e-postappen som noen gang er laget. Sammen med Superhumans administrerende direktør Rahul Vohra har Lorilyn bidratt til å utvikle og realisere selskapets veikart for AI-produktet, og lansert elegante og praktiske funksjoner som lar brukerne gjøre alt fra å skrive utkast til e-poster i sin egen stemme og tone, til å oppsummere lange tråder og bruke naturlig språksøk for enkelt å finne ting i innboksen. Før hun begynte i Superhuman, jobbet Lorilyn i produktteam hos Slack og Impira, en AI-oppstartsbedrift som ble kjøpt opp av Figma.
Lorilyn har tatt en fascinerende og uvanlig vei til produktledelse.
Hun tjenestegjorde i militæret i et tiår, fløy Apache-helikoptre i Irak og underviste kadetter ved West Point før hun bestemte seg for å skifte karriere og bli produktpraktikant hos Google i begynnelsen av 30-årene. Hun har en bachelorgrad fra West Point og en MBA fra Stanford.
Det er noe ved å bruke AI i hverdagen som gir deg denne kunnskapen og forståelsen av hva som er mulig.
Lorilyn McCue
Ressurser fra denne episoden:
- Abonner på nyhetsbrevet til CPO Club
- Ta en titt på sponsoren for denne episoden: Wix Studio
- Ta kontakt med Lorilyn på LinkedIn
- Ta en titt på Superhuman
Relaterte artikler og podkaster:
Les transkripsjonen:
Vi prøver ut transkripsjon av podkastene våre ved hjelp av et program. Tilgi eventuelle skrivefeil, siden roboten ikke er korrekt 100 % av tiden.
Hannah Clark: Akkurat nå handler de mest ettertraktede produktstillingene om kunstig intelligens. Og historisk sett er dette et spesielt uvanlig tidspunkt, fordi kjernekompetansen som kreves for å konkurrere på dette området, bare har eksistert i et par år. Enda mer underlig er det at feltet har utviklet seg så raskt at all erfaring du måtte ha tilegnet deg da ChatGPT først slo gjennom, for øvrig for knapt to år siden, allerede kan være utdatert. Så hvordan kan produktledere som ser etter jobber på dette området, komme à jour akkurat nå? Og kanskje enda viktigere: Hvilke vaner kan du innarbeide i dag for å holde deg oppdatert etter hvert som teknologien utvikler seg?
Dagens gjest er Lorilyn McCue, ledende AI-produktleder hos Superhuman. Lorilyns karrierereise er utrolig imponerende. Så jeg lar henne fortelle mer om den om litt, men den er også et bevis på den viktigste egenskapen du trenger for å lykkes som AI-produktleder – eventyrlyst. Når du lytter til Lorilyns tips, foreslår jeg at du inntar tankesettet til en eventyrer, fordi dette er et felt med ukjent territorium. Og det første du trenger for å lykkes, er vilje til å utforske. La oss sette i gang.
Velkommen tilbake, lyttere, til podkasten The CPO Club. I dag er jeg her sammen med Lorilyn McCue.
Lorilyn, tusen takk for at du blir med oss i dag.
Lorilyn McCue: Takk for invitasjonen.
Hannah Clark: Du har hatt en virkelig interessant reise frem til å bli ledende AI-produktleder hos Superhuman. Og jeg synes vanligvis vi prøver å dvele litt ved denne delen.
Men jeg hadde satt stor pris på om du kunne fortelle litt mer om bakgrunnen din, fordi den er så utrolig kul.
Lorilyn McCue: Bakgrunnen min er veldig merkelig. Jeg begynte som Apache-helikopterpilot, som åpenbart er en helt vanlig inngangsport til teknologibransjen. Jeg var i hæren og gjorde det i omtrent seks år.
Deretter underviste jeg i kroppsøving ved West Point den siste delen av tiden min i hæren. Så tok jeg en mastergrad i bedriftsledelse og endte opp hos Slack som produktleder, først på vekstteamet deres og deretter på plattformteamet. Så begynte jeg i en liten maskinlæringsoppstart kalt Impira.
Og nå er jeg her hos Superhuman og jobber med kunstig intelligens.
Hannah Clark: For en kul karriereutvikling. Jeg er helt fascinert av den.
Vi går rett på sak, for i dag skal vi fokusere litt mer på kunstig intelligens, hvordan Superhuman ble til, og hele reisen du har hatt frem til å bli ledende AI-produktleder.
Hvis vi snakker om kunstig intelligens i Superhuman-sammenheng, kan du fortelle litt om et øyeblikk da du så AI utvikle seg betydelig og løfte brukeropplevelsen for Superhumans brukere?
Lorilyn McCue: Ja. La meg fortelle en liten historie. For meg er det viktigste å spare brukerne for tid og la hjernen deres gjøre viktigere ting.
For meg lar Superhuman AI hjernen din gjøre viktigere ting. Ok, jeg skal fortelle en liten historie. Da jeg var i Irak, fikk jeg et oppdrag om å fly i sirkler rundt en base i tre timer. Jeg fløy bare i sirkler rundt en base i tre timer og gjorde ingenting. Men til slutt fikk vi et nytt oppdrag: å fly veldig lavt, finne disse bombelagrene og sprenge dem, noe som var mye mer interessant og en langt bedre utnyttelse av det mest teknologisk avanserte helikopteret hæren noen gang har produsert.
På en veldig merkelig måte tror jeg at jeg forelsket meg i konseptet kunstig intelligens før det i det hele tatt var en greie. For jeg kunne se hvor mye bedre vi kunne bruke helikopteret vårt gjennom det andre oppdraget sammenlignet med det første. AI fungerer slik. AI tar seg av å fly rundt basen i tre timer om gangen og lar deg bruke den menneskelige hjernen din på de mer interessante oppgavene.
AI sparer altså brukerne for masse tid. Da vi så på en av funksjonene våre, kalt hurtigsvar, som er et lite, raskt svar du bruker til å svare noen, så vi at den sparer brukerne for to minutter per e-post de svarer på. Du trenger ikke bruke hjernen din i to minutter på å formulere et svar når noe standardisert sannsynligvis vil fungere for de fleste e-postene dine.
For meg var det et stort aha-øyeblikk: AI kan fjerne det kjedelige arbeidet fra arbeidslisten din. Gi AI alle de rutinepregede oppgavene, la den fly rundt basen i tre timer, og gå selv og gjør de kule tingene. Finn bombene og spreng dem.
Hannah Clark: Ingen har brukt den sammenligningen i dette programmet før, men jeg liker den.
Lorilyn McCue: Hyggelig å være den første.
Hannah Clark: Ok, vi kommer tilbake til AI om et øyeblikk, for det er så mye å pakke ut her. Det finnes så mange ulike bruksområder vi virkelig kan gå inn på.
Men jeg vil snakke litt om karrieren din. Når vi snakker om karriereutviklingen din, fra Slack og videre til AI-produktledelse, hvordan har du fått et forhold til kunstig intelligens som en del av karrieren din – fra den første rollen din til der du er nå?
Og hvordan har integreringen av AI i arbeidet påvirket tilnærmingen din til produktstrategi?
Lorilyn McCue: Ja, det er et veldig godt spørsmål. Jeg tror det viktigste for meg har vært å optimalisere for læring. Det lærte jeg hos Slack, men det er kanskje ti ganger viktigere innen AI.
Du må optimalisere for læring. Et godt eksempel er at vi nylig lanserte et produkt kalt Superhuman Ask AI. Denne funksjonen er så kul: I stedet for å søke etter et bestemt søk kan du bare skrive inn et spørsmål. Du kan si: «Hei, kan du oppsummere de nyeste tilbakemeldingene om Instant Event?»
«Kan du gi meg de tre mest positive sitatene og et par negative sitater?» Noe som ville tatt 20 minutter, tar nå bare sekunder, noe som er fantastisk. Eller: «Når skal jeg møte Hannah?» eller «Når sendte jeg sist en e-post til den og den?» Vi skulle opprinnelig bruke omtrent tre måneder på å bygge dette produktet.
Men det vi bestemte oss for å gjøre, var å lansere en versjon etter én måned, selv om den ikke føltes klar for oss. Vi lanserte denne versjonen for en liten gruppe mennesker. Først lanserte vi den for AI-teamet vårt, deretter internt, og så for et stadig større antall betabrukere. Det vi oppdaget, var at vi lærte noe nytt i hver fase, og at dette fullstendig endret måten vi tenkte på produktet og hvordan vi skulle bygge det.
Da tre måneder hadde gått, hadde mange brukt det, og vi hadde endelig bygget det riktige produktet – noe vi kanskje ikke ville ha klart fra begynnelsen. AI er så ukjent territorium at du noen ganger virkelig ikke aner hvordan folk kommer til å bruke det. Derfor må du optimalisere for læring.
Du må lansere litt, iterere, lansere, iterere, lansere og iterere.
Hannah Clark: Ja, jeg kan se hvordan den akselererte syklusen gir deg mye mer data om det som ikke fungerer, som du kan jobbe videre fra. Det er ofte mye mer nyttig enn å ha ingenting i det hele tatt, ikke sant? Og så har du brukt så lang tid på å tømme handlingsrommet ditt. Det er virkelig interessant.
En av tingene vi nevnte i en samtale vi hadde tidligere, var at du virkelig understreket viktigheten av å bygge AI inn i produktstrategien, i stedet for å legge den oppå produktet, noe vi ofte ser med noen av AI-funksjonene som integreres i eksisterende produkter.
Hvilke beslutninger tok dere for å sikre at AI-en i produktet føltes sømløs, fullt integrert og ikke bare som noe stort som var boltet fast på toppen?
Lorilyn McCue: I dag legger mange AI inn i et sidepanel som et lite chatteområde. Du må integrere AI sømløst i produktet.
Mitt drømmeintervju med en bruker går slik: «Hei, har du brukt denne AI-funksjonen?» «Å, jeg visste ikke at det var en AI-funksjon.» Jeg synes det er så spennende, for når du integrerer AI sømløst i produktet, føles det bare naturlig. Det føles som om det du trenger, er der når du trenger det. Et godt eksempel er en funksjon vi lanserte i går, kalt Instant Event, som jeg personlig er veldig begeistret for.
Du får en e-post: «Hei, ikke glem å ta med dette til skolen på denne dagen.» Og du tenker: «Å nei, nå må jeg åpne kalenderen, se hva jeg skal den dagen og opprette en avtale.» Det er frustrerende. Men nå kan du i Superhuman opprette en avtale med ett klikk, med riktig dato, riktig tittel, alle detaljene og de riktige personene. Det er utrolig nyttig.
Da vi først lanserte denne funksjonen, lå den ikke på et sømløst sted. Den lå i Command K, som er kommandomenyen i Superhuman. Du måtte vite at du skulle trykke Command K og skrive det som på det tidspunktet het «opprett avtale med AI». Det er åpenbart svært få som ville finne dette.
Men fordi vi hadde den der, kunne vi teste den og følge det første prinsippet om å optimalisere for læring. Vi kunne bruke den på mange e-poster selv og finne ut hva som fungerte og hvilke merkelige yttertilfeller som fantes, men det var ikke det siste steget. Vi måtte plassere den et sted der den var sømløst integrert i produktet.
Nå finnes den flere steder. Det første er at du kan bruke den vanlige snarveien for kalenderen, som er B i Superhuman. Da opprettes det automatisk en avtale med AI i stedet for en tom avtale, noe som er veldig kult. Den har også en liten knapp nederst i en e-post hvis en dato oppdages. Der står det: «Hei, vil du opprette en avtale på denne datoen?»
Du klikker på knappen, og den dukker opp. Den lager ikke den lyden, forresten. Den kampen vant jeg ikke.
Hannah Clark: Jeg liker lyden.
Lorilyn McCue: Når du holder markøren over en dato, endres den lille markøren til en hånd. Når du klikker på den, vil du se at det opprettes en avtale, noe som er veldig kult. Vi ville altså prøve funksjonaliteten og plasserte den i Command K, men den endelige versjonen ble langt mer sømløst integrert i produktet.
Vi oppdager stadig at brukerne benytter noen av metodene vi ikke engang nevnte i kunngjørings-e-posten. De finner dem helt naturlig, og det er akkurat det jeg vil skal skje. Du ser en dato, klikker på den, og en avtale opprettes. Perfekt.
Hannah Clark: Webdesignere, denne er til dere. Jeg har 30 sekunder til å fortelle om Wix Studio, nettplattformen for byråer og virksomheter. Her er fire ting du kan gjøre på 30 sekunder eller mindre i Studio. Tilpass designene dine til alle enheter med responsiv AI. Gjenbruk ressurser som maler, widgeter, seksjoner og designbiblioteker på tvers av nettsteder, og del dem med teamet ditt. Legg til animasjoner uten kode og gradientbakgrunner direkte i redigeringsverktøyet, og eksporter designene dine fra Figma til Wix Studio med bare ett klikk. Tiden er ute, men listen fortsetter. Ta steget inn i Wix Studio og se selv.
Vi hadde nylig en episode om empati som en del av designprosessen, og det er interessant hvordan slike intuitive funksjoner, tror jeg, virkelig er nøkkelen til å skape noe som tas enkelt i bruk. Det handler om å gjøre disse funksjonene så naturlige og sømløse at folk ikke kan unngå å oppdage dem.
Jeg vil snakke litt om data og hvordan vi bruker måltall og former beslutningene våre rundt dem. La oss bruke Superhumans sammendragsbehandling som eksempel, der sammendrag genereres automatisk slik at brukerne ikke trenger å be om dem. Hvilke måltall eller innsikter ville ha påvirket dette valget i produktet?
Du kan gjerne gi litt mer bakgrunn om denne funksjonen, og hvordan dere avgjør hvilke funksjoner som skal være proaktive, og hvilke som skal startes av brukeren.
Lorilyn McCue: Ja, jeg vil faktisk nevne to funksjoner her, fordi det finnes en veldig interessant historie om den andre. Når du mottar en e-post, beregner vi sammendraget og noen foreslåtte hurtigsvar før du i det hele tatt åpner den.
Det automatiske sammendraget er et sammendrag på én linje som finnes i hver eneste e-post. Du åpner e-posten, og det er der. Mange produkter har valgt å vise et sammendrag når du klikker, noe som gir mening. Det koster mye penger å oppsummere hver eneste e-post du mottar, og noen av dem åpner du ikke engang.
Men for oss var det viktig at disse to tingene var tilgjengelige i det øyeblikket du åpnet e-posten. Kanskje du har dårlig tid, slik jeg sa. Som du nevnte tidligere, må du ha empati med brukeren. De har kanskje ikke tid til å klikke på det og vente de få sekundene det tar før det vises.
Den andre funksjonen er hurtigsvar. Du spurte hvilke måltall som påvirket valget vårt. Vi ønsket virkelig å bruke en mer avansert modell til denne funksjonen. Den mer avanserte modellen var bare for treg. Den var som en skilpadde. Som en skilpadderobot.
Den hadde geniale svar. Den var som et skilpaddegeni. Det finnes en skilpaddegenirobot, og kanskje det gir mening at brukeren ber om svarene, og så får de dette geniale skilpaddesvaret. Sammendraget er fantastisk, og hurtigsvaret er fantastisk. Men de må vente noen sekunder, og det er kanskje ikke klart når de faktisk klikker på e-posten.
Eller vi har et annet alternativ, som jeg ikke vet – det er litt som den raske, klønete onkelen din. Han får jobben gjort. Han gjør feil innimellom. Et godt eksempel er en situasjon som gjorde meg helt gal før vi fant ut hvordan vi skulle løse problemet for hurtigsvar.
Jeg satt oppe til midnatt hver eneste kveld og prøvde å finne yttertilfeller som dette. I dette tilfellet sendte noen en avskjeds-e-post: «Jeg er så glad for å ha vært i dette selskapet, men nå er det på tide at jeg slutter.» Så skrev en rekke mennesker: «Å, så leit. Vi kommer til å savne deg så mye.»
Dette er flott. Du har vært fantastisk. Og så ville den dumme, raske, men ikke særlig smarte onkelen sagt: «Kjære Johnny, takk for at du sa farvel til Sarah.» Da tenker du: «Nei, det er ikke det jeg skal gjøre. Det er ikke en e-post der jeg skal si farvel til Sarah.»
Det er det som gir mening. Den supersmarte skilpadden sitter der borte og sier: «Ja, jeg har kontroll.» Men det tar litt tid å finne ut av det. Så vi tenkte: «Ok, hvordan kan vi gjøre dette?» På et tidspunkt innså vi at vi måtte bruke den litt dummere onkelen din. Vi valgte det, men fant ut hvordan vi kunne gjøre ham smartere.
Vi kunne finjustere modellen. Vi kunne sende inn flere eksempler på akkurat dette tilfellet da vi finjusterte den. Vi kunne også bestemme hvilke deler av tråden vi sendte inn. Vi kunne endre instruksen litt. Men poenget var at den måtte være god nok, og samtidig rask nok.
Det var det aller viktigste.
Hannah Clark: Jeg vil gå litt dypere inn i dette, fordi dette er en ferdighet som er mer unik for AI-produktledelse, og som jeg tror er relevant for mange som ønsker å utvikle kompetansen sin på området.
Når vi snakker om de tekniske sidene ved å balansere finjustering av modeller, ventetid, kostnadseffektivitet og alle disse beslutningene: Hva er prosessen i detalj når du må vurdere slike valg? Og hvilke ressurser trenger du for å forstå bedre hvordan du tar gode, informerte beslutninger når du ser på alle disse faktorene?
Lorilyn McCue: Jeg liker å bruke et verktøy som lar deg plassere flere instruksjoner ved siden av hverandre, sammen med flere modeller. Da har du instruks A med den supersmarte skilpadden til venstre, og den samme instruksen med den litt dumme, raske onkelen til høyre. Så kjører du dem med et datasett. Og for å gå litt tilbake: Hvordan fikk du dette datasettet?
Du lanserte tidligere, og lot de interne brukerne dine trykke tommel ned eller tommel opp på eksemplene som fungerte godt for dem. Det blir ditt eget datasett som du kan teste på. Hjernen din kunne sikkert ha funnet på et datasett med eksempler, men det er utrolig nyttig å ha ekte eksempler fra dine egne interne brukere.
Du tar datasettet og kjører de to instruksjonene. Du ser på tiden det tar. Kanskje du finner ut hvor lang tid det tar for brukerne å åpne en e-post. Ok, det er referansepunktet mitt. Jeg må ha dette klart innen ett til to sekunder, fordi folk noen ganger klikker på e-poster med en gang. Hvilken side vinner regelen om to sekunder?
Denne siden vinner regelen om to sekunder. Ok, la oss nå se gjennom hvert eneste svar. Hvilket er klønete? Oi, det der er virkelig klønete. Hvorfor takker du noen for å si farvel til Sarah? Ok, én kolonne til. La oss åpne en ny kolonne. Nå endrer vi instruksen litt.
«Fastslå samtalens fokus. Finn ut hvem som er den beste personen å svare.» Så kjører du den på nytt. Du ser på eksemplene. Ok, iterer igjen. Du må bare iterere, iterere, iterere. Og du vet kanskje ikke engang hva du ser etter i begynnelsen. Men mens du gjør det, begynner du sakte å finne ut hva kriteriene dine for suksess er.
Du har kanskje allerede noen kriterier for suksess. Den må være så rask. Den må ha en viss grad av nøyaktighet. Men hvilken type nøyaktighet, og for hvilke typer problemer? Du utvikler en intuisjon for dette når du faktisk gjør det og leker med det.
Hannah Clark: Dette høres altså ut som et stort fokus på instruksjonsutforming, som en nøkkelkompetanse man virkelig må beherske for å være effektiv i denne rollen.
Hvordan utviklet du denne kompetansen, når det er en så ny praksis? Måtte du ta et kurs, eller lærte du bare på jobben?
Lorilyn McCue: To ting: Definitivt læring på jobben. Det var bokstavelig talt meg sent på kvelden, mens jeg prøvde ut noe nytt. Innimellom søkte jeg på internett.
«Finnes det noe jeg kan gjøre her? Hva kan løse dette problemet?» Vi hadde faktisk et nært forhold til OpenAI, og de kunne gi oss noen tips. Noen av dem var morsomme: «Skriv dette med bare store bokstaver.» Virkelig? Må jeg liksom rope til språkmodellen? Ok, det kan jeg gjøre. Eller: «Gjenta dette én gang til», eller «Sørg for at du også plasserer det på slutten.»
Et godt tips var å sørge for at det finnes et eksempel der, et eksempel med ett skudd. Sørg for at finjusteringen inneholder eksempler på alle de ulike alternativene du har problemer med.
Hannah Clark: Dette er virkelig interessante tips. Jeg synes instruksjonsutforming er et interessant felt, for vi bruker disse grensesnittene så mye med naturlig språk at det virker som om det burde være en veldig naturlig prosess å lage en virkelig effektiv instruks.
Har du lært noe annet uventet mens du har forbedret og finpusset evnen til å finne de mest effektive instruksjonene for å få resultatet du ønsker?
Lorilyn McCue: Ja. Et av triksene jeg brukte, som vanligvis ikke endte opp i den endelige instruksen, men som jeg brukte mens jeg lagde instruksen, var å be språkmodellen forklare seg selv.
La oss bruke hurtigsvar som eksempel. Jeg kunne si: «Ok, hvem svarer du?» Så kunne jeg spørre: «Hvorfor svarer du denne personen?» Da ville den si: «Jeg svarer denne personen på grunn av X, Y, Z.» Og jeg tenkte: «Å, det er det som forvirrer deg. Din veldig dumme, trege onkel.» Da kunne jeg endre instruksen litt og gjøre den mer spesifikk.
«Ok, forklar deg selv igjen.» Når språkmodellen forklarte seg selv, hjalp det meg å forstå tankeprosessen litt bedre, slik at jeg kunne gjøre justeringer i instruksen. Ja, alternativet «forklar deg selv» var ganske nyttig.
Hannah Clark: Det kan være veldig nyttig, for fristelsen er noen ganger bare å gå tilbake til tegnebrettet og tenke: «Jeg ødela instruksen på en eller annen måte. Vi må bare skrive den på nytt.» Men dette er jo veldig praktisk.
Jeg vil komme tilbake til forretningssidene ved AI. AI-funksjoner er åpenbart i ferd med å bli et grunnleggende krav for de fleste digitale produkter, men det finnes også mange komplekse hensyn du må balansere når du integrerer AI. Hvilke utfordringer møtte Superhuman i en forretningsmessig sammenheng da dere skulle bestemme hvilke AI-modeller eller verktøy dere skulle implementere?
Lorilyn McCue: Hvis du kjenner AI, forsto du sannsynligvis at jeg refererte til GPT-4 sammenlignet med GPT-3.5. GPT-4 er den langsomme skilpadden, og GPT-3.5 er den raske, ikke fullt så smarte onkelen.
Nå vil jeg si at dette ikke er et like stort problem, fordi GPT-4.0 og GPT-4.0 Mini er så raske og så gode. Det er interessant, for et problem som plaget meg for ett år siden, er ikke like viktig nå. Men den gangen var det utrolig viktig, særlig når du snakker om en skala som innebærer å oppsummere hver eneste e-post noen mottar.
Det er en enorm skala. Det koster mye penger. Vi er veldig heldige som har en administrerende direktør, Rahul, som er opptatt av kvalitet. Velg det beste alternativet, få det beste alternativet. Men det interessante er at det beste alternativet ikke alltid gir det beste svaret. Det handler også om ventetid, og om hva som oppfyller brukernes krav til hastighet.
Hastighet og korrekthet. Ville vi ha vært villige til å betale for GPT-4? Ja, det ville vi, men den oppfylte ikke brukernes behov på det tidspunktet. Så da brukte vi GPT-3.5, siden den var tilgjengelig. Den var god nok og oppfylte kravene våre til ventetid.
Med mye arbeid med instruksjonsutforming, tid fra produktledere og tid til kvalitetssikring klarte vi å få den opp på kvalitetsnivået vi trengte for å dekke brukernes behov. Forretningssiden er veldig viktig, men vi var villige til å betale den kostnaden. Det viktigste for oss var å gjøre det som måtte til for å dekke brukernes behov.
Hannah Clark: La oss skifte spor litt. Jeg vil snakke mer om karriereutviklingen din innen AI-produktledelse, for jeg tror jeg har sagt til deg før at alle virkelig ønsker å utvikle denne kompetansen og forstå hvordan de kan styrke seg selv. Slik at CV-ene deres skiller seg ut i dette som akkurat nå er et slags AI-frislipp.
Hvilke ferdigheter eller kunnskapsområder, nå som du har jobbet i feltet og ledet et team innen dette, vil du anbefale for folk som ønsker å utvikle AI-sentriske produkter? Finnes det også sertifiseringer eller kurs du vil anbefale?
Lorilyn McCue: Jeg vil si at praktisk læring er det mest effektive akkurat nå. Kom i gang, hold deg oppdatert på de ulike trendene og tingene som lanseres. Det lanseres noe nytt hver eneste uke.
Når noe nytt kommer, kan du prøve det ut. Bruk det. Jeg vil spesielt anbefale å finne måter å bruke AI på i hverdagen og finne ut hva som fungerer. Et godt eksempel er at jeg har et par veldig søte gutter som elsker å komme inn på kontoret mitt mens jeg jobber. «Gutter, kan dere bare gi meg noen minutter til?»
«Jeg er nesten ferdig. Jeg skal hjelpe dere.» Det fungerer aldri. Det de egentlig vil, er at jeg skal skrive ut noen fargeleggingsark til dem, så går de av sted og fargelegger. Men nå har jeg brukt opp alle monsterlastebiler, stridsvogner fra andre verdenskrig og kampscener på coloringpages.com.
Jeg har altså ikke noe igjen. «Nei.» Ok, la oss gå til ChatGPT. La oss se hva vi kan gjøre. «Lag et fargeleggingsark med en monsterlastebil.» «Liker du dette?» «Oppfyller dette kravene dine?» «Nei, jeg vil ha ti.» «Lag ti monsterlastebiler.» «Oppfyller dette kravene dine?»
«Nei, jeg vil at de skal kjøre kappløp.» Ok. Så begynner du å gå frem og tilbake, og etter hvert vet du hva barna dine vil ha. Da kan du si: «Lag et barnevennlig fargeleggingsark med ti monsterlastebiler på en bane. Ikke ta med noen racerbiler.» Du finner ut hva som fungerer, og så kan du skrive det ut. Jeg vil si at ved å finne slike bruksområder i hverdagen får du et personlig eksempel.
La meg finne et profesjonelt eksempel. Jeg gjør dette med tekst innimellom. «Vi må forklare brukerne i én verktøytips hvordan denne funksjonen fungerer. Den kan bare ha et visst antall ord. Den må bruke dette språket.» Jeg skriver inn et grovt eksempel og ber om ti ulike varianter. «Ok, kult. La meg prøve en annen.»
Det er noe ved å bruke AI i hverdagen som gir deg kunnskap og forståelse av hva som er mulig. En ny funksjon kommer, og du tenker: «Ok, la oss prøve den.» En ny teknologi blir tilgjengelig, eller en ny modell lanseres. Et annet selskap kommer med noe nytt. Prøv det.
Et godt eksempel er at jeg gikk inn i Perplexity og sa: «Ok, list opp alle de ulike modellene som finnes, og hvor mye de koster per million token. Lag det som en tabell.» Der kom det. Takk, det var flott. Jeg vet ikke. Du må bare gjøre det. Jeg tror helt ærlig at det er det mest nyttige.
Er det et hjelpsomt svar? Det er ikke et kurs du kan ta, men det er definitivt noe du kan gjøre i hverdagen.
Hannah Clark: Veldig nyttig. Jeg hadde heller ikke forventet et foreldretips, men det tar jeg gjerne imot.
Lorilyn McCue: Det er et veldig godt tips.
Hannah Clark: Ja. Sønnen min er interessert i de samme tingene, så det blir en morsom liten aktivitet i helgen.
Tusen takk for at du ble med oss i dag, Lorilyn. Jeg setter stor pris på at du kom og delte kunnskapen din om AI-produktledelse. Århundrets heteste tips akkurat nå. Før vi avslutter: Hvor kan lytterne finne arbeidet ditt og lære litt mer om hva dere bygger hos Superhuman?
Lorilyn McCue: Du kan se arbeidet vårt hos Superhuman på Superhuman-bloggen vår, superhuman.com. Klikk på «blogg». Når det gjelder meg, legger jeg ut innlegg på LinkedIn. Du kan finne meg på LinkedIn som Lorilyn McCue.
Hannah Clark: Kult. Tusen takk for at du ble med.
Lorilyn McCue: Takk.
Hannah Clark: Takk for at du lyttet. For flere gode innsikter, veiledninger og verktøyanmeldelser kan du abonnere på nyhetsbrevet vårt på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved å abonnere på The CPO Club, uansett hvor du hører på podkaster.