I en tid där AI förändrar branscher i snabb takt hör produktroller med AI-funktioner till de mest eftertraktade inom teknik. Om du vill ta dig in i denna sfär eller utveckla dina befintliga färdigheter kan det vara mycket värdefullt att förstå resan och strategierna hos dem som leder utvecklingen.
I det här avsnittet får Hannah Clark sällskap av Lorilyn McCue – AI-produktchef på Superhuman – som delar med sig av sina insikter om hur man navigerar i det AI-produktledningslandskap som ständigt utvecklas.
Höjdpunkter från intervjun
- Lorilyns karriärresa och viktigaste färdigheter [01:06]
- Lorilyn inledde sin karriär som Apache-helikopterpilot i armén, där hon tjänstgjorde i sex år.
- Därefter undervisade hon i idrott på West Point.
- Efter att ha lämnat armén gick hon på handelshögskola.
- Hon började på Slack som produktchef, först i tillväxtteamet och därefter i plattformsteamet.
- Senare arbetade hon på maskininlärningsstartupen Impira.
- För närvarande är Lorilyn ledande AI-produktchef på Superhuman.
- AI på Superhuman: förbättrad användarupplevelse [02:08]
- Lorilyn uppskattar AI:s förmåga att spara tid åt användarna, så att de kan fokusera på viktiga uppgifter.
- Hon berättar om en händelse från Irak, där en Apache-helikopterflygning under ett händelsefattigt uppdrag tydliggjorde ineffektiviteten i repetitiva uppgifter.
- Ett mer engagerande uppdrag visade henne värdet av att använda teknik för komplexa uppgifter i stället för vardagliga sådana.
- Hon kopplar detta till AI, som hanterar rutinuppgifter så att användarna kan fokusera på meningsfullt arbete.
- Superhumans funktion ”direktsvar” sparar till exempel användarna två minuter per e-postmeddelande genom att automatisera rutinmässiga svar.
- Detta ”aha”-ögonblick bekräftade AI:s roll i att avlägsna slavgöra och förbättra produktiviteten.
AI kan befria dig från slavgörat. Tilldela alla rutinmässiga uppgifter till AI, låt det cirkla över basen i tre timmar och gå själv och gör det roliga.
Lorilyn McCue
- Karriärutveckling och AI-integrering [04:19]
- Lorilyn prioriterar att optimera för lärande, en lärdom som förstärktes på Slack och som är avgörande inom AI.
- Superhumans funktion ”Fråga AI” låter användarna ställa frågor direkt, vilket sparar tid vid sökningar.
- Teamet hade ursprungligen planerat att det skulle ta tre månader, men lanserade en preliminär version efter en månad för att samla in feedback.
- Den stegvisa lanseringen – först till AI-teamet, sedan internt och slutligen till betaanvändare – gav insikter som formade den slutliga produkten.
- Iterativ utveckling var avgörande och gjorde det möjligt för teamet att anpassa sig och skapa en mer effektiv produkt baserad på användarnas beteende.
- AI:s oförutsägbara natur kräver upprepade inlärningscykler för att anpassas till användarnas behov.
AI är ett så okänt område att du ofta inte har någon aning om hur människor kommer att använda det. Därför måste du optimera för lärande. Du måste lansera lite i taget, sedan iterera och upprepa processen.
Lorilyn McCue
- Vikten av sömlös AI-integrering [06:46]
- Lorilyn betonar vikten av att integrera AI djupt i produktdesignen och undvika att det känns som ett “tillägg”.
- En idealisk AI-integrering gör att funktionerna känns naturliga och inte uppfattas som ”AI” av användarna.
- Superhumans funktion “Instant Event” illustrerar detta tillvägagångssätt genom att låta användare skapa kalenderhändelser från e-postmeddelanden med ett enda klick.
- Inledningsvis fanns funktionen på en mindre lättillgänglig plats i testsyfte, via Superhumans kommandomeny, “Command K”.
- Efter tester och lärdomar från feedback flyttade teamet den till mer intuitiva platser, till exempel en knapp i e-postmeddelanden och en kalendergenväg.
- Denna sömlösa integrering gör att AI-funktionerna känns användbara och lättillgängliga när de behövs.
- Funktionen “Instant Event” gör det nu möjligt för användare att skapa händelser genom att helt enkelt klicka på datum i e-postmeddelanden, där markören ändras till en handikon för att signalera denna åtgärd.
- Funktionen testades ursprungligen i kommandomenyn men är nu fullt integrerad för att underlätta användningen.
- Användarna upptäcker och använder funktionen naturligt utan uttryckliga instruktioner, vilket stämmer överens med Lorilyns mål för sömlös AI-integrering.
- Optimering av AI för snabbhet och precision [10:54]
- Superhuman prioriterar proaktiva funktioner som automatiska sammanfattningar och direktsvar och visar dem omedelbart för användarnas bekvämlighet.
- Funktionen för automatiska sammanfattningar ger en sammanfattning på en rad av varje e-postmeddelande, vilket möjliggör snabbare åtkomst till information utan att användaren behöver vidta någon åtgärd.
- För direktsvar ställdes teamet inför en avvägning mellan en “sköldpaddsbot” (smart men långsam) och en modell som en “snabb, tafatt farbror” (snabb men mindre träffsäker).
- Trots sköldpaddsbotens högre kvalitet valde teamet den snabbare modellen och prioriterade snabbhet och användarupplevelse.
- De finjusterade den snabbare modellen för att förbättra precisionen och säkerställa att svaren är snabba och rimligt träffsäkra.
- Att balansera kvalitet och snabbhet är avgörande när man beslutar om funktioner ska vara proaktiva eller initieras av användaren.
- Tekniskt beslutsfattande inom AI [14:24]
- Lorilyn använder ett verktyg för att jämföra flera promptar och modeller sida vid sida och bedömer prestandan med verkliga data.
- Hon skapar ett dataset från intern användarfeedback (tummen upp/ner) för att återspegla verkliga scenarier.
- Utvärderingarna fokuserar på latens, med målet att svar ska komma inom 1–2 sekunder för att tillgodose användarnas behov.
- Genom upprepade tester identifierar hon problem (till exempel feltolkning av sammanhanget i svar) och förfinar promptarna för att förbättra precisionen.
- Iterativa tester hjälper till att fastställa framgångskriterier, balansera snabbhet med precision och klargöra vilka specifika typer av precision som behövs.
- Att bemästra promptteknik [16:38]
- Lorilyn utvecklade sina färdigheter inom promptteknik genom att lära sig i arbetet och experimentera.
- Ibland sökte hon efter specifika lösningar på nätet.
- Hon fick också tips från OpenAI, som att använda tekniker såsom kommandon med enbart versaler, upprepa instruktioner och inkludera exempel med ett enda exempel.
- Finjusteringen innebar att lägga till exempel för att hantera svåra fall och förbättra precisionen.
- Lorilyn använde en teknik där hon lät LLM-modellen förklara sitt resonemang för att förfina promptarna.
- Hon kunde till exempel fråga LLM-modellen vem den svarade till och varför.
- Denna process avslöjade missförstånd i LLM-modellens svar, vilket gjorde det möjligt för henne att göra specifika justeringar av promptarna.
- Metoden “förklara dig” bidrog till att tydliggöra LLM-modellens tankeprocess och underlättade en mer effektiv finjustering av promptarna.
- Affärsutmaningar vid AI-integrering på Superhuman [18:54]
- Att integrera AI i Superhuman innebar att balansera komplexitet och utmaningar.
- Lorilyn jämförde AI-modeller: GPT-4 (långsam men hög kvalitet) kontra GPT-3.5 (snabbare men mindre intelligent).
- Inledningsvis innebar GPT-4:s långsamhet betydande utmaningar för att skala upp sammanfattningen av e-postmeddelanden.
- Superhuman prioriterade kvalitet och användarnas behov, med hänsyn till snabbhet och korrekthet.
- De valde GPT-3.5 för bättre latens och använde samtidigt promptteknik för att uppfylla kvalitetskraven.
- Affärsfokus låg på att säkerställa att användarnas behov tillgodosågs, oavsett kostnader.
- Praktiskt lärande och praktiska AI-färdigheter [20:54]
- Praktiskt lärande är avgörande för produktledning inom AI.
- Det är viktigt att hålla sig uppdaterad om veckans trender och lanseringar.
- Experimentera med AI-verktyg i vardagen för att få praktisk förståelse.
- Exempel: Använd ChatGPT för att skapa anpassade målarbilder för barn.
- Tillämpa AI i yrkesmässiga sammanhang, till exempel för att skapa kortfattade användarverktygstips.
- Att engagera sig i ny teknik förbättrar kunskapen om AI:s möjligheter.
- Ingen specifik kurs behövs; praktisk tillämpning är avgörande.
Möt vår gäst
Lorilyn McCue är AI-produktchef på Superhuman, den mest produktiva e-postappen som någonsin skapats. Tillsammans med Superhumans vd Rahul Vohra har Lorilyn hjälpt till att skapa och förverkliga företagets AI-produktstrategi genom att ta fram eleganta och praktiska funktioner som gör det möjligt för användare att göra allt från att skriva e-postutkast med sin egen röst och ton till att sammanfatta långa trådar och använda sökning med naturligt språk för att enkelt hitta saker i inkorgen. Innan Lorilyn började på Superhuman arbetade hon i produktteam på Slack och Impira, en AI-startup som förvärvades av Figma.
Lorilyn har tagit en fascinerande och okonventionell väg till produktledning.
Hon tjänstgjorde i militären i ett decennium, flög Apache-helikoptrar i Irak och undervisade kadetter vid West Point innan hon bestämde sig för att byta karriär och bli produktpraktikant på Google i början av 30-årsåldern. Hon har en kandidatexamen från West Point och en MBA från Stanford.

Det är något med att använda AI i vardagen som ger en kunskap och förståelse för vad som är möjligt.
Lorilyn McCue
Resurser från det här avsnittet:
- Prenumerera på CPO Clubs nyhetsbrev
- Upptäck sponsorn för det här avsnittet: Wix Studio
- Kontakta Lorilyn på LinkedIn
- Upptäck Superhuman
Relaterade artiklar och poddavsnitt:
Läs transkriberingen:
Vi testar att transkribera våra poddar med hjälp av ett program. Ursäkta eventuella stavfel, eftersom boten inte är korrekt till 100 procent hela tiden.
Hannah Clark: Just nu handlar de mest eftertraktade produktjobben om AI. Historiskt sett är det också ett särskilt ovanligt ögonblick, eftersom de kärnkompetenser som krävs för att konkurrera på det här området bara har funnits i ett par år. Ännu märkligare är att området har utvecklats så snabbt att den erfarenhet du kan ha skaffat dig när ChatGPT slog igenom hos allmänheten, för knappt två år sedan, redan kan vara föråldrad. Så hur kan produktchefer som söker jobb inom detta område komma ikapp just nu? Och kanske ännu viktigare: vilka vanor kan du införa idag för att hålla dig uppdaterad medan tekniken utvecklas?
Min gäst idag är Lorilyn McCue, ledande AI-produktchef på Superhuman. Lorilyns karriärresa är minst sagt otrolig. Jag låter henne berätta mer om den strax, men den är också ett bevis på den verkligt viktiga egenskap du behöver för att lyckas som AI-produktchef – äventyrslust. När du lyssnar på Lorilyns tips föreslår jag att du intar en upptäckares perspektiv, eftersom detta är ett område som fortfarande är outforskat. Och det första du behöver för att lyckas är en vilja att utforska. Då sätter vi igång.
Välkomna tillbaka, lyssnare, till podden The CPO Club. Jag är här idag med Lorilyn McCue.
Lorilyn, tack så mycket för att du vill vara med oss idag.
Lorilyn McCue: Tack själv för att jag fick komma.
Hannah Clark: Du har haft en väldigt intressant väg fram till att bli ledande AI-produktchef på Superhuman. Jag tror att vi vanligtvis brukar dröja kvar lite vid den här delen.
Men jag skulle verkligen vilja att du berättade lite mer om din bakgrund, eftersom den är så otroligt spännande.
Lorilyn McCue: Min bakgrund är väldigt märklig. Jag började som pilot på en Apache-helikopter, vilket uppenbarligen är en helt normal väg in i teknikbranschen. Jag var med i armén och gjorde det i ungefär sex år.
Sedan undervisade jag i idrott på West Point under den sista delen av min tid i armén. Därefter gick jag en ekonomutbildning och hamnade på Slack som produktchef, först i deras tillväxtteam och sedan i deras plattformsteam. Sedan började jag på en liten startup inom maskininlärning som hette Impira.
Och nu är jag här på Superhuman och arbetar med AI.
Hannah Clark: Vilken häftig karriärutveckling. Jag är helt fascinerad av den.
Vi går rakt på sak, för idag ska vi fokusera lite mer på AI, hur Superhuman kom till och hela den resa du har gjort fram till att bli ledande AI-produktchef.
Om vi pratar om AI i samband med Superhuman, kan du berätta om ett ögonblick när du såg AI utvecklas och påtagligt förbättra användarupplevelsen för Superhumans användare?
Lorilyn McCue: Ja. Jag ska berätta en liten historia. För mig är det viktigaste att spara användarnas tid och låta deras hjärna ägna sig åt viktigare saker.
För mig innebär Superhuman AI att din hjärna kan ägna sig åt viktigare saker. Okej, jag ska berätta en liten historia. När jag var i Irak fick jag ett uppdrag att flyga i cirklar runt en bas i tre timmar. Jag flög bara i cirklar runt en bas i tre timmar och gjorde ingenting. Men till slut fick vi ett nytt uppdrag: att flyga riktigt lågt, hitta dessa bombgömmor och sedan spränga dem, vilket var mycket mer intressant och ett betydligt bättre sätt att använda den mest tekniskt avancerade helikopter som armén någonsin hade tillverkat.
På ett väldigt märkligt sätt tror jag att jag blev förälskad i AI-konceptet innan det ens var en grej. Jag kunde se hur mycket bättre vi använde helikoptern under det andra uppdraget jämfört med det första. AI fungerar på samma sätt. AI tar hand om att flyga runt basen i tre timmar åt gången och låter dig använda din mänskliga hjärna till de mer intressanta uppgifterna.
AI sparar alltså väldigt mycket tid åt användarna. När vi tittade på en av våra funktioner som heter direktsvar, alltså ett kort snabbsvar som du använder för att svara någon, såg vi att den sparar två minuter per e-postmeddelande. Du behöver inte använda hjärnan i två minuter för att formulera ett svar när något standardiserat förmodligen skulle fungera för de flesta av dina mejl.
För mig var det ett stort aha-ögonblick: AI kan ta bort det tråkiga från din att-göra-lista. Ge AI alla rutinuppgifter, låt den flyga runt basen i tre timmar, så kan du gå och göra det roliga. Du kan hitta bomberna och spränga dem.
Hannah Clark: Ingen har någonsin använt den liknelsen i det här programmet tidigare, men jag gillar den.
Lorilyn McCue: Kul att få vara först.
Hannah Clark: Okej, vi återkommer till AI om en stund, för det finns verkligen mycket att reda ut där. Det finns så många olika användningsområden som vi kan gå in på.
Men jag vill prata lite om din karriär. När vi pratar om din karriärutveckling, från Slack och vidare till AI-produktledning, hur har du kommit att förstå AI som en del av din karriär – från din första roll till där du är idag?
Och hur har integreringen av AI påverkat ditt sätt att tänka kring produktstrategi?
Lorilyn McCue: Det är en väldigt bra fråga. Jag tror att det viktigaste för mig har varit att optimera för lärande. Det är något jag lärde mig på Slack, men det är kanske tio gånger viktigare inom AI.
Du måste optimera för lärande. Ett bra exempel är att vi nyligen lanserade en produkt som heter Superhuman Ask AI. Funktionen är så häftig. I stället för att söka efter en specifik sökfråga kan du bara skriva in en fråga. Du kan säga: ”Kan du sammanfatta den senaste feedbacken om Instant Event?”
”Kan du ge mig de tre mest positiva citaten och ett par negativa citat?” Något som skulle ha tagit 20 minuter tar nu bara några sekunder, vilket är fantastiskt. Eller: ”När ska jag träffa Hannah?” eller ”När mejlade jag den och den personen senast?” Från början tänkte vi bygga den här produkten på ungefär tre månader.
Men vi bestämde oss för att lansera en version efter en månad, trots att den inte kändes färdig för oss. Vi släppte den till en liten grupp människor. Först till vårt AI-team, sedan internt, och därefter till en allt större grupp betaanvändare. Det vi upptäckte var att vi lärde oss något nytt i varje fas, och att det helt förändrade hur vi såg på produkten och hur vi skulle bygga den.
När tre månader hade gått hade många använt den, och vi hade till slut byggt rätt sak – något vi kanske inte hade gjort från början. AI är ett så okänt område att du ibland verkligen inte har någon aning om hur människor kommer att använda det. Därför måste du optimera för lärande.
Du måste lansera lite, iterera, lansera igen, iterera, lansera igen och iterera.
Hannah Clark: Ja, jag förstår hur den snabbare cykeln ger dig mycket mer data om misslyckanden att arbeta utifrån. Det är ofta mycket mer användbart än att inte ha någon information alls, eller hur? Och att du bara har tagit så lång tid på dig att tömma din handlingsutrymme. Det är väldigt intressant.
En av sakerna vi nämnde i ett tidigare samtal var att du verkligen betonade hur viktigt det är att bygga in AI i produktstrategin, i stället för att lägga det ovanpå produkten. Det ser vi ofta med vissa av de AI-funktioner som integreras i befintliga produkter.
Vilka beslut fattade du för att se till att AI:n i produkten kändes sömlös, helt integrerad och inte bara som något stort som hade skruvats fast ovanpå?
Lorilyn McCue: Idag placerar många AI i ett sidofält som ett litet chattområde. Du måste integrera AI sömlöst i produkten.
Min drömintervju med en användare skulle gå så här: ”Hej, har du använt den här AI-funktionen?” ”Oj, jag visste inte att det var en AI-funktion.” Jag tycker att det är så spännande, för när du integrerar AI sömlöst i produkten känns det naturligt. Det känns som att det du behöver finns där när du behöver det. Ett bra exempel är att vi så sent som igår lanserade en funktion som heter Instant Event, som jag personligen är väldigt entusiastisk över.
Du får ett mejl – vi är båda föräldrar – där det står: ”Glöm inte att ta med det här till skolan den här dagen.” Då tänker du: ”Nu måste jag öppna kalendern, se vad jag ska göra den dagen och skapa ett evenemang.” Det är väldigt frustrerande. Men i Superhuman kan du nu med ett enda klick skapa ett evenemang med rätt datum, rätt rubrik, alla detaljer och rätt personer. Det är otroligt användbart.
När vi först lanserade funktionen fanns den inte på en sömlös plats. Den fanns i Kommando K, som är Superhumans kommandomeny. Du var alltså tvungen att veta att du skulle trycka på Kommando K och sedan skriva det som då hette ”skapa evenemang med AI”. Väldigt få personer kommer uppenbarligen att hitta det.
Men eftersom vi hade den där kunde vi testa den och tillämpa den första principen om att optimera för lärande. Vi kunde använda den på en massa mejl själva och ta reda på vad som fungerade och vilka märkliga specialfall som fanns. Men det var inte det slutliga steget. Vi var tvungna att placera den någonstans där den var sömlöst integrerad i produkten.
Nu finns den på flera platser. Den första är att du kan använda den vanliga kalendergenvägen, B i Superhuman. Då skapas automatiskt ett evenemang med hjälp av AI i stället för ett tomt evenemang, vilket är väldigt häftigt. Det finns också en liten knapp längst ned i ett mejl om ett datum upptäcks. Där står det: ”Vill du skapa ett evenemang det här datumet?”
Du klickar på knappen och den dyker upp. Den låter inte så där, förresten. Jag lyckades inte vinna den striden.
Hannah Clark: Jag gillar ljudet.
Lorilyn McCue: När du håller muspekaren över ett datum ändras den lilla markören till en hand. När du klickar på det ser du att ett evenemang skapas, vilket är så häftigt. Vi ville alltså prova funktionen och placerade den i Kommando K, men slutversionen var mycket mer sömlöst integrerad i produkten.
Vi upptäcker dessutom att användare använder vissa av dessa funktioner på sätt som vi inte ens nämnde i vårt lanseringsmejl. De hittar dem naturligt, vilket är precis det jag vill ska hända. Du ser ett datum, klickar på det och ett evenemang skapas. Perfekt.
Hannah Clark: Webbdesigners, det här är till er. Jag har 30 sekunder på mig att berätta om Wix Studio, webbplattformen för byråer och större företag. Här är fyra saker du kan göra på 30 sekunder eller mindre i Studio. Anpassa dina designer för alla enheter med responsiv AI. Återanvänd tillgångar som mallar, widgetar, sektioner och designbibliotek på flera webbplatser och dela dem med teamet. Lägg till animationer utan kod och tonade bakgrunder direkt i redigeraren, och exportera dina designer från Figma till Wix Studio med bara ett klick. Tiden är ute, men listan fortsätter. Kliv in i Wix Studio och se själv.
Vi hade nyligen ett avsnitt om empati som en del av designprocessen, och det är intressant hur sådana intuitiva funktioner, tycker jag, verkligen är nyckeln till att skapa något som enkelt tas i bruk. Det handlar om att göra den typen av funktioner så naturliga och sömlösa att människor inte kan låta bli att upptäcka dem.
Jag vill prata lite om data och hur vi använder mätvärden för att forma våra beslut. Låt oss ta Superhumans automatiska sammanfattning som exempel, så att användarna inte behöver be om den. Vilka mätvärden eller insikter skulle ha påverkat beslutet att skapa den här produkten?
Du får gärna ge lite mer bakgrund om funktionen och hur ni avgör vilka funktioner som ska vara proaktiva och vilka som ska initieras av användaren.
Lorilyn McCue: Jag ska faktiskt nämna två funktioner, eftersom det finns en väldigt intressant historia om den andra. När du får ett mejl beräknar vi sammanfattningen och några föreslagna direktsvar innan du ens öppnar det.
Den automatiska sammanfattningen är en sammanfattning på en rad som finns i varje mejl. Du öppnar mejlet och den finns där. Många produkter har valt att visa en sammanfattning först när du klickar, vilket är logiskt. Det kostar mycket pengar att sammanfatta varje mejl du får, och vissa av dem öppnar du inte ens.
Men för oss var det så viktigt att de två sakerna fanns tillgängliga i samma ögonblick som du öppnade mejlet. Du kanske har bråttom, som jag sa. Som du nämnde tidigare måste du känna empati för användaren. De kanske inte har tid att klicka på det och vänta de få sekunder det tar innan resultatet visas.
Den andra funktionen är direktsvar. Du frågade vilka mätvärden som påverkade vårt val. Vi ville verkligen använda en mer avancerad modell för den här funktionen. Den mer avancerade modellen var bara alldeles för långsam. Den var som en sköldpadda. Som en sköldpaddsbot.
Den gav briljanta svar. Den var ett sköldpaddsgeni. Det finns en sköldpaddsgenibot, och det kanske är rimligt att låta användaren be om svaren och sedan få det här geniala sköldpaddssvaret. Sammanfattningen är fantastisk och direktsvaret är fantastiskt. Men användaren måste vänta några sekunder, och svaret kanske inte är klart när personen faktiskt öppnar mejlet.
Eller så har vi ett annat alternativ, ungefär som din snabba men lite tafatta morbror. Han får jobbet gjort. Han gör misstag då och då. Innan vi hade kommit på hur vi skulle lösa problemet med direktsvar fanns det ett användningsfall som gjorde mig fullständigt galen.
Jag satt uppe till midnatt varje kväll och försökte förstå specialfall som detta. I just det här fallet skickade någon ett avskedsmejl: ”Jag är så glad över att ha varit på det här företaget, men nu är det dags för mig att gå.” Sedan svarade en massa människor: ”Åh, vad tråkigt, vi kommer att sakna dig så mycket.”
”Det här har varit fantastiskt. Du har varit underbar.” Och då skulle den snabba men inte särskilt smarta morbrorn säga: ”Kära Johnny, tack för att du sa farväl till Sarah.” Då tänkte man: ”Nej, det är inte det jag ska göra. Det är inte ett mejl där jag ska tacka Johnny för att han sa farväl till Sarah.”
Det rimliga är att jag ska säga farväl till Sarah. Det är det som är logiskt. Den supersmarta sköldpaddan sitter där borta och säger: ”Ja, jag har koll på det här.” Men det tar ett tag att komma fram till svaret. Så vi tänkte: ”Okej, hur kan vi göra det här?” Till slut insåg vi att vi var tvungna att använda den lite dummare morbrorn. Vi valde den modellen, men kom på hur vi kunde göra den smartare.
Vi kunde finjustera modellen. Vi kunde skicka in fler exempel på just det fallet när vi finjusterade den. Vi kunde också bestämma vilka delar av tråden vi skulle skicka in. Vi kunde ändra uppmaningen lite. Men kärnan var att den måste vara a) tillräckligt bra och b) tillräckligt snabb.
Det var det viktigaste.
Hannah Clark: Jag vill gå lite djupare in på det, eftersom detta är en färdighet som är mer unik för AI-produktledning och som är relevant för så många som vill fördjupa sina färdigheter inom området.
När vi pratar om de tekniska aspekterna av att balansera finjustering av modeller, avvägningen mellan svarstid och kostnadseffektivitet och alla sådana beslut – hur ser processen ut i praktiken när du utvärderar den här typen av beslut? Vilka resurser behöver du för att bättre förstå hur du fattar välgrundade beslut när du tar hänsyn till alla dessa faktorer?
Lorilyn McCue: Jag tycker om att använda ett verktyg där du kan placera flera uppmaningar bredvid varandra tillsammans med flera modeller. Du kan ha uppmaning A med din supersmarta sköldpadda till vänster och samma uppmaning med din snabba men lite dumma morbror till höger, och sedan köra dem mot en datamängd. Men för att gå tillbaka lite: hur fick du den datamängden?
Du lanserade tidigare och lät interna användare trycka tummen ned eller tummen upp på de exempel som fungerade bra för dem. Det blir din egen datamängd att testa på. Din hjärna kan säkert hitta på en uppsättning exempel, men det är otroligt värdefullt att ha verkliga exempel från dina egna interna användare.
Du tar datamängden och kör de två uppmaningarna. Du tittar på hur lång tid det tar. Kanske tar du reda på hur lång tid det brukar ta för användare att öppna ett mejl. Okej, det är mitt riktmärke. Jag måste ha detta klart inom en till två sekunder, eftersom människor ibland klickar på mejl direkt. Okej, vilken sida klarar tvåsekundersregeln?
Den här sidan klarar tvåsekundersregeln. Okej, nu tittar vi på vart och ett av svaren. Vilket är konstigt? Oj, det där är verkligen konstigt. Varför tackar du den och den personen för att ha sagt farväl till Sarah? Okej, ytterligare en kolumn. Vi öppnar en ny kolumn. Nu ändrar vi uppmaningen lite.
”Fastställ samtalets fokus. Ta reda på vem som är bäst lämpad att svara.” Sedan kör du igen. Du tittar på exemplen. Okej, iterera igen. Du måste helt enkelt iterera, iterera och iterera. Du kanske inte ens vet vad du letar efter från början. Men medan du gör det börjar du långsamt förstå vilka kriterier du har för framgång.
Du kanske redan har vissa framgångskriterier. Det här måste vara snabbt. Det måste ha en viss noggrannhet. Men vilken typ av noggrannhet och för vilka typer av problem? Du får en känsla för det när du faktiskt arbetar med det och provar dig fram.
Hannah Clark: Det låter alltså som att promptdesign är en viktig färdighet att verkligen bemästra för att vara effektiv i den här rollen.
Hur utvecklade du den färdigheten, eftersom det är ett så nytt område? Gick du någon kurs eller lärde du dig helt enkelt på jobbet?
Lorilyn McCue: Två saker: definitivt genom att lära mig på jobbet. Det var bokstavligen jag som satt sent på kvällen och provade något nytt. Då och då sökte jag på internet.
”Finns det något jag kan göra här? Vad kommer att lösa det här problemet?” Vi hade faktiskt en nära relation med OpenAI och de kunde ge oss några tips. Vissa av dem var roliga: ”Skriv det med versaler.” Verkligen? Måste jag alltså skrika åt den stora språkmodellen? Okej, det kan jag göra. Eller: ”Upprepa detta en andra gång” eller ”Se till att även placera det i slutet.”
Ett bra tips var att se till att det finns ett exempel där, ett exempel med en enda demonstration. Se till att din finjustering innehåller exempel på alla olika alternativ som du har problem med.
Hannah Clark: Det här är väldigt intressanta tips. Jag tycker att promptdesign är ett intressant område, eftersom vi interagerar så mycket med dessa gränssnitt genom vanligt språk. Det verkar som att det borde vara en väldigt naturlig process att skapa en effektiv uppmaning.
Har du lärt dig något annat oväntat när du har förfinat och utvecklat din förmåga att hitta de mest effektiva uppmaningarna för att få det resultat du vill ha?
Lorilyn McCue: Ja. Ett av knepen jag använde, som vanligtvis inte hamnade i den slutliga uppmaningen men som jag använde när jag skapade den, var att be den stora språkmodellen förklara sig själv.
Ta direktsvaret som exempel. Jag kunde säga: ”Okej, vem svarar du?” Sedan frågade jag: ”Varför svarar du den personen?” Då svarade den: ”Jag svarar den personen på grund av X, Y och Z.” Då tänkte jag: ”Jaha, det är det som förvirrar dig, din väldigt dumma och långsamma morbror.” Nu kan jag ändra uppmaningen lite och bli mer specifik kring det.
”Okej, förklara dig igen.” Att låta den stora språkmodellen förklara sig själv hjälpte mig att bättre förstå tankeprocessen, så att jag kunde justera uppmaningen. Alternativet ”förklara dig själv” var väldigt användbart.
Hannah Clark: Det kan verkligen vara till hjälp, för ibland är frestelsen att gå tillbaka till ritbordet och tänka att man måste ha förstört uppmaningen på något sätt. Man vill bara skriva om den. Men det här är väldigt praktiskt.
Jag vill återkomma till affärssidan av AI. Just nu börjar AI-funktioner uppfattas som grundläggande krav för de flesta digitala produkter, men det finns också många komplexa saker att balansera när man integrerar AI. Vilka utmaningar mötte Superhuman ur ett affärsperspektiv när ni bestämde vilka AI-modeller eller verktyg ni skulle implementera?
Lorilyn McCue: Ni som kan AI förstår förmodligen att jag syftade på GPT-4 jämfört med GPT-3.5. GPT-4 är den långsamma sköldpaddan och GPT-3.5 är den snabba, inte riktigt lika smarta morbrorn.
Jag måste säga att detta inte är ett lika stort problem längre, eftersom GPT-4.0 och GPT-4.0 Mini är så snabba och verkligen bra. Det är intressant, för ett problem som bekymrade mig för ett år sedan är inte lika stort längre. Men då var det oerhört viktigt, särskilt när man talar om en skala som innebär att varje mejl en person får ska sammanfattas.
Det är en enorm skala. Det kostar mycket pengar. Vi har tur som har vår vd Rahul, som alltid fokuserar på kvalitet. Välj det bästa alternativet, få fram det bästa alternativet. Men det intressanta är att det bästa alternativet inte alltid ger det bästa svaret. Det handlar också om svarstiden och om vad som uppfyller våra användares krav på snabbhet.
Snabbhet och korrekthet. För oss: hade vi varit beredda att betala för GPT-4? Ja, det hade vi. Men den uppfyllde helt enkelt inte användarnas behov vid den tidpunkten. Så vi tänkte: ”Okej, då använder vi GPT-3.5 eftersom den finns tillgänglig just nu.” Den var tillräckligt bra och uppfyllde våra krav på svarstid.
Med mycket promptdesign, tid från produktchefer och tid för kvalitetssäkring kunde vi få den till den kvalitetsnivå som krävdes för att uppfylla användarnas behov. Affärsaspekten är mycket viktig, men vi var beredda att betala kostnaden. Vad det än kostade att uppfylla användarnas behov var det viktigaste för oss.
Hannah Clark: Vi byter ämne lite. Jag vill prata mer om din karriärutveckling inom AI-produktledning, för jag tror att jag har sagt det tidigare: alla försöker verkligen utveckla den här kompetensen och förstå hur de kan berika sina kunskaper så att deras meritförteckningar sticker ut i den här AI-kapplöpningen.
Vilka färdigheter, praktiska kunskapsområden, certifieringar eller kurser skulle du rekommendera för personer som vill utveckla AI-centrerade produkter, nu när du har arbetat inom området och lett ett team där?
Lorilyn McCue: Jag skulle säga att praktiskt lärande är det mest effektiva just nu. Man måste komma igång och hålla sig uppdaterad om de olika trenderna och allt som lanseras. Det kommer något nytt varje vecka.
När något nytt släpps bör du prova det. Använd det. Jag skulle särskilt rekommendera att du hittar sätt att använda AI i vardagen och tar reda på vad som fungerar. Ett bra exempel är att jag har ett par väldigt söta pojkar som älskar att komma in på mitt kontor när jag arbetar. ”Hörni, ge mig bara några minuter till.”
”Jag är nästan klar. Jag ska hjälpa er.” Det fungerar aldrig. Det de egentligen vill är att jag ska skriva ut målarbilder åt dem, så att de kan gå iväg och färglägga dem. Vid det här laget hade jag dock uttömt varje monstertruck, stridsvagn från andra världskriget och stridsscen på coloringpages.com.
Jag hade alltså inget kvar. ”Nej.” Okej, då går vi till ChatGPT. Vi ser vad vi kan göra. ”Gör en målarbild med en monstertruck åt mig.” ”Okej. Är du nöjd med den här?” ”Nej, jag vill ha tio.” ”Okej, gör tio monstertruckar. Är du nöjd med den här?”
”Nej, jag vill att de ska tävla.” Okej. Sedan fortsätter man fram och tillbaka och efter ett tag vet man vad barnen vill ha. Då kan man säga: ”Gör en barnanpassad målarbild med tio monstertruckar på en bana. Se till att inga tävlingsbilar finns med.” Man tar reda på vad som fungerar och kan sedan skriva ut bilden. Jag skulle säga att man lär sig mycket genom att hitta sådana användningsområden i vardagen. Det här var ett personligt exempel.
Låt mig ta ett professionellt exempel. Ibland gör jag detta med text. Vi behöver förklara för användarna i en enda verktygstipsruta hur den här funktionen fungerar. Okej, den får bara innehålla ett visst antal ord. Den måste använda det här språket. Jag skriver ett grovt exempel och ber sedan om tio olika varianter. Okej, bra. Då provar jag en till.
Det är något med att använda AI i vardagen. Jag vet inte riktigt vad, men det ger dig kunskap och en förståelse för vad som är möjligt. En ny funktion lanseras – prova den. En ny teknik blir tillgänglig – prova den. En ny modell blir tillgänglig – prova den. Ett annat företag lanserar något – prova det.
Ett bra exempel är att jag gick in på Perplexity och skrev: ”Okej, lista alla olika modeller som finns och hur mycket de kostar per miljon token. Gör det till en tabell.” Där kom den. Tack, det var bra. Jag vet inte. Man måste bara göra det. Jag tror att det är det mest användbara.
Är det ett hjälpsamt svar? Det är ingen kurs du kan gå, men det är definitivt något du kan göra i vardagen.
Hannah Clark: Väldigt användbart. Jag hade inte heller väntat mig ett föräldratips, men det tar jag gärna emot.
Lorilyn McCue: Det är ett riktigt bra tips.
Hannah Clark: Ja. Min son är intresserad av samma saker, så det blir en rolig liten aktivitet i helgen.
Tack så mycket för att du ville vara med oss idag, Lorilyn. Jag uppskattar verkligen att du kom och delade med dig av dina kunskaper om AI-produktledning. Det hetaste tipset på ett helt decennium just nu. Innan vi avslutar, var kan lyssnarna hitta ditt arbete och lära sig mer om vad ni bygger på Superhuman?
Lorilyn McCue: Du kan läsa om vårt arbete på Superhumans blogg på superhuman.com. Klicka på blogg. När det gäller mig skriver jag på LinkedIn. Du kan söka efter Lorilyn McCue på LinkedIn.
Hannah Clark: Toppen. Tack så mycket för att du var med.
Lorilyn McCue: Tack.
Hannah Clark: Tack för att ni lyssnade. För fler bra insikter, praktiska guider och verktygsrecensioner kan ni prenumerera på vårt nyhetsbrev på theproductmanager.com/subscribe. Du kan höra fler samtal som detta genom att prenumerera på The CPO Club, var du än lyssnar på poddar.
