Duolingos produktchef ger en mästarklass i produktmonetisering

Läs transkriptet:

Vi testar att transkribera våra poddar med hjälp av ett program. Ursäkta eventuella stavfel eftersom boten inte har rätt 100 % av gångerna.

Hannah Clark: Jag tror att vi alla kan hålla med om att våra beslut i grunden handlar om hur vi kan göra våra produkter värdefulla för våra kunder. Men i dag ska vi fokusera lite djupare på delen ”värdefulla” ... alltså hur våra produkter kan tjäna pengar. Vi vet att vi behöver vara lönsamma, men vägen mellan vår produkt och en hälsosam ARR är inte precis en rak linje. Att få det rätt är uppenbarligen avgörande, men det finns många olika sätt att nå dit – och det är precis därför det här samtalet är så intressant.

Min gäst i dag är Cem Kansu, produktchef på Duolingo, och jag kunde inte ha bett jultomten om ett mer perfekt exempel på en högvärdesprodukt med ett supersmart förhållningssätt till monetisering. Du kommer snart att få veta vad som har och inte har fungerat för Duolingo genom åren, ta reda på vad Premiumfällan är och hur man undviker den, samt höra hur introduktionen av generativ AI har påverkat deras prisstrategi i dag. Det här samtalet var så bra, så engagerande och så fullt av konkreta lärdomar att det i princip är Duolingo för produktmonetisering. Då sätter vi igång.

Välkomna tillbaka till podden The CPO Club, allihop. I dag är jag här med Cem Kansu. Vi är så glada över att ha honom här hos oss.

Cem, tack för att du är med oss.

Cem Kansu: Tack för att jag fick komma. Det är roligt att vara här.

Hannah Clark: Ja. Kan du berätta lite om din bakgrund och hur du hamnade där du är i dag på Duolingo?

Cem Kansu: Absolut. Jag började på Duolingo för åtta och ett halvt år sedan, vilket känns helt otroligt när jag säger det högt, men tiden går fort när man har roligt. Jag började på Duolingo 2016 och arbetade med monetisering under ungefär de första fem, fem och ett halvt åren. För oss innebär monetisering att jag arbetade med att bygga ut våra affärsområden, som omfattar annonser, köp i appen och prenumerationer. Under de senaste tre åren har jag varit produktchef här på Duolingo.

Jag leder produktledningsteamet och vi har ungefär 40 produktchefer på företaget. Jag arbetar också med många produktbeslut som tar upp en stor del av min dag. Innan Duolingo gick jag på handelshögskola. Dessförinnan arbetade jag på Google i ungefär fyra år. Och ännu längre tillbaka kommer jag ursprungligen från Turkiet och gick en del av min utbildning där.

Hannah Clark: Oj. Arbetade du på Google innan du började på universitetet?

Cem Kansu: Nej. Innan forskarutbildningen, innan handelshögskolan.

Hannah Clark: Okej. Jag tänkte att du måste ha varit något av ett underbarn.

I vilket fall som helst är det här en bra övergång, eftersom vi i dag ska prata om monetisering, vilket är något vi, märkligt nog, inte pratar tillräckligt mycket om i den här podden. Vi pratar mycket om utveckling. Vi pratar mycket om forskning. Vi pratar inte så mycket om hur man tjänar pengar.

Så vi börjar med en ganska generell fråga. Vilken ser du som den största monetiseringsutmaningen som produktteam står inför på marknaden just nu? Hur har ni på Duolingo hanterat den?

Cem Kansu: Det är en bra fråga. För det första handlar det om att hitta den bästa modellen för att monetisera sin produkt. Om din app riktar sig till företag tar du ett annat grepp än om den riktar sig till konsumenter. Jag kan tala mycket mer om konsumenter. Det är där jag har tillbringat större delen av min karriär.

När man tänker på konsumentmonetisering brukade det vara så, särskilt under de tidiga sociala mediernas glansdagar, som under Facebooks tidiga dagar, att den grundläggande visdomen alltid var: skaffa användare, så kan du komma på hur du ska monetisera senare. Om du kan nå en enorm användarbas kan du komma på något. Det var den rådande visdomen. Jag tycker att den i allmänhet har förändrats till att man måste visa hur man kan monetisera tidigare i livscykeln. Att monetisera och växa samtidigt är numera vanligare råd för nystartade företag, särskilt konsumentinriktade sådana.

Duolingos resa har varit ganska intressant. Duolingo startade 2011. Det var fortfarande en tid då investerare eller kloka personer sa att man bara skulle skaffa användare och lösa resten senare. Jag tror att Duolingo till stor del följde den filosofin: låt oss växa vår användarbas, hitta produkt–marknadspassning och sedan komma på hur vi ska monetisera.

Duolingo hade också en mycket genomarbetad monetiseringsplan. Vår grundare och vd Luis var grundare av CAPTCHA. Jag vet inte om alla här känner till CAPTCHA, men det är de slingriga bokstäverna som man skriver in på en webbplats. Tanken med CAPTCHA var att man samtidigt skulle crowdsourca digitaliseringen av böcker.

Varje slingrig bokstav man skrev in crowdsourcades för att omvandla skannade bilder av böcker till identifierade digitala ord. Luis hade alltså utvecklat den här modellen för crowdsourcad digitalisering av böcker med hjälp av CAPTCHA. Hans idé med Duolingo var något liknande: när användarna lärde sig ett språk och gjorde spanska övningar skulle de steg för steg översätta engelska artiklar till spanska.

Därefter skulle Duolingo sälja en översättningstjänst till den som behövde den. Problemet med den affärsmodellen var för det första att översättningskvaliteten blir dålig om man bara håller på att lära sig ett språk. Man behöver vanligtvis antingen en tredje part eller en annan tjänst för att höja kvaliteten på översättningen.

Det andra problemet är att översättning blir en affärsmodell där priserna pressas nedåt och man hela tiden konkurrerar om ett lägre pris. Man gör det för exempelvis två dollar per artikel, någon på Filippinerna gör det för en dollar per artikel, och sedan blir det alltid en kamp om att pressa priset så långt ned som möjligt. I efterhand hade det varit en ganska dålig affärsmodell med stora språkmodeller.

Översättning har dessutom vid det här laget blivit nästan omedelbar. Kort sagt hade Duolingo övergett den här affärsmodellen när jag började och arbetade med vad nästa steg kunde vara. Vi valde freemium eftersom det passade vår produkt, vilket var logiskt både utifrån vårt uppdrag och det vår produkt stod för: tillgång till utbildning.

Vi ville aldrig låsa in allt utbildningsvärde bakom en betalvägg. Och för att återgå till din tidigare fråga är det här något som appar ofta måste hantera: hur mycket ska man erbjuda gratis och hur mycket ska ligga bakom en betalning, oavsett om det är en engångsbetalning eller en återkommande betalning som en prenumeration? Vi beslutade, både utifrån vår övertygelse och vårt företags uppdrag,

och med tanke på Duolingos långsiktiga tillväxt, att utbildningsvärdet skulle vara helt gratis. Allt franskt innehåll som du kan komma åt är därför detsamma, oavsett om du betalar eller använder gratisversionen. Däremot är extra funktioner, som att ta bort annonser eller få fler liv när du går igenom lektionerna, betalfunktioner.

Det var så vi började och det är den affärsmodell vi har hållit fast vid under de senaste åtta åren. Och för att återgå till din ursprungliga fråga tror jag att det är ett av de viktigaste besluten som appar måste fatta: ska man erbjuda någon del av appen gratis, och i så fall vilka delar? Den underliggande variabeln är vad det man erbjuder gratis till slut hjälper en att växa.

För Duolingo innebär det att när vi erbjuder appens mest värdefulla del – möjligheten att lära sig ett språk eller lära sig matematik och musik gratis – bidrar det verkligen till att bygga ett organiskt kretslopp. Om du använder produkten och tycker om den berättar du för dina vänner. Om allt kostar pengar får de flesta inte ens tillgång till produkten och berättar inte för sina vänner. Då byggs inget organiskt kretslopp. Om du bygger en helt premiumbaserad produkt måste du i stället bygga en betald marknadsföringsmaskin, eftersom produkten behöver växa och du måste lägga mycket pengar på marknadsföring för att växa. Det är inte nödvändigtvis en dålig sak, men det är en helt annan affärsmodell.

Hannah Clark: Jag tycker att så mycket av samtalet om prissättning och monetisering handlar om den här mycket känsliga balansen på så många olika nivåer.

Men jag vill prata lite om Premiumfällan eftersom vi talar om premium och om att hitta den balansen.

Först och främst, kan du förklara konceptet Premiumfällan och hur Duolingo har lyckats undvika den samtidigt som ni har fortsatt att växa användarbas och intäkter?

Cem Kansu: Absolut. Premiumfällan är, jag vet inte om det är ett vanligt uttryck, men vi använder det ofta på Duolingo för att beskriva den dynamik som många utbildningsappar faktiskt hamnar i. Jag tar Duolingo som exempel eftersom det är lättare för mig att prata om. Vi har funnits som produkt i elva, snart tolv år.

Under de tolv åren har vi sett många konkurrerande produkter komma och försöka göra exakt det Duolingo gör, med en viktig skillnad: de gör hela appen till en premiumprodukt. Det brukar gå till så att någon börjar göra något som liknar Duolingo. De lär ut ett ämne, exempelvis ett språk, matematik eller musik.

Det finns många utbildningsprodukter där ute. De börjar antingen helt avgiftsbelagda eller gratis, men då är det ganska svårt att bygga ett organiskt kretslopp. Därför kommer de här apparna snabbt fram till insikten att om vi gör allt avgiftsbelagt kan vi monetisera. Och om vi monetiserar kan vi lägga pengar på marknadsföring och bygga ett kretslopp där vårt livstidsvärde är högre än kundanskaffningskostnaden. Då kan vi lägga pengar på marknadsföring, skaffa prenumeranter och använda pengarna till ännu mer marknadsföring. Det är matematiskt en förnuftig strategi. Man kan göra så, men två saker händer med företag som i allmänhet väljer den här affärsmodellen. Det är där fällan kommer in.

För det första börjar man lägga mycket av sina ansträngningar på betald marknadsföring. Hela tillväxten kommer i praktiken från betald marknadsföring. Man börjar lägga mycket tid, ledningskapacitet och faktiska pengar på marknadsföring i stället för på att bygga en utmärkt produkt.

Företagets hela inriktning blir därför mer fokuserad på marknadsföring och användaranskaffning än på att bygga utmärkta produkter. När det gäller utbildning har vi åtminstone lärt oss att den verkligt svåra delen är att skapa en engagerande upplevelse och göra ett utbildningsämne spännande, roligt och roligt att använda.

Om man inte lägger mycket kraft där hamnar man definitivt efter i förhållande till vad alla andra gör och vart utbildning är på väg. Det är fälla nummer ett. Fälla nummer två är att när man väl har kommit in i det här kretsloppet och bygger en intäktsbas som drivs av betald marknadsföring är det nästan omöjligt att ta sig ur. Man kan inte enkelt säga: ”Låt oss göra några av de viktigaste funktionerna som vi vet att människor betalar för gratis, så att vi också kan bygga ett organiskt kretslopp.” Då saktar tillväxten ned, och det är mycket svårt att ta sig igenom en långsam tillväxtperiod när man ska gå från tung betald marknadsföring till gratis.

Det omvända är mycket vanligare: många appar börjar helt gratis eller som freemium. Sedan inser de att de inte har tålamod eller vill växa mer. De börjar investera i betald marknadsföring, men den måste ge intäkter från betalande användare eftersom det är det positiva intäktskretsloppet.

Det är alltså en del av Premiumfällan: om man skapar en premiumapp och hela tillväxten kommer från betald marknadsföring är det mycket svårt att ta sig ur fällan och samtidigt bygga en skalbar tillväxtmodell som drivs organiskt. Vår syn har åtminstone varit att organisk tillväxt visserligen är svår att kontrollera eftersom man inte styr den genom utgifter, men den är också uppenbart mycket billig eftersom den i praktiken är gratis.

Därför har vi satsat på att göra funktionerna gratis och utmärkta, så att våra användare alltid berättar för sina vänner och skapar det här organiska kretsloppet.

Hannah Clark: Ja, jag brukar också hålla med om det synsättet. Om man tänker på produkten som en fest: om man ordnar en fantastisk fest ringer folk sina vänner och säger att de måste komma.

Men om man lägger massor av pengar på affischer som säger att festen är fantastisk, och det sedan inte finns någon mat och musiken är dålig, bjuder man in människor till en plats där det i praktiken inte händer något. Då blir utgifterna bortkastade, eller hur?

Cem Kansu: Ja.

Hannah Clark: Det var bara en liknelse. Men jag håller helt med om ert tillvägagångssätt. Jag tycker att det är en väldigt bra insikt.

Om vi går lite djupare in på freemium-modellen tror jag att en del av det som har gjort Duolingo så framgångsrikt är att ni verkligen har hittat balansen inom freemium. Ni förstår verkligen er användarbas och har skapat en övertygande produkt.

Nästan alla jag känner som använder Duolingo säger att det är den enda appen för språkinlärning som de faktiskt har hållit fast vid. Jag får inte ens betalt för att säga det. Det är verkligen sant. Vilka strategier har ni funnit vara mest effektiva för att behålla den fria tillgången och se till att människor kan få tillgång till allt värde gratis, samtidigt som ni uppmuntrar användarna att uppgradera till premium?

Cem Kansu: Några saker. Den första handlar om hur man sätter riktlinjer och skyddsräcken för hela företaget. En gratisanvändare och en betalande användare ska alltid kunna lära sig lika mycket franska. Det betyder att gratisanvändaren inte ska ha ett annat innehåll än den betalande användaren. Innehållet ska inte vara det som skiljer betalningen åt.

Det är vår syn eftersom vi alltid har förstått att om man erbjuder gratisanvändare en omfattande och bra utbildningsupplevelse kommer de antingen att berätta för sina vänner, vilket hjälper tillväxten, eller att stanna kvar i produkten under mycket längre perioder och kanske bestämma sig för att uppgradera till en prenumeration tre år senare.

Det skapar långsiktiga vanor mycket enklare. Det har varit vår vägledande princip: styr produkten på ett sätt där det finns en helig ko, nämligen att man inte ska lägga utbildningsinnehåll bakom betalväggen. Vi har hållit fast vid det, och det har hjälpt oss att bygga en ganska stor användarbas från början.

Det andra är att använda A/B-testning och data till sin fördel för att avgöra vilka funktioner som hjälper tillväxten och vilka som hjälper monetiseringen. Om det finns en tydlig skiljelinje – säg att jag väljer en funktion vi har, topplistor – kommer du till den punkt där du ska avgöra om det ska vara en betalfunktion.

Det skulle kunna vara en betalfunktion. Det är inte riktigt utbildningsinnehåll och passar med vår övertygelse. Eller så kan det vara gratis. Men vad hjälper mer? Om man gör den gratis, hjälper det användartillväxten mer? Om man gör den till en betalfunktion, hjälper det intäkterna mer? Man kan använda sitt bästa omdöme eller testa och se vad som händer.

För oss har synen varit att sociala funktioner som topplistor, där man interagerar med andra användare, gynnas mycket mer av ett stort antal användare. Därför gjorde vi dem tillgängliga för alla. För nischade funktioner har vi till exempel en anpassad övningsfunktion. Där var det mer rimligt att monetisera eftersom funktionen är mycket nischad.

De flesta användare vill inte ha den och behöver den inte, men de som gör det är villiga att betala. Om man inte erbjuder den förlorar man inget utbildningsvärde. Vi kallar den övningshubben och har beslutat att göra den till en betalfunktion. Kort sagt handlar det om att när man lägger till en ny funktion och skapar värde i produkten, fråga vilka mätvärden som påverkas mest av funktionen. Om det är tillväxt ska man definitivt inte monetisera den, eftersom man vill att användarbasen ska växa med den.

Den tredje saken är att jag har pratat lite om Premiumfällan. Jag tror att det hjälper mycket att få alla i företaget att förstå vilken strategin är. Är vi en premiumprodukt där allt gratisinnehåll ska monetiseras, eller finns det heliga kor som aldrig ska monetiseras? Det går tillbaka till min första punkt, men det hjälper verkligen. Särskilt i en växande organisation är det viktigt att alla vet var de ska experimentera. Kan man experimentera med att göra hela appen avgiftsbelagd, eller är det ett experiment man aldrig ska genomföra?

Att enas om, i brist på bättre ord, vad som är heligt och vad som inte är det hjälper också väldigt mycket.

Hannah Clark: Ja. Jag tycker att det är viktigt för att skapa en gemensam övertygelse också. Jag är glad att du tog upp A/B-testning, för jag är nyfiken på hur det passar in i ert arbetssätt.

Kan du dela med dig av några insikter eller upptäckter som ni har fått genom er A/B-testning kring monetisering och bibehållande av användare?

Cem Kansu: Absolut. Vi genomför många A/B-tester. Under ett kvartal genomför vi nu mer än 300 A/B-tester på Duolingo, bara för att ge en uppfattning om omfattningen. De flesta inser det inte när de öppnar appen. Den är utformad för att se väldigt enkel ut och den är utformad för att vara väldigt enkel, men vi kör många A/B-tester.

De kan handla om att ändra nyansen på den blå färgen på en knapp som man trycker på så att den blir lite ljusare, eller om något så omfattande som en fullständig omdesign av hela startsidan. Allt räknas som ett A/B-test. Varje förändring vi gör går ut som ett A/B-test eftersom data kan visa vad förändringen gör bättre än vår intuition.

Vilka insikter och upptäckter har vi fått? Det är en mycket lång lista, så jag gör kanske en spontan genomgång av olika saker vi har sett. En sak vi har sett, särskilt eftersom vi är en produkt som balanserar utbildning och engagemang, är att det finns en optimal nivå för hur svår eller lätt en lektion kan vara.

Det visar sig att vi har testat många olika ytterligheter. Vi har gjort innehållet enklare och enklare och vi har gjort det svårare och svårare. I genomsnitt vill användarna ha rätt på 80 procent av frågorna. Det är ungefär den optimala nivån. Om någon får 100 procent rätt slutar de använda appen eftersom de tycker att den är för enkel.

Om de får rätt på 30 procent av frågorna känner de att de inte gör ett bra jobb eller att innehållet eller appen inte är något för dem. Det finns alltså en optimal nivå. 80 procent är inte exakt, men vi har lärt oss att det intervallet fungerar väl för att balansera kvarhållning och skapa en vana. På så sätt kommer eleverna tillbaka nästa dag och användarna förblir engagerade.

Vad har vi mer lärt oss? Det gör stor skillnad om man försöker sälja upp användare till en betalprodukt. Vi har två prenumerationsprodukter som heter Super Duolingo och Duolingo Max, och det spelar stor roll hur man pratar om dem och hur man presenterar dem. Många prenumerationsköp, särskilt i freemiumprodukter, är känslomässiga köp.

Det finns därför mycket man kan testa för att upptäcka vad som fungerar och övertyga en användare om att köpa produkten. Det är kanske ingen överraskning, men det är viktigt att optimera hur man presenterar en uppgradering till en prenumeration. Vi har arbetat med det i åtta år, alltså lika länge som vår prenumeration har funnits, och vi hittar fortfarande nya sätt att få användare att uppgradera.

Det är till exempel mycket effektivt att låta användare prova och köpa: låt dem prova prenumerationen i tre dagar och be dem sedan starta en kostnadsfri provperiod. Det fungerar mycket bättre än att bara säga ”starta en kostnadsfri provperiod”. Om man på köpknappen skriver ”prova gratis i sju dagar” fungerar det också.

Men om man skriver ”prova för 0 dollar” fungerar det märkligt nog ännu bättre. Om man erbjuder något och skriver ”sista chansen”, och det faktiskt är den sista chansen eftersom erbjudandet snart försvinner, ökar klickfrekvensen kraftigt jämfört med om man inte skriver det. Det finns en mycket längre lista med saker som vi har testat och lärt oss, men min viktigaste slutsats är att det finns mycket att göra för att förstå vad som fungerar i ens produkt när man vill få användare att uppgradera till en prenumeration.

Den sista lärdomen är något vi fortfarande försöker förstå. Det går definitivt att A/B-testa för mycket och försätta sig i en fälla med ett lokalt optimum. När man har bra verktyg och varje produktteam är skickligt på att genomföra A/B-tester är det lätt att börja testa enbart små, stegvisa förändringar.

Det är en fälla som man lätt hamnar i, och ibland gör vi det själva. Man börjar testa bara små inkrementella förändringar. Även antalet jag nämnde kan låta imponerande: man kan säga att man har genomfört hundra A/B-tester. Men om allt man har testat är knappens färg, pixel för pixel, testar man aldrig hur en helt annan version av funktionen skulle kunna se ut.

Team kan ibland få incitament att göra detta eftersom de får vissa framgångar. De genomför många A/B-tester och det känns bra med hög volym. Men om man backar och frågar vad som skulle hända om man tog bort hela skärmen och gjorde något helt annat, visar det sig ibland att det fungerar dubbelt så bra. Man kommer aldrig dit eftersom man alltid testar stegvis.

Att undvika fällan med inkrementell testning är en lärdom som jag inte tror att vi helt har kommit på hur vi ska agera utifrån. Men när vi ser den tänker vi: ”Oj, vi har A/B-testat oss alldeles för långt in i ett lokalt optimum.” Det är kanske den tredje lärdomen jag vill lämna er med.

Hannah Clark: Det här är en intressant poäng. Vi pratade tidigare i en panel om hur en junior eller praktikant ser på vad det innebär att något är färdigt jämfört med hur en senior produktchef ser på samma sak. Den ena ser något som helt enkelt avslutat, medan den andra letar efter insikter eller vilket värde och vilken påverkan det färdiga arbetet skapar.

Jag ser det som något liknande här. Kör vi A/B-tester för att kunna säga att vi genomförde 300 A/B-tester i år? Eller kör vi A/B-tester för att förstå vilka risker vi kan ta och få en bättre känsla för användarnas reaktion, i stället för att bara finjustera saker där avkastningen minskar?

Cem Kansu: Precis. Ett annat exempel är: är det bättre att genomföra 300 A/B-tester och få förbättringar på några procentenheter, eller att göra ett stort test som kanske ger en förbättring på 50 procent? Det är svårt att avgöra i stunden. I efterhand kan man enkelt säga att man tar 50 procent, men i stunden känns det säkrare att genomföra 300 tester och få några procentenheter.

Men som du sa blir avtagande avkastning problemet.

Hannah Clark: Ja. Var och en av de testerna kostar pengar att genomföra, även om man lär sig något av dem.

Cem Kansu: Ja.

Hannah Clark: De var verkligen värdefulla. Jag uppskattar att du delade med dig av dem.

Webbdesigners, det här är för er. Jag har 30 sekunder på mig att berätta om Wix Studio, webbplattformen för byråer och företag. Här är fyra saker du kan göra i Studio på 30 sekunder eller mindre. Anpassa designen för alla enheter med responsiv AI. Återanvänd tillgångar som mallar, widgetar, sektioner och designbibliotek på olika webbplatser och dela dem med teamet. Lägg till kodfria animationer och gradientbakgrunder direkt i redigeraren. Och exportera designen från Figma till Wix Studio med bara ett klick. Tiden är ute, men listan fortsätter. Börja använda Wix Studio och se själv.

Nu går vi över till att prata lite om prisstrategi.

Du berättade lite om hur saker har utvecklats över tid. När vi tittar på den nuvarande versionen av prisstrategin har ni olika betalnivåer och en gratisnivå. Vilka faktorer har påverkat hur funktionerna prissätts i dag och hur ni skiljer mellan de olika betalprodukter ni erbjuder?

Cem Kansu: Jag skulle säga att vår prisstrategi främst har utvecklats genom att paketen har förändrats. Duolingo har ungefär alltid haft en prenumerationsprodukt under de senaste åtta åren. Men det som har hänt över tid är att vår första lansering först hette Plus Duolingo och sedan bytte namn till Super Duolingo.

Det lät som ett bättre namn. Vi gjorde också en stor redesign av produkten och lanserade ett familjeabonnemang. Det låg på en annan prisnivå, nästan 50 procent högre än att köpa individuellt. Det var ett bra erbjudande för gruppabonnemang. Det var vår första utvecklingsfas. Därefter lanserade vi vår högre nivå, Duolingo Max.

Det var ungefär två år sedan. Den kostar nästan dubbelt så mycket som Super Duolingo. Man får extra funktioner som använder mycket generativ AI för att ge samtalsträning. Det skulle jag säga var den andra fasen i vår utveckling, eftersom olika paket för olika användare förändrar dynamiken kring pris och användning.

Personer med större benägenhet och större möjlighet att betala kanske väljer Duolingo Max, medan en grupp kanske väljer familjeabonnemanget. Vi lanserade nyligen också ett studentabonnemang. Erbjudandet har alltså blivit ganska segmenterat. Vägen till rätt prisnivåer gick ärligt talat främst genom A/B-testning.

Det vi har lärt oss är att vi har försökt hitta sätt att slippa A/B-testa priser, eftersom pristester är komplicerade. Även om man har full möjlighet att genomföra A/B-tester – vilket vi tekniskt sett har – har vi till exempel inga avtal med tredjepartsinnehåll som kräver att priserna ska ligga på en viss nivå.

Vi kan alltså tekniskt sett erbjuda vad som helst till vilket pris som helst. Men det kostar att genomföra A/B-tester. Vi har därför försökt fråga användare och genomföra enkäter. Vi har försökt göra kvalitativ och kvantitativ forskning. Vi har också testat så kallade skyltfönstertester, där man får människor att klicka på ett visst pris men det inte finns något att köpa på andra sidan.

Man säger att produkten ännu inte är lanserad. Inget av detta har gett särskilt tydliga prisindikationer, om man inte jämför mycket olika priser, exempelvis om något ska kosta 5 eller 100 dollar. Då kan man kanske få en ungefärlig signal. Men om man vill testa om årsprenumerationen ska kosta 80, 85 eller 90 dollar har vi aldrig kunnat få en bra signal utanför A/B-testning.

Vi har därför till slut A/B-testat alla våra priser till de nivåer vi har i dag. Det är så våra nuvarande priser har bestämts. Framöver tror jag att det här arbetssättet kommer att fortsätta fungera. Det visar sig att köpbeteendet för en premiumapp verkligen beror på hur den presenteras i appen och hur köptillfället ser ut. Vad upplevde användaren precis innan köpet?

Därför har vi haft svårt att återskapa samma resultat i forskning som i A/B-tester. Forskning tenderar att fråga: ”Skulle du köpa de här funktionerna till det här priset?” Många av våra köp är känslomässiga. Du har kanske precis gått igenom en lektion och är väldigt entusiastisk. Du fick en perfekt lektion i Duolingo och tänker: ”Jag älskar den här appen. Jag köper prenumerationen.” Det går inte riktigt att återskapa i en enkät. Därför har vi sett A/B-testning som den främsta metoden för att fastställa priser.

Hannah Clark: Det här är en mycket viktig lärdom. När vi talar om vilken typ av insikter man kan få från köpbeteende är det helt skilt från det mentala tillstånd användarna befinner sig i när man intervjuar dem. Under intervjuer vill människor presentera sin bästa sida.

De tänker rationellt på vad de borde göra. Det skiljer sig mycket från köpbeteendet i stunden, när man faktiskt har den känslomässiga drivkraften att trycka på prenumerationsknappen. Jag kan verkligen uppskatta det.

Men jag vill prata lite mer om AI eftersom du nämnde att ni just nu använder generativa AI-funktioner som verktyg för samtalsträning, vilket jag tycker är väldigt intressant. Det är ett innovativt sätt att använda generativ AI. Hur balanserar ni kostnaden för en sådan innovation med att sätta ett pris som användarna tycker är rimligt för Duolingo Max?

Cem Kansu: Huvudfunktionen i Duolingo Max är det vi kallar videosamtal med Lily. Lily är en av våra figurer.

Vi har flera figurer som dyker upp under Duolingo-lektionerna. Ett videosamtal med Lily är precis vad namnet antyder. Du ringer Lily för att öva spanska eller något annat språk du håller på att lära dig. Den stora fördelen är att vi anpassar hela den spanska nivå hon talar med dig på efter din nivå.

Eftersom vi vet varje ord du har lärt dig i Duolingo använder hon de orden minst 89 procent av tiden. Tio procent av tiden introducerar hon nya ord, men hon talar med dig på din spanska nivå. Det blir en perfekt samtalsövning.

Användningen har varit mycket bra. Vi kommer därför att fortsätta investera mycket i den här typen av interaktiva samtalsfunktioner för Duolingo Max som använder generativ AI. När vi prissätter funktionerna uppstår en ny dynamik för oss: det kostar pengar, eftersom anrop till stora språkmodeller är ganska dyra i dag.

Vi räknar med en genomsnittlig kostnad baserad på genomsnittlig användning eftersom vi säljer en prenumerationsprodukt som användarna betalar för månadsvis eller årsvis. Vi måste avgöra om enhetsekonomin är hållbar. Vi uppskattar kostnaden utifrån vad vi i slutändan betalar för anropen till de stora språkmodellerna.

Vi prissätter uppenbarligen över den nivån så att enhetsekonomin åtminstone inte blir negativ. Därefter försöker vi avgöra var efterfrågan kan finnas. A/B-testning hjälper verkligen till att förstå var efterfrågan ligger.

För oss är efterfrågan också förankrad i Super. Eftersom Max erbjuder fler AI-baserade funktioner och Super är vår referensprenumeration frågar vi oss om Max ska kosta dubbelt så mycket som Super. Är det där efterfrågan verkligen finns? Ska priset vara 50 procent högre? Sedan A/B-testar vi för att se var efterfrågan är högst och fastställer det slutliga priset.

Hannah Clark: Vi har pratat mycket om hur presentationen av vissa funktioner verkligen kan påverka hur människor uppfattar värdet och sin betalningsvilja, och hur man kan använda den känslomässiga drivkraften för att hjälpa människor genom tratten.

Vilket språk använder ni kring AI? Har ni märkt något, eller kanske gjort A/B-tester kring särskilda sätt att positionera en AI-funktion för att uppmuntra människor att uppgradera sin prenumeration?

Cem Kansu: Ja, vi har gjort en hel del forskning för att förstå hur vi ska kommunicera funktionens värde. Det finns många sätt att göra det. När det gäller videosamtalet med Lily, är det bättre att prata om Lily? Är det bättre att prata om samtalsträning? Är det bättre att säga att det här är generativ AI i framkant?

Det finns alltså många sätt att presentera samma funktion. Både vår forskning och A/B-testning visade faktiskt att AI-budskap fungerade sämst. När vi märker något med ”ny AI-funktion”, trots all uppmärksamhet kring AI, blir vi påminda om verkligheten: i teknik- och produktledningskretsar kan AI vara en attraktiv rubrik, men det gäller inte nödvändigtvis hela Duolingos användarbas, som är mycket global.

Bara 20 procent av våra användare finns i USA och 80 procent finns i andra länder. Teknikkunskapen är uppenbart inte lika hög som hos personer som arbetar inom teknik. Ordet AI väcker alltså inte nödvändigtvis samma starka reaktion hos en bred publik som hos teknikanvändare.

En lärdom är att vi faktiskt inte märker de flesta saker med ”Det här är AI”. Varje gång vi har testat det eller undersökt det har användarnas svar varit: ”Jag bryr mig inte särskilt mycket.” Det de bryr sig om, vilket låter uppenbart i efterhand, är vilket värde de får om de betalar. För oss handlar det om att man kan lära sig tala bättre.

Man kan förbättra sina samtalsfärdigheter. Om vi använder det för att beskriva funktionen fungerar det mycket bättre. Det är uppenbart i efterhand, men det var inte uppenbart för oss från början. Det budskap som fungerar bäst är att tala om vilket värde användarna får och vad de själva får ut av det om de betalar.

Hannah Clark: Jag har en teori om det här eftersom jag håller med om att det finns en viss brist på teknikkunskap hos vissa användargrupper. Jag tror också att det finns en viss AI-trötthet. Många är vana vid att AI-funktioner dyker upp i produkter de har använt länge, och de tillskriver dem ofta inget mervärde eftersom alla AI-funktioner inte nödvändigtvis ger en bättre användarupplevelse.

Jag tycker att det här generellt är en mycket klok lärdom: börja med vilket värde funktionen skapar. Många tänker ”AI, det ser jag överallt. Vad får jag ut av det? Kommer det faktiskt att förbättra min upplevelse av produkten?”

Cem Kansu: Det är precis vad vi har sett.

Det finns till och med en viss negativ klang kopplad till AI, antingen från produkter som har lagt till AI-funktioner som inte gör något särskilt, eller från alla de dumma chattbotar som har märkts som AI. Vissa uppfattar det till och med negativt: kommer AI att ta över världen? Vad kommer den att göra med mig?

Det uppfattas alltså inte alltid positivt. Men utöver det har vi sett att det återigen handlar om den direkta kopplingen: om jag betalar, vad får jag då? Om man enkelt kan förmedla det fungerar det oftast bättre.

Hannah Clark: Jag tycker att det är ett mycket klokt angreppssätt. Och det här är förstås bara min känsla. Jag är glad att ni har data som bekräftar den.

Vi ska prata lite om vad som blir nästa steg för Duolingo, eftersom det är en mycket spännande tid för er. Ni expanderar till bredare områden som matematik och musik. Jag önskar att det hade funnits när jag gick i gymnasiet. Vilka kriterier använder ni just nu för att bedöma om en ny produkt passar ert uppdrag och er kompetens, utifrån var ni befinner er som produkt?

Cem Kansu: Vi lär nu ut matematik och musik. Anledningen till att vi har bestämt oss för att expandera till matematik och musik kan jag börja med att beskriva utifrån kompetenser, eftersom det är enklare. Det Duolingo har gjort är att effektivt göra självstudier roliga. Vi har lagt till sådant som spel använder av underhållningsskäl eller som andra appar använder, men fått det att fungera för utbildning.

Vi har lagt till sviten, topplistan och uppdragssystem. Vi har gjort lektionerna korta och roliga. Inget av detta är specifikt för språk, så det kan tillämpas på många olika ämnen. Ett oändligt antal ämnen skulle kunna bli roligare. Anledningen till att vi valde matematik och musik bygger dock på två saker.

Skälen skiljer sig faktiskt åt. För det första: är marknaden tillräckligt stor? Om vi tillämpar allt vi har lärt oss och hjälper människor att lära sig de här ämnena riktigt bra, finns det då tillräcklig efterfrågan i världen för att investeringen ska löna sig? För matematik och musik är svaret ja.

Om man ser på antalet människor i världen som lär sig matematik och musik, eller vill lära sig matematik eller musik, är det mycket stort. Marknaden är alltså betydande. Det är det ena. Det andra är att kriterierna för att välja matematik och musik har varierat mellan ämnena.

Musik liknar redan språk mycket. Om man frågar den breda befolkningen om de önskar att de hade lärt sig mer musik eller tror att de vill lära sig mer musik, har många människor, precis som när det gäller språk, en efterfrågan i bakhuvudet: ”Jag önskar att jag hade lärt mig mer spanska. Jag önskar att jag hade lärt mig spela piano.” Men det är inte lättillgängligt.

Det tar många timmar att göra sådant, till exempel att bli flytande i ett språk eller lära sig spela piano, men efterfrågan finns. Det finns bara inget enkelt sätt att göra det. Musik liknar språk och vi trodde att vi kunde göra det enkelt och roligt. På det sättet skulle vi kunna ta oss an musik.

Matematik är lite annorlunda. Om man frågar den breda befolkningen tror jag inte att särskilt många skulle säga ”Jag önskar att jag höll på med matematik just nu”. Människor har snarare matteångest. Men precis som språk, särskilt för människor som lär sig engelska, har matematik verklig potential att förändra människors liv.

Om man lär sig matematik kan man förstå hur räntor fungerar och hur ekonomi fungerar. Man kan tillämpa det på sitt eget liv eller få ett bättre jobb. Att lära sig engelska fungerar på liknande sätt. Engelska kan hjälpa en att komma in på en bättre skola eller flytta till ett annat land.

Det öppnar möjligheter på samma sätt som matematik. Därför passade det verkligen in i Duolingo. Vi trodde också att vi med matematik kunde göra det vi gjorde med språk: utvidga själva marknaden. Ungefär 80 procent av Duolingos användare svarar i våra enkäter att de inte lärde sig något språk innan de började använda Duolingo.

Det visar sig alltså att många börjar lära sig språk tack vare Duolingo. Med vår enorma marknadsföring i sociala medier finns det många berättelser om människor som säger: ”Jag trodde att ni bara var en rolig uggla. Sedan insåg jag att det är en ganska bra app.”

Nu lär jag mig alltså ett språk. På vårt TikTok-konto gör vår maskot Duo väldigt tokiga och roliga saker. Många upptäcker Duolingo genom sina första möten med våra TikTok-videor. Kort sagt tror vi att vi med matematik kan utvidga marknaden och få fler människor i världen att bli entusiastiska över att lära sig matematik, på samma sätt som vi utvidgade marknaden för språkinlärning.

Musik handlar mer om att göra det enkelt och fånga upp en efterfrågan som redan finns. Det har varit vår vägledning för de här två ämnena. Med det sagt befinner vi oss fortfarande mycket tidigt i utvecklingen. Vi tror att det finns mycket mer att göra inom båda områdena, så vi kommer att arbeta betydligt mer med dem.

Hannah Clark: Jag är också förvånad över att matematik sker samtidigt som expansionen till musik. Jag håller med om att musik och språk liknar varandra mycket. Jag ser musik som ett slags språk där man lär sig reglerna för att kunna bryta mot dem i ett mer kreativt sammanhang. Matematik ser jag däremot som en samling olika färdigheter som kan tillämpas i olika sammanhang.

Jag är därför mycket nyfiken på hur ni närmar er utmaningen med matematik och matematikundervisning med hjälp av samma typ av forskning. Jag vet inte om ni använder samma lärdomar eller om det finns ett helt annat sätt att närma sig produktutveckling, nästan som om ni skapade en helt ny produktlinje.

Hur ser ni på utvecklingen av matteprodukten?

Cem Kansu: Det finns likheter och skillnader. Mycket av det vi har lärt oss om att göra lektioner roliga kan tillämpas på hur vi bygger mattekurser. De ska vara korta, roliga och innehålla flera interaktioner.

Man ska aldrig bara läsa innehåll passivt. Man ska alltid svara på frågor. Den här podden skulle kunna vara interaktiv. Alla principer och allt vi har lärt oss om att bygga en lektion fungerar ganska bra för matematik. Det som faktiskt skiljer sig är hur vi bygger innehållet. Vi bygger innehåll som i allmänhet lär ut matematik för grundskola och gymnasium, men vi försöker göra innehållet mer verklighetsnära och roligare.

Innehållet finns redan i världen. Man kan ta en mattebok och hitta det där. Men vi försöker ta innehållet och göra det mycket mer verklighetsnära och roligt. I stället för att bara be dig räkna ut två gånger tre kanske vi ger dig ett litet pussel där en av våra figurer säger: ”Jag köpte två påsar äpplen. Var och en väger tre kilo. Hur mycket måste jag bära?”

Matematiken är alltså egentligen inte annorlunda, men vi försöker lägga till ett verklighetslager och göra den roligare och mer användbar för allmänheten. Det är en satsning. Vi får se om den fungerar, men just nu ligger den stora innovationen där: att ta läroboksinnehåll och omvandla det till ett mycket roligare format som vi har skapat.

Det är där en stor del av vårt arbete har legat.

Hannah Clark: Det är verkligen fascinerande. Jag hoppas verkligen att det fungerar för er, eftersom det definitivt är ett problem. Jag kan av egen erfarenhet säga att det inte finns många bra lösningar just nu.

Vi börjar få slut på tid. Men jag ville snabbt beröra några trender och utmaningar inom utbildningsteknik eftersom vi ändå är inne på ämnet.

Vad tror du kommer att forma nästa tillväxtfas för Duolingo när det gäller trender i världen och branschen i stort?

Cem Kansu: Vi har redan pratat om de två saker som vi tror kommer att förändra oss. Den ena är att Duolingo fortfarande främst är känt som språkappen.

Men vi vill gå från att vara språkappen till att åtminstone vara språkappen, matteappen och musikappen. Hur lyckas vi bli en bredare plattform där man lär sig alla de här ämnena? Vi befinner oss tidigt i den processen och gör stora framsteg, men om vi blickar tre år framåt är det dit vi vill ta Duolingo.

Den andra saken är att stora språkmodeller har öppnat ett enormt användningsområde för oss: möjligheten att öva på språk. Ett annat användningsområde är innehållsskapande. Nu använder vi stora språkmodeller för mycket av kursinnehållet, vilket ger oss högre hastighet när vi skapar nya språkkurser. Hur kan vi dra nytta av stora språkmodeller för att göra Duolingo ännu effektivare, bygga fler interaktiva funktioner som använder dem och göra hela företaget effektivare?

Det är vad jag skulle säga om trenderna. De största trenderna vi satsar på är dels expansion bortom språk, dels att se till att vi kan dra nytta av stora språkmodeller för funktioner, processer, innehållsskapande och allt som hjälper Duolingo att fungera bättre.

Den tredje saken är avancerade engelskelever. Om man ser på språkinlärning är avancerade engelskelever en mycket specifik grupp, men faktiskt den största gruppen språkinlärare i världen. Duolingos produktutbud har dock varit svagt för avancerade engelskelever. Med videosamtal och mycket nytt innehåll försöker vi förbättra Duolingo.

Förhoppningsvis gör vi framsteg och lyckas där. Men det här är våra tre största produktsatsningar.

Hannah Clark: Väldigt häftigt och spännande. Jag tror att många lyssnar eftersom de älskar Duolingo som varumärke och produkt. Vi håller alltså alla tummarna för er, även om ni egentligen inte behöver vår hjälp.

Men tack så mycket för att du var med oss, Cem. Var kan människor följa ditt arbete på nätet?

Cem Kansu: Jag finns på LinkedIn och Twitter. Mitt användarnamn är mitt för- och efternamn. Det är alltså Cem och sedan Kansu.

Hannah Clark: Fantastiskt. Tack så mycket för att du var med. Det här har varit ett fantastiskt samtal.

Cem Kansu: Tack, Hannah. Tack för att jag fick komma.

Hannah Clark: Tack för att ni lyssnade. För fler bra insikter, guider och verktygsrecensioner kan ni prenumerera på vårt nyhetsbrev på theproductmanager.com/subscribe. Du kan höra fler samtal som det här genom att prenumerera på The CPO Club, var du än får dina poddar.