Duolingos produktchef giver en mesterklasse i produktindtjening

Læs transskriptionen:

Vi afprøver transskription af vores podcasts ved hjælp af et softwareprogram. Tilgiv venligst eventuelle stavefejl, da botten ikke er korrekt 100 % af tiden.

Hannah Clark: Jeg tror, vi alle kan blive enige om, at vores beslutninger grundlæggende handler om, hvordan vi kan gøre vores produkter værdifulde for vores kunder. Men i dag vil vi fokusere lidt mere på den “værdifulde” del … altså hvordan vores produkter kan tjene penge. Vi ved, at vi skal være profitable, men vejen mellem vores produkt og en sund ARR er ikke ligefrem en lige linje. Det er naturligvis afgørende at gøre det rigtigt, men der er mange forskellige måder at nå dertil på – og det er præcis derfor, denne samtale er så interessant.

Min gæst i dag er Cem Kansu, produktchef hos Duolingo, og jeg kunne ikke have bedt julemanden om et bedre eksempel på et produkt med høj værdi og en utrolig gennemtænkt tilgang til indtjening. Du kommer til at lære, hvad der har og ikke har fungeret for Duolingo gennem årene, finde ud af, hvad Premium-fælden er, og hvordan man undgår den, samt høre, hvordan introduktionen af generativ kunstig intelligens har påvirket deres prisstrategi i dag. Venner, denne samtale var så spændende, engagerende og fyldt med konkrete læringspunkter, at den grundlæggende er Duolingo for produktindtjening. Lad os komme i gang.

Velkommen tilbage til podcasten CPO-klubben, allesammen. I dag er jeg her sammen med Cem Kansu. Vi er så beærede over at have ham med.

Cem, tak fordi du vil være med.

Cem Kansu: Tak, fordi I inviterede mig. Det er dejligt at være her.

Hannah Clark: Ja. Kan du fortælle os lidt om din baggrund, og hvordan du er nået dertil, hvor du er i dag hos Duolingo?

Cem Kansu: Selvfølgelig. Jeg kom til Duolingo for otte et halvt år siden, hvilket føles vanvittigt at sige højt, men tiden flyver, når man har det sjovt. Jeg kom til Duolingo i 2016 og arbejdede med indtjening i omkring de første fem, fem et halvt år af min ansættelse. For os handler indtjening om, at jeg har arbejdet med at opbygge vores forretningsområder, som omfatter annoncer, køb i appen og abonnementer. De seneste tre år har jeg været produktchef her hos Duolingo.

Jeg leder produktledelsesteamet, og vi har omkring 40 produktchefer i virksomheden. Jeg bruger også en stor del af min dag på mange af de produktbeslutninger, vi ender med at træffe. Før Duolingo gik jeg på handelshøjskole. Før det var jeg hos Google i omkring fire år. Og endnu tidligere kommer jeg oprindeligt fra Tyrkiet, hvor jeg tog en del af min skolegang.

Hannah Clark: Wow. Arbejdede du hos Google, før du gik på universitetet?

Cem Kansu: Nej. Før videreuddannelsen, før handelshøjskolen.

Hannah Clark: Okay. Jeg tænkte, at du måtte have været noget af et vidunderbarn.

Uanset hvad er det en god overgang, for i dag skal vi tale om indtjening, hvilket er noget, vi overraskende nok ikke taler nok om i dette program. Vi taler meget om udvikling. Vi taler meget om research. Vi taler ikke særlig meget om, hvordan man tjener penge.

Lad os starte med et generelt spørgsmål. Hvad ser du som den største udfordring med hensyn til indtjening, som produktteams står over for på markedet lige nu? Hvordan har I håndteret det hos Duolingo?

Cem Kansu: Det er et godt spørgsmål. For det første handler det om at finde den bedste model til at tjene penge på sit produkt. Hvis din app henvender sig til virksomheder, vælger du en anden tilgang end med forbrugere. Jeg kan tale meget mere om forbrugere. Det er dér, jeg faktisk har tilbragt det meste af min karriere.

Når man tænker på indtjening fra forbrugere, plejede det at være sådan, tror jeg i de tidlige dage med sociale medie-apps som Facebook, at den gængse visdom var: Få brugere, så kan du finde ud af, hvordan du tjener penge senere. For hvis du kan nå en massiv brugerbase, kan du nok finde på noget. Det var visdommen. Jeg tror, at den generelle opfattelse nu har ændret sig til, at man skal vise, hvordan man kan tjene penge tidligere i sin livscyklus. At tjene penge og vokse samtidig er blevet et mere almindeligt råd til startups i dag, især startups rettet mod forbrugere.

Duolingos rejse har været ret interessant. Duolingo startede i 2011. Dengang var det stadig sådan, at investorer eller kloge mennesker sagde, at man bare skulle skaffe brugere, og så ville man finde ud af resten senere. Duolingo fulgte for det meste denne filosofi: Lad os vokse vores brugerbase, finde produkt-marked-match, og så kan vi finde ud af, hvordan vi tjener penge senere.

Duolingo havde også selv en meget omfattende plan for indtjening. Vores grundlægger og administrerende direktør, Luis, var grundlæggeren af CAPTCHA. Jeg ved ikke, om alle her kender CAPTCHA, men det er de forvredne bogstaver, man indtaster på en hjemmeside. Ideen med CAPTCHA var, at man samtidig kunne crowdsourcere digitaliseringen af bøger.

Hvert forvredet bogstav, man indtastede, blev crowdsourcet til at få scannede billeder af bøger genkendt som digitale ord. Luis havde altså været pioner inden for denne form for crowdsourcet bogdigitalisering med CAPTCHA. Hans idé med Duolingo var noget lignende: Når brugerne lærte sproget og for eksempel lavede spanskøvelser, skulle de oversætte engelske artikler til spansk stykke for stykke.

Derefter ville Duolingo sælge en oversættelsestjeneste til dem, der havde brug for den. Problemet med den forretningsmodel var for det første, at hvis man bare er ved at lære et sprog, er ens oversættelseskvalitet dårlig. Man ender derfor typisk med at have brug for enten en tredjepart eller en anden tjeneste til at forbedre oversættelseskvaliteten.

Det andet problem er, at oversættelse er en branche, hvor priserne presses i bund. Man konkurrerer hele tiden om en lavere pris. Man gør det måske for 2 dollars pr. artikel, en anden i Filippinerne gør det for 1 dollar pr. artikel, og så bliver det altid en kamp om at presse prisen ned. Set i bakspejlet ville det have været en ret dårlig forretningsmodel med store sprogmodeller.

Jeg tror også, at oversættelse på nuværende tidspunkt næsten er øjeblikkelig. Den korte version er, at Duolingo havde opgivet denne forretningsmodel, da jeg kom til, og arbejdede på at finde det næste. Vi arbejdede med en freemium-model, fordi den passede til det, vores produkt stod for, og det gav god mening for os både på grund af vores mission og vores produkt: adgang til uddannelse.

Vi ønskede aldrig at låse al vores uddannelsesmæssige værdi inde bag en betalingsmur. Og for at vende tilbage til dit tidligere spørgsmål tror jeg, at det er noget, apps ofte kæmper med: Hvor meget skal man tilbyde gratis, og hvor meget skal man placere bag betaling? Det kan være en engangsbetaling eller en tilbagevendende betaling som et abonnement. Vi besluttede ud fra både vores værdier og virksomhedens mission, at den uddannelsesmæssige værdi skulle være helt gratis.

Alt fransk indhold, man kan få adgang til, er derfor det samme, uanset om man betaler eller bruger den gratis version. De ekstra funktioner, såsom at fjerne annoncer eller få adgang til flere liv, når man gennemfører lektioner, er derimod betalingsfunktioner.

Det var det, vi startede med, og det har været vores forretningsmodel de seneste otte år. Jeg tror igen, at det besvarer dit oprindelige spørgsmål om, hvad apps står over for. En af de vigtigste beslutninger er, om man skal tilbyde en del af appen gratis, og i så fald hvilke dele. Den afgørende faktor er, at det, man tilbyder gratis, på sigt bør hjælpe med at skabe vækst.

For Duolingo betyder det, at når vi tilbyder den mest værdifulde del af appen – at man kan lære et sprog eller lære matematik og musik gratis – hjælper det med at opbygge et organisk svinghjul. Hvis man bruger det og kan lide det, fortæller man sine venner om det. Hvis alt er betalingsbaseret, får de fleste slet ikke adgang til det og fortæller ikke deres venner om det. Så opbygges det organiske svinghjul ikke. Hvis man bygger et komplet premiumprodukt, er man nødt til at opbygge en betalt markedsføringsmaskine, fordi produktet skal vokse, og man ender med at skulle bruge meget på markedsføring for at vokse. Det er ikke nødvendigvis dårligt, men det er en helt anden forretningsmodel.

Hannah Clark: Jeg tror, at meget af samtalen om prissætning og indtjening handler om denne meget følsomme balance på mange forskellige niveauer.

Men jeg vil gerne tale lidt om Premium-fælden, nu hvor vi taler om premium og om at finde den balance.

Kan du først gennemgå konceptet Premium-fælden for os, og hvordan Duolingo har formået at undgå den, samtidig med at I har øget brugerbasen og omsætningen?

Cem Kansu: Helt sikkert. Premium-fælden er, tror jeg – jeg ved ikke, om det er et almindeligt udtryk – men vi bruger det meget hos Duolingo til at beskrive den dynamik, som mange uddannelsesapps helt ærligt ender i. Jeg bruger Duolingo som eksempel, fordi det er nemmere for mig at tale om. Vi har eksisteret som produkt i 11, næsten 12 år.

I løbet af de 12 år har vi set mange konkurrenter forsøge at gøre præcis det samme som Duolingo, med én afgørende forskel: De gør hele appen til et premiumprodukt. Det foregår typisk sådan, at nogen begynder at gøre noget, der minder meget om Duolingo. De underviser i et emne, for eksempel et sprog, matematik eller musik.

Der findes mange uddannelsesprodukter. De starter enten helt betalingsbaseret eller gratis, men så er det ret svært at opbygge et organisk svinghjul. Meget hurtigt når disse apps frem til erkendelsen af, at hvis vi gør det hele betalingsbaseret, kan vi tjene penge. Og hvis vi tjener penge, kan vi bruge dem på markedsføring og opbygge en løkke, hvor vi, hvis kundens livstidsværdi er højere end anskaffelsesomkostningen, kan opbygge et svinghjul: Man bruger penge på markedsføring, skaffer abonnenter og bruger de penge på mere markedsføring. Det er matematisk set en fornuftig strategi. Det kan man godt gøre, men der er to ting, der sker med virksomheder, som typisk vælger denne forretningsmodel. Det er fældedelen.

For det første begynder man at bruge en stor del af sin indsats på markedsføring. Al vækst kommer reelt fra betalt markedsføring. Man bruger sin tid, ledelsens kapacitet eller sine faktiske penge i banken på markedsføring i stedet for at bygge et fremragende produkt.

Hele virksomhedens fokus bliver derfor mere rettet mod markedsføring og anskaffelse af brugere end mod at bygge fremragende produkter. Og inden for uddannelse er den virkelig svære del, som vi i hvert fald har lært, at skabe en engagerende oplevelse og tage et uddannelsesmæssigt emne og gøre det spændende, sjovt og sjovt at bruge.

Hvis man ikke bruger en stor indsats på det, sakker man helt sikkert bagud i forhold til, hvad alle andre gør, eller hvor uddannelse bør bevæge sig hen. Det er fælde nummer ét. Fælde nummer to er, at når man først er kommet ind i dette svinghjul, og lad os sige, at man bygger en omsætningsbase, der drives af betalt markedsføring, så er det næsten umuligt at træde ud. Man kan ikke uden videre sige: Lad os flytte nogle af de vigtigste funktioner, som vi ved, folk betaler for, og gøre dem gratis, så det også hjælper os med at opbygge et organisk svinghjul. For så sænker man væksten, og det er meget svært at gennemleve en periode med langsom vækst for at gå fra tung betalt markedsføring til gratis adgang.

Det omvendte er langt mere almindeligt, hvor mange apps starter helt gratis eller som freemium. Så opdager de, at de ikke er tålmodige, eller at de vil vokse mere. De begynder at investere i betalt markedsføring, men den betalte markedsføring skal give resultater gennem betalende brugere, fordi det er det positive omsætningssvinghjul.

Det er en del af Premium-fælden: Hvis man skaber en premium-app, og al ens vækst kun kommer fra betalt markedsføring, er det meget svært at komme ud af fælden og samtidig opbygge en skalerbar vækstmodel, der drives af organisk vækst. Vores synspunkt har i hvert fald været, at organisk vækst naturligvis er svær at kontrollere, fordi man ikke styrer den gennem annonceforbrug, men den er også helt åbenlyst meget billig, fordi den teknisk set er gratis.

Derfor har vi satset på at gøre funktionerne gratis og fremragende, så vores brugere altid fortæller deres venner om dem, og det skaber denne form for organisk svinghjul.

Hannah Clark: Ja, jeg er også tilbøjelig til at være enig i den tilgang. Hvis man tænker på produktet som en fest: Hvis man holder en fantastisk fest, ringer folk til deres venner og siger, at de skal komme.

Men hvis man bruger en masse penge på at hænge plakater op og sige, at festen er fantastisk, og der så ikke er nogen mad, og musikken er kedelig, inviterer man folk til et sted, hvor der reelt ikke sker noget. Så bliver pengene spildt, ikke?

Cem Kansu: Jo.

Hannah Clark: Det var bare en analogi. Men ja, jeg er helt på linje med jeres tilgang. Og jeg synes, det er en virkelig god indsigt.

Hvis vi går lidt mere i dybden med freemium-modellen, tror jeg, at det er en del af forklaringen på, hvorfor Duolingo har haft så stor succes: I har virkelig ramt balancen i freemium-området. I forstår jeres brugerbase og har skabt et meget overbevisende produkt.

Næsten alle, jeg kender, som bruger Duolingo, siger, at det virkelig er den eneste app til sprogindlæring, de faktisk har holdt fast i. Jeg bliver ikke engang betalt for at sige det. Det er virkelig sandt. Hvilke strategier har vist sig mest effektive til at bevare den gratis adgang og sikre, at folk kan få adgang til al den værdi gratis, samtidig med at I tilskynder brugerne til at opgradere til premium?

Cem Kansu: Der er et par ting. Lad mig se. Den ene handler om, hvordan man fastsætter retningslinjer og rammer for hele virksomheden: En gratis bruger og en betalende bruger skal altid kunne lære den samme mængde fransk. Det betyder, at en gratis bruger ikke skal have et andet indhold end den betalende bruger. Indholdet skal ikke være det, der adskiller betalingsniveauerne.

Det er en holdning, vi har haft, fordi vi altid har indset, at hvis man giver gratis brugere en omfattende og god uddannelsesoplevelse, vil de enten fortælle deres venner om den, hvilket hjælper med at skabe vækst, eller blive ved produktet i meget længere tid og måske beslutte sig for at opgradere til abonnementet tre år senere.

Det skaber langsigtede vaner meget lettere. Det har været det vejledende princip og én strategi. Man styrer sin produktretning på en måde, hvor der findes en hellig ko: Uddannelsesindhold må ikke placeres bag betalingsmuren. Det har vi holdt fast i, og det har hjulpet os med at opbygge en ret stor brugerbase fra begyndelsen.

Den anden ting er at bruge A/B-test og data til sin fordel for at beslutte, hvilke funktioner der hjælper vækst, og hvilke der hjælper indtjening. Hvis der er en tydelig opdeling – lad os tage en funktion, vi har. Ranglister er en funktion, vi har. Forestil dig, at du står ved det punkt, hvor funktionen skal defineres, og du skal beslutte, om den skal være en betalingsfunktion.

Den kunne være en betalingsfunktion. Det er ikke rigtigt uddannelsesindhold, og det passer med jeres værdier. Eller den kunne være gratis. Men hvad gavner mest? Hvis den er gratis, hjælper det så mere på brugervæksten? Eller hjælper det mere på omsætningen, hvis den er en betalingsfunktion? Man kan bruge sin bedste dømmekraft, eller man kan teste det og se, hvad der sker.

For os har synspunktet naturligvis været, at sociale funktioner som ranglister, hvor man interagerer med andre brugere, får langt mere ud af et større antal brugere, så vi gjorde dem tilgængelige for alle. For nichefunktioner, som for eksempel vores funktion til tilpasset øvelse, gav det mere mening at tjene penge på dem, fordi de er meget specifikke.

De fleste brugere ønsker eller har ikke brug for funktionen, men de brugere, der har brug for den, er villige til at betale. Og hvis man ikke tilbyder den, mister man ikke nogen uddannelsesmæssig værdi. Vi kalder det Øvelsescenteret. Vi besluttede at gøre det til en betalingsfunktion. Den korte version er, at når man tilføjer værdi til produktet med en ny funktion, skal man beslutte, hvilke målepunkter der påvirkes mest af funktionen. Hvis det er vækst, skal man bestemt ikke tjene penge på den, for så ønsker man, at brugerbasen vokser med den.

Jeg vil sige, at den tredje ting er at få alle i virksomheden til at være enige om strategien. Er vi et premiumprodukt, hvor alt kan gøres til en betalingsfunktion, eller er der hellige køer, der aldrig bør gøres til betalingsfunktioner? Det går tilbage til mit første punkt, men det hjælper virkelig. Især i en organisation i vækst er det vigtigt at være enige om, hvor man skal eksperimentere. Kan man eksperimentere med at gøre hele appen betalingsbaseret, eller er det et eksperiment, man aldrig bør gennemføre?

Så jeg tror, at det også virkelig hjælper at være enige om, hvad der – i mangel af et bedre udtryk – er helligt, og hvad der ikke er.

Hannah Clark: Ja. Jeg synes, det er virkelig vigtigt for at etablere fælles værdier. Og jeg er glad for, at du nævnte A/B-test, for jeg er nysgerrig efter at høre, hvordan det passer ind i jeres tilgang.

Kan du dele nogle indsigter eller opdagelser, som I har fået gennem jeres A/B-test omkring indtjening og fastholdelse?

Cem Kansu: Ja. Vi gennemfører mange A/B-test. I løbet af et kvartal gennemfører vi nu mere end 300 A/B-test på Duolingo, bare for at give en fornemmelse af omfanget. De fleste opdager det ikke, når de åbner appen. Den er designet til at se meget enkel ud, og det er den også, men vi gennemfører mange A/B-test.

De spænder fra måske at ændre den blå nuance på en knap, man trykker på, så den bliver lidt lysere, til noget så drastisk som en omfattende redesign af hele vores startside. Alt tæller som en A/B-test. Hver ændring, vi laver, udsættes for en A/B-test, fordi data kan fortælle os bedre end vores intuition, hvad ændringen gør.

Hvilke indsigter eller opdagelser har vi fået? Det er en meget lang liste, så jeg vil måske give en slags brainstorm med forskellige ting, vi har set. En af de ting, vi har set, især fordi vi er et produkt, der balancerer læring med engagement, er, at der findes et optimalt punkt for, hvor svær eller let man gør en lektion.

Det viser sig, at vi har afprøvet mange forskellige yderpunkter. Vi har prøvet at gøre indholdet lettere og lettere, og vi har prøvet at gøre det sværere og sværere. I gennemsnit vil brugerne gerne svare rigtigt på 80 % af spørgsmålene. Det er omtrent det optimale punkt. Hvis nogen svarer rigtigt på 100 % af svarene, stopper de med at bruge appen, fordi de synes, den er for nem.

Hvis de svarer rigtigt på 30 % af spørgsmålene, føler de, at de ikke klarer sig godt, eller at indholdet eller appen ikke er noget for dem. Der er altså et optimalt punkt. 80 % er ikke præcist, men vi har lært, at dette interval fungerer godt til at balancere fastholdelse og opbygning af en vane, så eleverne vender tilbage næste dag, og brugerne forbliver engagerede.

En anden indsigt er, at det gør en enorm forskel, hvis man forsøger at sælge et betalingsprodukt til folk. Vi har to abonnementsprodukter, Super Duolingo og Duolingo Max, og det betyder meget, hvordan man taler om dem, og hvordan man præsenterer dem. Mange abonnementskøb, især i freemium-produkter, er følelsesmæssige køb.

Derfor kan man teste meget for at finde ud af, hvad der virker, og få en bruger overbevist om at købe produktet. Det kommer måske ikke som nogen overraskelse, men det er vigtigt at optimere, hvordan man præsenterer en abonnementsopgradering. Vi har arbejdet med det i otte år, siden vi lancerede vores abonnement, og vi finder stadig mange nye måder at få brugerne til at opgradere på.

Det er for eksempel en rigtig god idé at give brugerne en prøv-og-køb-oplevelse, hvor man giver dem mulighed for at prøve abonnementet i tre dage og derefter beder dem om at starte en gratis prøveperiode. Det fungerer meget bedre end bare at sige: Start en gratis prøveperiode. På købsknappen giver teksten “Prøv gratis i syv dage” en vis effekt.

Men hvis man skriver “Prøv for 0 dollars”, klarer det sig mærkeligt nok meget bedre. Hvis man har et tilbud, og man skriver “Sidste chance”, når der rent faktisk er tale om en sidste chance, fordi tilbuddet snart forsvinder, stiger klikraten voldsomt sammenlignet med ikke at skrive det. Der er en meget længere liste over ting, vi har testet og lært, men min vigtigste konklusion er, at der er meget at gøre for at finde ud af, hvad der virker i ens produkt, når man vil have brugerne til at opgradere til et abonnement.

Den sidste læring, vi har gjort os, og som vi ærligt talt stadig forsøger at forstå, handler om, at man også kan A/B-teste for meget og ende i en lokal maksimumsfælde. Når man har virkelig gode værktøjer, og alle produktteams er dygtige til at gennemføre A/B-test, kan man nemt falde i den fælde, at man kun tester små, trinvise ændringer.

Selv tallet, jeg nævner, lyder imponerende: Vi har gennemført 100 A/B-test. Men hvis alt, man har testet, er knapfarven eller meget små ændringer pixel for pixel, tester man aldrig en helt anderledes, forestillet version af funktionen.

Teams kan nogle gange blive belønnet, fordi de får enkelte sejre. De gennemfører mange A/B-test, og det føles godt at have en høj volumen. Men hvis man træder et skridt tilbage og spørger: Hvad nu, hvis vi fjernede hele denne skærm og gjorde noget helt andet? Så viser det sig nogle gange, at det er dobbelt så godt, men man når aldrig dertil, fordi man altid tester trinvist.

Så det er en læring at undgå fælden med trinvise test. Jeg tror ikke, vi helt har fundet ud af, hvordan vi skal handle på den, men når vi ser den, siger vi: Vi har A/B-testet os alt for langt ind i et lokalt maksimum. Det er måske den tredje ting, jeg vil fremhæve.

Hannah Clark: Det er en interessant pointe. Vi har tidligere i en paneldebat talt lidt om, hvordan en junior eller praktikant opfatter, at noget er færdigt, sammenlignet med hvordan en erfaren produktchef opfatter det. Den ene ser noget som afsluttet, mens den anden leder efter indsigter eller efter, hvilken værdi eller effekt det færdige arbejde skaber.

Jeg ser det som lidt analogt med det. Gennemfører vi A/B-test for at kunne sige, at vi gennemførte 300 A/B-test i år? Eller gennemfører vi A/B-test for at finde ud af, hvilke risici vi kan tage, og få en bedre fornemmelse af brugernes reaktioner i stedet for blot at finjustere ting, hvor afkastet er faldende?

Cem Kansu: Præcis. Det andet eksempel er, om det er bedre at gennemføre 300 A/B-test og få forbedringer på nogle få procentpoint, eller at gennemføre én stor test, der måske faktisk giver en forbedring på 50 %. Det er svært at beslutte i øjeblikket. Set i bakspejlet kan man let sige, at 50 % er bedst, men i øjeblikket føles det sikrere at gennemføre de 300 test og få nogle få procentpoint.

Men som du siger, bliver faldende afkast problemet.

Hannah Clark: Ja. Hver af disse test vil, selv hvis der kommer en læring ud af dem, stadig koste penge at gennemføre.

Cem Kansu: Ja.

Hannah Clark: De var virkelig værdifulde. Jeg sætter stor pris på, at du delte dem.

Webdesignere, denne er til jer. Jeg har 30 sekunder til at fortælle jer om Wix Studio, webplatformen til bureauer og virksomheder. Her er fire ting, du kan gøre på 30 sekunder eller mindre i Studio. Tilpas dine designs til alle enheder med responsiv kunstig intelligens. Genbrug aktiver som skabeloner, widgets, sektioner og designbiblioteker på tværs af websites, og del dem med dit team. Tilføj animationer uden kode og gradientbaggrunde direkte i editoren. Og eksporter dine designs fra Figma til Wix Studio med et enkelt klik. Tiden er gået, men listen fortsætter. Gå i gang med Wix Studio, og se selv.

Lad os skifte lidt over til at tale om prisstrategi.

Du talte lidt om, hvordan tingene har udviklet sig over tid. Når vi ser på den nuværende version af prisstrategien, hvor I har forskellige betalingsniveauer og et gratis niveau, hvilke faktorer har så påvirket, hvordan funktionerne prissættes i dag, og hvordan I differentierer mellem de forskellige betalingsprodukter, I tilbyder?

Cem Kansu: Vores prisstrategi har hovedsageligt udviklet sig gennem udviklingen af vores pakker. Duolingo har stort set altid haft et abonnementsprodukt de seneste otte år. Men det, der er sket over tid, er for det første, at vores første lancering hed Plus Duolingo, hvorefter vi til sidst omdøbte det til Super Duolingo.

Det lød som et bedre navn. Vi gennemførte også et stort redesign af produktet, og vi lancerede en familiepakke. Den kom til et andet prispunkt og var næsten 50 % dyrere end at købe individuelt. Det var en god aftale for gruppeplaner. Det var den første udvikling. Derefter lancerede vi vores højere niveau, Duolingo Max.

Det var for omkring to år siden. Det koster næsten det dobbelte af Super Duolingo. Man får ekstra funktioner, der bruger meget generativ kunstig intelligens til at give mulighed for samtaleøvelse. Det har været den anden fase i vores udvikling, fordi forskellige pakker til forskellige mennesker naturligvis ændrer dynamikken for pris og anvendelse.

Personer med større tilbøjelighed og større mulighed for at betale vælger måske Duolingo Max, mens en gruppe måske vælger familieplanen. Vi har også for nylig lanceret en studieplan. Vores tilbud er altså blevet ret segmenterede. Den måde, vi nåede frem til de rigtige prispunkter på, var ærligt talt primært gennem A/B-test.

Det, vi har lært, er, at vi har prøvet mange forskellige ting for at undgå at skulle A/B-teste priser, fordi A/B-test af priser er en vanskelig disciplin. Selv hvis man har fuld mulighed for at gennemføre A/B-test – og det har vi teknisk set – har det en omkostning. Vi har for eksempel ingen kontraktlige aftaler med tredjepartsindhold, der kræver, at vores priser skal ligge på et bestemt niveau.

Vi kan derfor teknisk set tilbyde hvad som helst til hvilken som helst pris. Men det koster at gennemføre A/B-test. Vi har eksempelvis forsøgt at spørge brugerne gennem undersøgelser. Vi har forsøgt at lave både kvalitativ og kvantitativ research. Vi har prøvet det, man kan kalde en falsk dør-test, hvor man får folk til at klikke på en bestemt pris, men der ikke er noget at købe på den anden side.

Man siger: Dette produkt er faktisk ikke lanceret endnu. Ingen af disse metoder har efter min mening givet et stærkt signal om pris, medmindre man ser på meget forskellige priser, for eksempel om noget skal koste 5 eller 100 dollars. Så kan man måske få et groft signal. Men hvis man vil teste, om årsabonnementet skal koste 80, 85 eller 90 dollars, har vi aldrig kunnet få et godt signal uden for A/B-test.

Vi har derfor til sidst A/B-testet alle vores priser frem til det, de er nu. Det har ført til de nuværende priser. Fremover tror jeg, at denne tilgang vil holde. Købsadfærden for en premium-app afhænger i høj grad af, hvordan den præsenteres i appen, hvad købsøjeblikket ser ud som, og hvad brugeren oplevede lige før købsoplevelsen.

Det er derfor, vi har haft så svært ved at genskabe de samme resultater fra A/B-test i vores research. Researchen spørger typisk: Ville du købe disse funktioner til denne pris? Mange af vores køb er følelsesmæssige. Man har for eksempel gennemført en lektion og er virkelig begejstret. Man havde den perfekte lektion på Duolingo og tænker måske: Ved du hvad? Jeg elsker denne app. Jeg køber bare deres abonnement. Det kan en undersøgelse ikke rigtig genskabe. Det er derfor, vi har set A/B-test som den vigtigste metode til at fastsætte priser.

Hannah Clark: Det er en virkelig vigtig pointe. Når vi taler om de indsigter, man kan få fra købsadfærd, er den meget forskellig fra den sindstilstand, brugerne befinder sig i, når man interviewer dem. Under interviews vil folk gerne vise deres bedste side.

De tænker rationelt over, hvad de bør gøre. Det er meget anderledes end købsadfærden i øjeblikket, hvor man faktisk har det følelsesmæssige momentum til at trykke på abonnements­knappen. Det kan jeg virkelig godt forstå.

Men jeg vil gerne tale lidt mere om kunstig intelligens, for du nævnte, at I i øjeblikket bruger generative AI-funktioner som et værktøj til samtaleøvelse, hvilket jeg synes er virkelig spændende. Det er en innovativ måde at bruge generativ kunstig intelligens på. Hvordan balancerer I omkostningerne ved en sådan innovation med at fastsætte en pris, som brugerne synes er rimelig for Duolingo Max?

Cem Kansu: Hovedfunktionen i Duolingo Max er det, vi kalder Videoopkald med Lily. Lily er en af vores figurer.

Vi har flere figurer, der optræder gennem dine Duolingo-lektioner. Et videoopkald med Lily er præcis, hvad navnet antyder. Du ringer til Lily for at øve spansk eller et andet sprog, du er ved at lære. Den store fordel er, at vi tilpasser hele det spansk-niveau, hun taler med dig på, til dit spansk-niveau.

Da vi kender hvert ord, du har lært på Duolingo, vil hun typisk bruge disse ord mindst 89 % af tiden. 10 % af tiden vil hun introducere nogle nye ord, men hun taler til dig på dit spansk-niveau. Det bliver derfor en perfekt samtaleøvelse.

Anvendelsen har været rigtig god. Vi vil fortsætte med at investere meget i denne type interaktive samtalefunktioner til Duolingo Max, der bruger generativ kunstig intelligens. Når vi skal prissætte funktionerne, er en ny dynamik for os, at der er en omkostning, fordi det i dag er ret dyrt at foretage forespørgsler til store sprogmodeller.

Vi indregner en gennemsnitlig omkostning baseret på det gennemsnitlige forbrug, fordi vi sælger et abonnementsprodukt, som brugerne betaler for enten hver måned eller hvert år. Vi skal finde ud af, om enhedsøkonomien er sund. Vi estimerer omkostningen baseret på, hvad vi ender med at betale for disse forespørgsler til store sprogmodeller.

Vi prissætter naturligvis produktet højere end det. På den måde har vi i det mindste ikke negativ enhedsøkonomi. Ud over at beslutte det rigtige prispunkt – som efter bedste evne skal ligge over omkostningen – forsøger vi at finde ud af, hvor efterspørgslen ligger. Her hjælper A/B-test virkelig med at finde ud af, hvor efterspørgslen er.

For os er efterspørgslen også forankret i Super. Vi tilbyder Max som den mere AI-tunge pakke og Super som vores grundabonnement. Skal Max koste det dobbelte af Super? Er det dér, efterspørgslen ligger? Skal det koste 50 % mere? Derefter A/B-tester vi, hvor den største efterspørgsel ligger, og fastsætter den endelige pris.

Hannah Clark: Vi har talt meget om, hvordan præsentationen af bestemte funktioner virkelig kan påvirke, hvordan folk opfatter værdien og deres betalingsvillighed, og hvordan man kan bruge den følelsesmæssige udløser til at hjælpe folk gennem salgstragten.

Hvilket sprog bruger I omkring kunstig intelligens, og har I bemærket noget – eller har I måske gennemført A/B-test af bestemte måder at positionere en AI-funktion på – for at tilskynde folk til at opgradere deres abonnement?

Cem Kansu: Ja, vi har gennemført en del research for at finde ud af, hvordan vi skal kommunikere funktionens værdi, og der er mange måder at gøre det på. For eksempel med vores funktion Videoopkald med Lily: Er det bedre at tale om Lily? Er det bedre at tale om samtaleøvelse? Er det bedre at nævne, at det er generativ kunstig intelligens i verdensklasse?

Der er mange måder at præsentere den samme funktion på. Både gennem research og A/B-test har vi faktisk set, at budskaber om AI resonerer mindst. Når vi mærker AI som: Her er en ny AI-ting, bliver vi, selv om der er meget hype, mindet om virkeligheden. I teknologikredse og produktledelseskredse er AI måske en attraktiv overskrift, men det er ikke nødvendigvis tilfældet, hvis man ser på hele Duolingos brugerbase, som er meget global.

Kun 20 % af vores brugere er i USA, mens 80 % er andre steder i verden, og deres teknologiforståelse er naturligvis ikke den samme som hos folk, der arbejder med teknologi. Ordet AI vækker derfor ikke nødvendigvis den samme stærke reaktion hos dem, som det måske gør hos teknologipublikummet. En læring er, at vi faktisk ikke mærker de fleste ting som: Dette er AI. Hver gang vi har testet det eller undersøgt det, var brugerreaktionen: Det er jeg ikke særligt interesseret i. Det, de interesserer sig for, lyder indlysende set i bakspejlet, er, hvilken værdi de får, hvis de betaler. For os handler det om, at man kan lære at tale bedre.

Man kan forbedre sine samtalefærdigheder. Når vi bruger det til at beskrive funktionen, resonerer det meget bedre. Det er meget indlysende set i bakspejlet, men det var det ikke for os i starten. Den markedsføringslinje, der fungerer rigtig godt, er ganske enkelt at tale om den værdi, brugerne får, og hvad de får ud af at betale.

Hannah Clark: Jeg har en teori om det, for jeg er enig i, at der mangler et vist niveau af teknologiforståelse hos nogle brugerbaser. Og så tror jeg også, at der findes en vis AI-træthed. Mange er vant til at se AI-funktioner dukke op i produkter, de har brugt længe, og de tillægger dem ofte ikke nogen ekstra værdi, fordi AI-funktioner ikke nødvendigvis giver en bedre brugeroplevelse.

Jeg synes, det er en meget klog generel læring at begynde med, hvad værdien ved en funktion er. Ofte er det den manglende brik, hvor folk siger: AI, det ser jeg overalt. Hvad får jeg ud af det? Vil det faktisk forbedre min oplevelse af dette produkt?

Cem Kansu: Det er præcis det, vi har set.

Der er endda nogle negative associationer knyttet til AI, enten fra produkter, der har tilføjet AI-funktioner, som ikke rigtig gør noget. Tænk på, hvor mange dumme chatbots du har talt med, som er mærket AI. Nogle opfatter det endda negativt: Vil AI overtage verden?

Hvad kommer det til at gøre ved mig? Det opfattes altså ikke altid positivt. Men ud over det har vi igen set den direkte sammenhæng mellem: Hvis jeg betaler, hvad får jeg så? Hvis man let kan formidle det, fungerer det typisk bedre.

Hannah Clark: Jeg synes, det er en meget klog tilgang. Og det er naturligvis bare min egen følelse. Jeg er glad for, at I har data, der bekræfter det.

Lad os tale lidt om, hvad der nu kommer for Duolingo. Det er en meget spændende tid for jer. I udvider til bredere områder som matematik og musik. Jeg ville ønske, I havde været der, da jeg gik i gymnasiet. Hvilke kriterier bruger I i øjeblikket til at vurdere, om et nyt produkt passer til jeres mission og kompetencer ud fra, hvor I står som produkt i dag?

Cem Kansu: Vi underviser nu i matematik og musik, og grunden til, at vi har besluttet at udvide til matematik og musik, er – lad mig begynde med kompetencerne, for det er nok nemmere. Det, Duolingo har gjort, er effektivt at gøre selvstudier sjove. Vi har tilføjet mange ting, som spil bruger af underholdningsmæssige årsager, eller som andre apps bruger, men vi har fået dem til at fungere i undervisning.

Vi har tilføjet streaks, ranglister og opgavesystemer. Vi har gjort lektionerne meget korte og sjove. Ingen af disse ting er specifikke for sprog, så de kan bruges på mange forskellige emner. Et uendeligt antal emner kunne have gavn af mere sjov. Grunden til, at vi valgte matematik og musik, er dog todelt.

Faktisk er årsagerne forskellige for de to områder. Den ene er, om markedet er stort nok. Hvis vi anvender alt det, vi har lært, og hjælper med at undervise virkelig godt i disse emner, er der så tilstrækkelig efterspørgsel i verden til, at investeringen giver mening? For matematik og musik er svaret ja.

Hvis man ser på antallet af mennesker i verden, der lærer matematik og musik, eller som gerne vil lære matematik eller musik, er det ret højt. Markedet er altså stort. Men de kriterier, vi bruger til at vælge matematik og musik, varierer fra emne til emne.

Musik minder allerede meget om sprog. Hvis man spørger befolkningen generelt, om de ville ønske, at de havde lært mere musik, eller om de gerne vil lære mere musik, har mange mennesker i verden ligesom med sprog dette ønske: Jeg ville ønske, jeg havde lært mere spansk. Jeg ville ønske, jeg havde lært at spille klaver, men det er ikke let tilgængeligt.

Det tager mange timer at gøre disse ting, såsom at blive flydende i et sprog eller lære at spille klaver, men der er helt sikkert efterspørgsel. Det er bare ikke nemt at gøre. Musik minder meget om sprog, og vi mente, at vi kunne gøre det let og sjovt. Det kunne vi bruge som tilgang til musik.

Matematik er lidt anderledes. Hvis man spørger befolkningen generelt, tror jeg ikke, at mange vil sige: Jeg ville ønske, jeg lavede matematik lige nu. Jeg tror snarere, at mennesker har matematikangst. Men ligesom sprog, især når man tænker på folk, der lærer engelsk, har matematik en reel mulighed for at ændre folks liv.

Hvis man lærer matematik, kan man måske forstå, hvordan renter fungerer. Man kan forstå, hvordan økonomi fungerer, og enten bruge det i sit eget liv eller få et bedre job. Det samme gælder for engelsk. Når man lærer engelsk, kan man komme på en bedre skole eller flytte til et andet land.

Det åbner muligheder på samme måde som matematik. Derfor passer det virkelig godt til Duolingo. Vi mente også, at vi med matematik kunne gøre det samme, som vi gjorde med sprog: udvide selve markedet. Omkring 80 % af Duolingos brugere svarer i undersøgelser, at de ikke lærte et sprog med et andet værktøj, før de kom til Duolingo.

Flertallet af svarene er faktisk: Jeg lærte ikke et sprog før Duolingo. Det viser sig altså, at mange begynder at lære et sprog, fordi de starter med Duolingo. Og nu, med vores vanvittige markedsføring på sociale medier, er der mange historier om folk, der siger: Jeg troede, I bare var en sjov ugle. Så opdagede jeg, at det er en ret god app.

Nu lærer jeg et sprog. Vores TikTok-konto viser vores maskot Duo, der laver virkelig uforudsigelige og sjove ting. Mange opdager Duolingo gennem deres første møde med os via TikTok-videoer. Den korte version er, at vi tror, at matematik kan udvide markedet og få flere mennesker i verden til at blive begejstrede for at lære matematik, ligesom vi udvidede markedet for sprogindlæring.

Musik handlede mere om at gøre det nemt og imødekomme en efterspørgsel, der allerede findes. Det har været vores ledestjerne for disse to emner. Når det er sagt, er vi stadig meget tidligt i processen. Vi tror, at der er meget mere at gøre inden for begge emner, så vi kommer til at arbejde meget mere med dem.

Hannah Clark: Jeg er også overrasket over, at matematik sker samtidig med udvidelsen til musik. Jeg er enig i, at musik og sprog minder meget om hinanden. Jeg betragter musik som en slags sprog, hvor man lærer reglerne for at vide, hvordan man bryder dem i en mere kreativ sammenhæng. Matematik ser jeg derimod som en samling af forskellige hårde færdigheder, der kan anvendes i forskellige sammenhænge.

Jeg er derfor meget nysgerrig efter at høre, hvordan I først og fremmest håndterer udfordringen med at se på matematik og undervise i matematik ved hjælp af den samme type research. Jeg ved ikke, om I anvender nogle af de samme læringer, eller om der er tale om en helt anden måde at tænke produktudvikling på, nærmest som om I skaber en helt ny produktlinje.

Hvordan ser I på udviklingen af matematikproduktet?

Cem Kansu: Der er både ligheder og forskelle. Meget af det, vi har lært om at gøre lektioner sjove, gælder også for, hvordan vi bygger matematiklektioner. De skal være korte, de skal være sjove, og de skal have flere interaktioner.

Man skal aldrig passivt læse indhold. Man skal altid besvare spørgsmål. Dette program burde være interaktivt. Alle principperne og alt det, vi har lært om at bygge en lektion, kan anvendes ret godt på matematik. Det, der efter min mening er anderledes, er, hvordan vi bygger indholdet.

Vi bygger indhold, der generelt underviser i matematik på grundskole- og gymnasieniveau, men vi forsøger at gøre indholdet mere virkelighedsnært og sjovt. Indholdet findes allerede i verden. Man kan tage en matematikbog, og så står det der. Men vi forsøger at tage indholdet og gøre det langt mere virkelighedsnært og sjovt.

Det er her, meget af den nye innovation kommer ind. I stedet for bare at bede dig beregne to gange tre giver vi dig måske et lille puslespil, der skal løses. En af vores figurer siger for eksempel: Jeg har lige købt to poser æbler. Hver pose vejer tre kilo. Hvor meget skal jeg bære nu? Matematikken er ikke anderledes, men vi forsøger at tilføje dette virkelighedsnære lag og gøre det langt sjovere og mere anvendeligt for befolkningen generelt.

Det er en satsning. Vi får se, om det virker, men indtil videre har den store innovation været at tage indhold fra lærebøger og omdanne det til et langt sjovere format, som vi har skabt.

Hannah Clark: Det er virkelig fascinerende. Jeg håber virkelig, det lykkes for jer, for det er bestemt et problem. Jeg kan tale af egen erfaring og sige, at der ikke findes mange gode løsninger på det lige nu.

Vi er næsten løbet tør for tid. Men jeg ville lige kort berøre nogle tendenser og udfordringer inden for uddannelsesteknologi, nu hvor vi er inde på emnet.

Hvad tror du vil forme den næste vækstfase for Duolingo, når det gælder tendenser i verden og i branchen som helhed?

Cem Kansu: Vi har allerede talt om de to ting, som vi tror vil være transformative for os. Den ene er, at Duolingo stadig i høj grad er kendt som sprogappen.

Men vi vil gå fra at være sprogappen til i det mindste at være sprogappen, matematikappen og musikappen. Hvordan kan vi lykkes med at blive bredere, så man lærer alle disse emner hos os? Vi er tidligt i processen og gør store fremskridt, men når vi ser tre år frem, er det den retning, vi gerne vil føre Duolingo i.

Den anden ting er, at store sprogmodeller har åbnet en massiv anvendelse for os: muligheden for at øve sprog. En anden anvendelse, der er blevet mulig, er indholdsskabelse. Vi bruger nu store sprogmodeller til meget af vores kursusindhold, hvilket giver os langt større hastighed, når vi skaber nye sprogkurser. Hvordan udnytter vi store sprogmodeller til at gøre Duolingo mere effektiv, bygge flere interaktive funktioner, der bruger dem, og gøre hele virksomheden mere effektiv?

Det er, vil jeg sige, de største tendenser, vi satser på. Den ene er ekspansion ud over sprog. Den anden er at sikre, at vi kan udnytte store sprogmodeller til funktioner, processer, indholdsskabelse og alt, der hjælper Duolingo med at fungere bedre.

Den tredje er avancerede engelskelever. Hvis man ser på sprogindlæring, er avancerede engelskelever en meget specifik gruppe, som faktisk er den største gruppe af sprogindlærere i verden. Duolingos produktudbud har dog været svagt for avancerede engelskelever. Med videoopkald og meget nyt indhold forsøger vi at forbedre Duolingo.

Forhåbentlig gør vi fremskridt og får succes på det område. Men de tre ting er vores største produktsatsninger.

Hannah Clark: Meget spændende. Jeg tror, at mange lytter med, fordi de elsker Duolingo som brand og produkt. Vi hepper altså alle på jer. Ikke at I egentlig har brug for vores hjælp.

Men mange tak, fordi du ville være med, Cem. Hvor kan folk følge dit arbejde online?

Cem Kansu: Jeg er på LinkedIn og Twitter. Mit brugernavn er mit fornavn og efternavn. Det er altså Cem og derefter Kansu.

Hannah Clark: Fantastisk. Mange tak, fordi du ville være med. Det har været en virkelig god samtale.

Cem Kansu: Tak, Hannah. Tak, fordi I inviterede mig.

Hannah Clark: Tak, fordi I lyttede med. Du kan få flere gode indsigter, vejledninger og værktøjsanmeldelser ved at abonnere på vores nyhedsbrev på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved at abonnere på CPO-klubben, uanset hvor du får dine podcasts.