De CPO van Duolingo geeft een masterclass over productmonetisatie

Lees het transcript:

We proberen onze podcasts te transcriberen met behulp van een softwareprogramma. Vergeef ons eventuele typefouten, want de bot is niet altijd 100% correct.

Hannah Clark: Ik denk dat we het er allemaal over eens kunnen zijn dat onze beslissingen in wezen draaien om de vraag hoe we onze producten waardevol kunnen maken voor onze klanten. Maar vandaag richten we ons wat meer op het onderdeel ‘waardevol’... met andere woorden: hoe kunnen onze producten geld opleveren? We weten dat we winstgevend moeten zijn, maar de weg van ons product naar een gezonde ARR is niet bepaald een rechte lijn. Het goed krijgen is uiteraard van cruciaal belang, maar er zijn veel verschillende manieren om daar te komen — en precies daarom is dit gesprek zo interessant.

Mijn gast vandaag is Cem Kansu, hoofd product bij Duolingo, en ik had de kerstman niet om een perfectere casestudy kunnen vragen van een product met hoge waarde en een bijzonder slimme monetisatiestrategie. Je gaat ontdekken wat door de jaren heen wel en niet heeft gewerkt voor Duolingo, wat de Premium Trap is en hoe je die kunt vermijden, en horen hoe de introductie van generatieve AI tegenwoordig een rol speelt in hun prijsstrategie. Mensen, dit gesprek was zo leuk, boeiend en gevuld met echte lessen dat het eigenlijk Duolingo voor productmonetisatie is. Laten we beginnen.

Welkom terug bij de The CPO Club-podcast, allemaal. Vandaag ben ik hier met Cem Kansu. We zijn vereerd dat hij vandaag bij ons is.

Cem, bedankt dat je bij ons bent.

Cem Kansu: Bedankt voor de uitnodiging. Fijn om hier te zijn.

Hannah Clark: Kun je ons iets vertellen over je achtergrond en hoe je bent gekomen waar je vandaag bent bij Duolingo?

Cem Kansu: Zeker. Ik ben acht en een half jaar geleden bij Duolingo begonnen, wat vreemd voelt om hardop te zeggen, maar de tijd vliegt als je plezier hebt. Ik kwam in 2016 bij Duolingo en heb ongeveer de eerste vijf, vijf en een half jaar van mijn dienstverband aan monetisatie gewerkt. Voor ons betekent monetisatie dat ik heb gewerkt aan het uitbouwen van onze bedrijfsonderdelen rond advertenties, in-appaankopen en abonnementen. De afgelopen drie jaar ben ik hier hoofd product bij Duolingo.

Ik geef leiding aan het productmanagementteam en we hebben ongeveer veertig productmanagers binnen het bedrijf. Daarnaast houd ik me een groot deel van mijn dag bezig met veel productkeuzes. Daarvoor zat ik op de businessschool. Nog eerder werkte ik ongeveer vier jaar bij Google. En daarvoor: ik kom oorspronkelijk uit Turkije en heb daar een deel van mijn opleiding gevolgd.

Hannah Clark: Wauw. Werkte je bij Google voordat je naar de universiteit ging?

Cem Kansu: Nee, vóór mijn graduateopleiding, vóór de businessschool.

Hannah Clark: Oké. Ik dacht even: jeetje, je moet wel een wonderkind zijn geweest.

Hoe dan ook, dit is een geweldige overgang, want vandaag gaan we het hebben over monetisatie — iets waar we op deze show, verrassend genoeg, niet genoeg over praten. We praten veel over ontwikkeling. We hebben veel over onderzoek gesproken. We praten niet veel over geld verdienen.

Laten we beginnen met een algemene vraag. Wat zie je momenteel als de grootste monetisatie-uitdaging waar productteams in de markt mee te maken hebben? En hoe zijn jullie daar bij Duolingo mee omgegaan?

Cem Kansu: Dat is een goede vraag. Eén uitdaging is het bepalen van het beste model om je product te monetiseren. Als je app gericht is op bedrijven, kies je volgens mij een andere aanpak dan voor consumenten. Ik kan vooral over consumenten vertellen. Daar heb ik het grootste deel van mijn loopbaan aan besteed.

Als je nadenkt over consumentenmonetisatie, was het in de begintijd van de sociale media, in de Facebook-periode, gebruikelijk om te zeggen: krijg gebruikers, dan kom je later wel uit op een manier om te monetiseren. Als je een enorm gebruikersbestand kunt bereiken, vind je wel iets. Dat was de heersende wijsheid. Inmiddels is die wijsheid over het algemeen verschoven naar: je moet eerder in je levenscyclus laten zien hoe je kunt monetiseren. Monetiseer en groei tegelijkertijd — dat is tegenwoordig het gangbare advies voor startups, vooral consumentenstartups.

De reis van Duolingo was interessant. Duolingo begon in 2011. Dat waren nog steeds de dagen waarin investeerders of wijze mensen zeiden: krijg gewoon gebruikers, daar kom je later wel uit. Duolingo volgde die filosofie grotendeels: laten we ons gebruikersbestand laten groeien, product-marktfit vinden en later uitzoeken hoe we kunnen monetiseren.

Duolingo had zelf ook een zeer uitgebreid monetisatieplan. Onze oprichter en CEO Luis was de oprichter van CAPTCHA. Ik weet niet of iedereen hier CAPTCHA kent, maar het zijn de kronkelende letters die je op een website invoert. Het idee achter CAPTCHA was dat je ook de digitalisering van boeken zou crowdsourcen.

Elke kronkelende letter die je intypte, werd gebruikt om afbeeldingen van gescande boeken om te zetten in herkende digitale woorden. Luis had dus een model voor crowdsourced boekdigitalisering ontwikkeld met CAPTCHA. Zijn idee voor Duolingo was vergelijkbaar: terwijl gebruikers een taal leerden en bijvoorbeeld Spaanse oefeningen maakten, zouden ze Engelse artikelen stukje bij beetje naar het Spaans vertalen.

Duolingo zou vervolgens een vertaaldienst verkopen aan iedereen die die nodig had. Het probleem met dat bedrijfsmodel was ten eerste dat je vertaalkwaliteit slecht is als je alleen maar een taal leert. Je hebt uiteindelijk meestal een derde partij of een andere dienst nodig om de vertaalkwaliteit te verbeteren.

Het tweede probleem is dat vertalen een race naar de bodem is: je concurreert altijd op een lagere prijs. Jij doet het bijvoorbeeld voor twee dollar per artikel, iemand in de Filipijnen doet het voor één dollar per artikel, en het wordt steeds een strijd om de laagste prijs. Achteraf gezien zou dat met grote taalmodellen een behoorlijk slecht bedrijfsmodel zijn geweest.

Vertalen is inmiddels vrijwel onmiddellijk geworden. Kort gezegd: toen ik bij Duolingo begon, had het bedrijf dit bedrijfsmodel verlaten en onderzocht het wat de volgende stap kon zijn. We kozen voor freemium, omdat dat goed paste bij wat ons product doet. Voor ons was dat logisch, zowel vanwege onze missie als vanwege waar ons product voor stond: toegang tot onderwijs.

We wilden nooit al onze educatieve waarde achter een betaalmuur verbergen. En aansluitend op je eerdere vraag denk ik dat dit iets is waar apps vaak mee te maken krijgen: hoeveel bied je gratis aan en hoeveel zet je achter een betaling? Dat kan een eenmalige betaling zijn of een terugkerende betaling, zoals een abonnement. Wij hebben besloten — vanwege onze waarden, onze bedrijfs missie en de langetermijngroei van Duolingo — dat de educatieve waarde volledig gratis moet zijn.

Alle Franse inhoud waartoe je toegang hebt, is dus hetzelfde, of je nu betaalt of niet. De extra's, zoals het verwijderen van advertenties of toegang tot meer levens tijdens lessen, zijn betaalde functies.

Daar zijn we mee begonnen en dat is de afgelopen acht jaar ons bedrijfsmodel gebleven. En om terug te komen op je oorspronkelijke vraag: dat is een van de belangrijkste beslissingen waar apps voor staan. Bied je een deel van je app gratis aan, en zo ja, welk deel? De onderliggende variabele is volgens mij dat wat je gratis aanbiedt uiteindelijk moet helpen om te groeien.

Voor Duolingo helpt het enorm om het waardevolste deel van de app gratis aan te bieden — het feit dat je gratis een taal, wiskunde of muziek kunt leren. Als je het gebruikt en leuk vindt, vertel je het aan je vrienden. Als alles betaald is, krijgen de meeste mensen er niet eens toegang toe en vertellen ze het niet aan hun vrienden. Dan ontstaat er geen organische groeimotor. Als je een volledig premiumproduct bouwt, moet je een betaalde marketingmachine bouwen, omdat het product moet groeien en je uiteindelijk veel aan marketing moet uitgeven. Dat is niet per se slecht, maar het is een compleet ander bedrijfsmodel.

Hannah Clark: Ik denk dat een groot deel van het gesprek over prijsstelling en monetisatie neerkomt op een zeer delicate balans op allerlei niveaus.

Maar ik wil het even hebben over de Premium Trap, aangezien we het over premiumproducten en het vinden van die balans hebben.

Kun je ons eerst door het concept van de Premium Trap leiden? En hoe heeft Duolingo die weten te vermijden terwijl het gebruikersbestand en de omzet bleven groeien?

Cem Kansu: Zeker. De Premium Trap is volgens mij geen algemeen bekende term, maar bij Duolingo gebruiken we die vaak om de dynamiek te beschrijven waarin veel educatieve apps, eerlijk gezegd, terechtkomen. Ik neem Duolingo als voorbeeld, omdat ik daar het gemakkelijkst over kan praten. We bestaan inmiddels elf, bijna twaalf jaar als product.

In die twaalf jaar hebben we veel concurrerende producten zien komen die precies hetzelfde proberen te doen als Duolingo, met één belangrijk verschil: ze maken de hele app premium. Meestal gaat het zo: iemand begint iets te doen dat sterk lijkt op Duolingo. Ze onderwijzen een onderwerp, bijvoorbeeld een taal, wiskunde of muziek.

Er zijn veel educatieve producten. Ze beginnen volledig betaald of gratis, maar het is dan behoorlijk moeilijk om een organische groeimotor op te bouwen. Heel snel komen die apps tot het inzicht dat ze kunnen monetiseren als ze volledig betaald worden. Als ze monetiseren, kunnen ze geld uitgeven aan marketing en een lus bouwen waarin de levenslange klantwaarde hoger is dan de kosten voor klantenwerving. Dan kunnen ze marketing financieren met de opbrengsten van nieuwe abonnees. Wiskundig gezien is dat een verstandige strategie. Het kan werken. Maar er gebeuren twee dingen met bedrijven die dit bedrijfsmodel kiezen — en daarin zit volgens mij de val.

Ten eerste komt al je groei effectief uit betaalde marketing. Je besteedt steeds meer tijd, leiderschapscapaciteit en daadwerkelijk geld op de bank aan marketing in plaats van aan het bouwen van een uitstekend product.

Je hele oriëntatie als bedrijf verschuift dus naar marketing en gebruikerswerving, in plaats van naar het bouwen van uitstekende producten. En bij onderwijs hebben we geleerd dat het moeilijkste onderdeel het creëren van een boeiende ervaring is: een educatief onderwerp spannend, leuk en plezierig maken om te gebruiken.

Als je daar niet veel moeite in steekt, raak je zeker achterop bij wat anderen doen en bij de richting waarin onderwijs zich zou moeten ontwikkelen. Dat is valkuil nummer één. Valkuil nummer twee ontstaat zodra je in deze groeimotor zit en een omzetbasis hebt die door betaalde marketing wordt gevoed.

Het is bijna onmogelijk om eruit te stappen. Je kunt niet eenvoudig zeggen: laten we enkele belangrijke functies waarvan we weten dat mensen ervoor betalen gratis maken, zodat we ook een organische groeimotor opbouwen. Dan vertraagt je groei. Een periode van trage groei doorleven om van zware betaalde groei naar gratis groei over te stappen, is iets wat ik volgens mij nog nooit heb zien lukken.

Het omgekeerde komt veel vaker voor. Veel apps beginnen volledig gratis of als freemiumproduct. Vervolgens merken ze dat ze niet geduldig zijn of sneller willen groeien. Ze gaan investeren in betaalde marketing, maar die marketing moet zichzelf terugverdienen via betalende gebruikers, omdat dat de positieve omzetgroeimotor is.

Dat is dus onderdeel van de Premium Trap: als je een premiumapp creëert en je enige groei uit betaalde marketing komt, is het heel moeilijk om uit die val te komen en tegelijkertijd een schaalbaar groeimodel op te bouwen dat door organische groei wordt gevoed. Onze visie is in ieder geval dat organische groei moeilijk te sturen is, omdat je die niet met advertentiebudget controleert, maar uiteraard ook ontzettend goedkoop is omdat die technisch gezien gratis is.

Daarom hebben wij ingezet op gratis functies die uitstekend zijn, zodat gebruikers altijd hun vrienden erover vertellen en er een organische groeimotor ontstaat.

Hannah Clark: Ja, ik ben het daar ook mee eens. Als je het product als een feestje ziet: als je een geweldig feest geeft, bellen mensen hun vrienden en zeggen ze dat ze moeten komen.

Maar als je enorm veel geld uitgeeft aan posters waarop staat dat het feest geweldig is, terwijl er geen eten is en de muziek slecht is, nodig je mensen uit op een plek waar eigenlijk niets gebeurt. Dan is die uitgave voor niets geweest, toch?

Cem Kansu: Precies.

Hannah Clark: Om maar een vergelijking te maken. Maar ja, ik sta volledig achter jullie aanpak. Dat is echt een waardevol inzicht.

Als we wat dieper ingaan op het freemiummodel: volgens mij is een deel van Duolingo's succes dat jullie die balans binnen freemium echt goed hebben gevonden. Jullie begrijpen jullie gebruikersbestand en hebben een overtuigend product gecreëerd.

Bijna iedereen die ik ken en Duolingo gebruikt, zegt dat het de enige app voor taalonderwijs is waar ze daadwerkelijk aan zijn blijven hangen. Ik word niet betaald om dat te zeggen; het is echt waar. Welke strategieën blijken het effectiefst om die gratis toegang te behouden en ervoor te zorgen dat mensen alle waarde gratis kunnen benutten, terwijl je gebruikers toch aanmoedigt om naar premium te upgraden?

Cem Kansu: Een paar dingen. Ten eerste gaat het om de richtlijnen en grenzen die je voor het hele bedrijf vastlegt: een gratis gebruiker en een betalende gebruiker moeten precies evenveel Frans kunnen leren. Een gratis gebruiker mag dus niet een andere inhoud krijgen dan een betalende gebruiker. De inhoud mag niet het onderscheidende element voor betaling zijn.

Dat was altijd onze visie, omdat we beseften dat een uitgebreide, geweldige leerervaring voor gratis gebruikers hen ertoe kan aanzetten hun vrienden te vertellen over het product, wat ons helpt groeien. Of ze blijven veel langer bij het product en kunnen misschien drie jaar later besluiten een abonnement te nemen.

Zo creëer je veel gemakkelijker langetermijngewoonten. Dat is het leidende principe en een belangrijke strategie: je stuurt je productrichting zo dat er een heilige koe bestaat — zet educatieve inhoud niet achter een betaalmuur. Daaraan hebben we ons gehouden, en dat heeft ons vanaf het begin geholpen een groot gebruikersbestand op te bouwen.

Het tweede is dat je A/B-tests en gegevens gebruikt om te bepalen welke functies groei stimuleren en welke functies monetisatie stimuleren. Neem bijvoorbeeld klassementen. Op het moment dat je beslist of zo'n functie betaald moet zijn, kan het allebei. Het is geen educatieve inhoud en past bij je waarden. Maar wat levert meer op? Als je de functie gratis maakt, helpt dat dan meer bij gebruikersgroei? Of helpt een betaalde functie meer bij omzet? Je kunt je beste oordeel gebruiken of testen en kijken wat er gebeurt.

Voor ons leveren sociale functies zoals klassementen meer op bij een groter aantal gebruikers, omdat je met andere gebruikers kunt communiceren. Daarom hebben we ze voor iedereen beschikbaar gemaakt. Voor nichefuncties, zoals onze functie voor aangepaste oefening, had monetisatie meer zin. De meeste gebruikers willen of hebben die functie niet nodig, maar degenen die dat wel doen, zijn bereid ervoor te betalen. Als je die functie niet aanbiedt, verlies je geen educatieve waarde. We noemen dit de oefenhub en hebben besloten er een betaalde functie van te maken.

Kort gezegd: wanneer je met een nieuwe functie waarde toevoegt aan je product, moet je bepalen welke statistieken door die functie het meest worden beïnvloed. Als het om groei gaat, moet je de functie zeker niet monetiseren, omdat je wilt dat je gebruikersbestand ermee groeit.

Een derde punt is dat iedereen binnen het bedrijf je strategie moet begrijpen. Zijn we een premiumproduct waarbij alles wat gratis is gemonetiseerd kan worden, of zijn er heilige koeien die nooit gemonetiseerd mogen worden? Vooral in een groeiende organisatie helpt het om iedereen op één lijn te krijgen over waar er geëxperimenteerd mag worden en welke experimenten je nooit moet uitvoeren.

Hannah Clark: Ja, dat is ook belangrijk om een gedeelde cultuur vast te leggen. En ik ben blij dat je A/B-testen noemt, want ik ben benieuwd hoe dat in jullie aanpak past.

Kun je inzichten of ontdekkingen delen die jullie dankzij A/B-tests rond monetisatie en retentie hebben opgedaan?

Cem Kansu: Zeker. We voeren veel A/B-tests uit. In een kwartaal voeren we inmiddels meer dan driehonderd A/B-tests uit op Duolingo. De meeste mensen beseffen dat niet wanneer ze de app openen. De app is ontworpen om heel eenvoudig te lijken en dat is hij ook, maar we voeren veel A/B-tests uit.

Die variëren van het iets lichter maken van de blauwe kleur van een knop waarop je tikt tot iets drastisch als een volledig nieuw ontwerp van onze homepage. Alles kan een A/B-test zijn. Elke wijziging die we doen, gaat via een A/B-test, omdat gegevens beter kunnen aangeven wat een wijziging doet dan onze intuïtie.

Welke inzichten hebben we opgedaan? Dat is een lange lijst. Een van de dingen die we vooral hebben gezien bij een product dat onderwijs en betrokkenheid combineert, is dat er een ideale balans bestaat in hoe moeilijk of gemakkelijk je een les maakt.

We hebben allerlei uitersten geprobeerd. We hebben de inhoud steeds gemakkelijker gemaakt en ook steeds moeilijker. Gemiddeld willen gebruikers 80 procent van de vragen goed beantwoorden. Dat blijkt ongeveer de ideale balans te zijn. Als iemand honderd procent goed heeft, haakt die af omdat de les te gemakkelijk voelt.

Als iemand dertig procent goed heeft, voelt die zich alsof hij het niet goed doet of alsof de inhoud of app niet voor hem bedoeld is. Er is dus een ideale balans. Tachtig procent is niet exact, maar die bandbreedte werkt goed voor het combineren van retentie en gewoontevorming. Zo komen leerlingen de volgende dag terug en blijven gebruikers betrokken.

Een ander inzicht: als je mensen probeert te laten overstappen naar een betaald product — wij hebben twee abonnementsproducten, Super Duolingo en Duolingo Max — maakt het een enorm verschil hoe je erover praat en hoe je het presenteert. Veel abonnementsaankopen, vooral bij freemiumproducten, zijn emotionele aankopen.

Je kunt dus veel testen om te ontdekken wat werkt en hoe je een gebruiker ervan overtuigt je product te kopen. We werken inmiddels ongeveer acht jaar aan het optimaliseren van de manier waarop we een abonnementsupgrade presenteren, sinds we ons abonnement lanceerden, en we ontdekken nog steeds nieuwe manieren om gebruikers te laten upgraden.

Het is bijvoorbeeld een goed idee om gebruikers eerst te laten proberen voordat je ze laat kopen. Als je iemand het abonnement drie dagen laat proberen en daarna vraagt om een gratis proefperiode te starten, werkt dat veel beter dan simpelweg zeggen: begin een gratis proefperiode. Als je op de aankoopknop ‘zeven dagen gratis proberen’ zet, levert dat ook resultaat op.

Maar als je ‘probeer voor €0’ zegt, werkt dat vreemd genoeg veel beter. Als je een aanbod doet en ‘laatste kans’ schrijft terwijl de aanbieding daadwerkelijk bijna verdwijnt, stijgt de doorklikratio enorm. Er is een veel langere lijst met dingen die we hebben getest en geleerd, maar mijn belangrijkste conclusie is dat er veel te doen is om uit te zoeken wat in jouw product werkt voor upgrades naar abonnementen.

De laatste les die we hebben geleerd, proberen we eerlijk gezegd nog te begrijpen. Je kunt namelijk ook te veel A/B-testen en in een lokale-maximalisatieval terechtkomen. Als je geweldige hulpmiddelen hebt en elk productteam heel goed wordt in A/B-testen, kun je gemakkelijk alleen nog maar kleine, incrementele wijzigingen testen.

Zelfs het aantal dat ik noem klinkt indrukwekkend: we hebben honderd A/B-tests uitgevoerd. Maar als je alleen de kleur van een knop pixel voor pixel hebt getest, test je nooit hoe een volledig andere versie van die functie eruit zou kunnen zien.

Teams kunnen daartoe worden aangezet omdat ze kleine successen boeken. Ze voeren veel A/B-tests uit en het voelt goed om een hoog volume te halen. Maar soms is het veel beter om een hele pagina te verwijderen en iets compleet anders te doen. Dat kan twee keer zo goed werken, maar je komt daar nooit achter als je alleen incrementeel test.

Het vermijden van de valkuil van incrementeel testen is een les waar we nog niet precies van weten hoe we die moeten toepassen. Maar als we het zien, denken we: we hebben veel te ver doorgetest richting een lokaal maximum. Dat is misschien de derde les die ik wil meegeven.

Hannah Clark: Dit is interessant. We hebben eerder in een panel besproken hoe een junior of stagiair kijkt naar wat ‘klaar’ betekent, tegenover een senior productmanager. De een ziet iets als voltooid, terwijl de ander zoekt naar inzichten en naar de waarde of impact die het genereert.

Ik zie dat als vergelijkbaar. Voeren we A/B-tests uit om te kunnen zeggen dat we dit jaar driehonderd A/B-tests hebben gedaan? Of voeren we A/B-tests uit om te ontdekken welke risico's we kunnen nemen en een beter beeld te krijgen van de reactie van gebruikers, in plaats van alleen dingen te verfijnen waar de meeropbrengst afneemt?

Cem Kansu: Precies. Een andere vraag is: is het beter om driehonderd A/B-tests uit te voeren en een paar procentpunt verbetering te behalen, of één grote test uit te voeren die misschien vijftig procent verbetering oplevert? Op het moment zelf is dat moeilijk te beslissen. Achteraf zeg je gemakkelijk dat je voor vijftig procent kiest, maar op het moment voelt het veiliger om driehonderd tests uit te voeren en een paar procentpunt te behalen.

Maar zoals je zegt, worden afnemende meeropbrengsten dan het probleem.

Hannah Clark: Ja. Elke test kost je geld om uit te voeren, zelfs als je er iets van leert.

Cem Kansu: Inderdaad.

Hannah Clark: Die inzichten waren echt waardevol. Ik waardeer het dat je ze met ons hebt gedeeld.

Webdesigners, deze is voor jullie. Ik heb dertig seconden om jullie iets te vertellen over Wix Studio, het webplatform voor bureaus en ondernemingen. Dit zijn vier dingen die je in dertig seconden of minder met Studio kunt doen. Pas je ontwerpen aan voor elk apparaat met responsieve AI. Hergebruik middelen zoals sjablonen, widgets, secties en ontwerpbibliotheken op verschillende websites en deel ze met je team. Voeg animaties zonder code en verloopachtergronden rechtstreeks toe in de editor. En exporteer je ontwerpen met één klik van Figma naar Wix Studio. De tijd is om, maar de lijst gaat door. Stap in Wix Studio en ontdek het zelf.

Laten we het nu hebben over prijsstrategie.

Je vertelde al een beetje hoe dingen in de loop van de tijd zijn veranderd. Als we kijken naar de huidige versie van de prijsstrategie, met verschillende betaalde niveaus en een gratis niveau: welke factoren hebben invloed gehad op de manier waarop functies vandaag worden geprijsd, en op het onderscheid tussen de verschillende betaalde producten die jullie aanbieden?

Cem Kansu: Onze prijsstrategie is vooral geëvolueerd door de ontwikkeling van pakketten. Duolingo heeft de afgelopen acht jaar vrijwel altijd een abonnementsproduct gehad. Wat in de loop van de tijd is veranderd, is dat onze eerste lancering eerst Plus Duolingo heette en later werd omgedoopt tot Super Duolingo.

Dat klonk als een betere naam. We hebben ook een groot herontwerp van het product uitgevoerd en een gezinsabonnement gelanceerd. Dat kwam op een ander prijsniveau: bijna vijftig procent hoger dan een individueel abonnement, maar het was een goede deal voor groepsabonnementen. Dat was onze eerste ontwikkeling. Daarna lanceerden we ons hogere niveau, Duolingo Max.

Dat was ongeveer twee jaar geleden. Het kost bijna twee keer zoveel als Super Duolingo. Je krijgt extra functies die veel generatieve AI gebruiken om gespreks-oefeningen te bieden. Dat was de tweede fase van onze ontwikkeling, omdat verschillende pakketten voor verschillende gebruikers de prijs- en adoptiedynamiek veranderen.

Mensen met een grotere bereidheid en mogelijkheid om te betalen gaan bijvoorbeeld naar Duolingo Max, terwijl een groep eerder voor een gezinsabonnement kiest. Onlangs hebben we ook een studentenabonnement gelanceerd. Ons aanbod is dus behoorlijk gesegmenteerd geraakt. De manier waarop we bij de juiste prijsniveaus zijn uitgekomen, was eerlijk gezegd vooral via A/B-tests.

We hebben veel geprobeerd om prijs-A/B-tests voor te zijn, want prijzen testen is ingewikkeld. Zelfs als je technisch gezien volledig in staat bent om A/B-tests uit te voeren, hebben ze kosten. We hebben geprobeerd gebruikers te ondervragen en enquêtes te doen. We hebben kwalitatief en kwantitatief onderzoek gedaan. We hebben zogenaamde schijndeurtests uitgevoerd, waarbij je mensen op een bepaalde prijs laat klikken maar er aan de andere kant niets te koop is.

Je zegt dan: dit product is nog niet beschikbaar. Geen van deze methoden gaf echter een sterk signaal over de prijs, tenzij je zeer uiteenlopende prijzen vergelijkt, bijvoorbeeld vijf dollar met honderd dollar. Als je wilt testen of een jaarabonnement tachtig, vijfentachtig of negentig dollar moet kosten, krijgen we buiten A/B-tests nooit een goed signaal.

Uiteindelijk hebben we al onze prijzen met A/B-tests bepaald, en zo zijn we bij de huidige prijzen uitgekomen. Vooruitkijkend zal die aanpak waarschijnlijk standhouden. Koopgedrag voor een premiumapp hangt sterk af van de manier waarop het product in de app wordt gepresenteerd, van het aankoopmoment en van de ervaring die de gebruiker had voordat die bij de aankoop terechtkwam.

Daarom vonden we het moeilijk om dezelfde resultaten uit onderzoek te reproduceren. Onderzoek vraagt vaak: zou je deze functies voor deze prijs kopen? Veel aankopen zijn echter emotioneel. Je hebt bijvoorbeeld net een les gevolgd en bent enthousiast omdat je een perfecte score hebt behaald. Dan denk je misschien: ik hou van deze app, ik koop gewoon een abonnement. Een enquête kan dat niet echt nabootsen. Daarom gebruiken we A/B-tests als belangrijkste methode om prijzen te bepalen.

Hannah Clark: Dit is een belangrijke conclusie. De inzichten uit aankoopgedrag staan los van de gemoedstoestand waarin gebruikers zich bevinden tijdens een interview. Tijdens interviews willen mensen hun beste kant laten zien. Ze denken rationeel na over wat ze zouden moeten doen. Dat verschilt sterk van aankoopgedrag op het moment zelf, wanneer je emotionele momentum hebt om daadwerkelijk op de abonnementsknop te drukken.

Ik wil het nog wat meer over AI hebben, omdat je vertelde dat jullie generatieve AI-functies gebruiken als hulpmiddel voor gespreks-oefeningen. Dat is een heel innovatieve toepassing van generatieve AI. Hoe brengen jullie de kosten van zo'n innovatie in balans met een prijs die gebruikers redelijk vinden voor Duolingo Max?

Cem Kansu: Bij Duolingo Max is de belangrijkste functie wat wij Video Call with Lily noemen. Lily is een van onze personages.

We hebben meerdere personages die in je Duolingo-lessen verschijnen. Video Call with Lily is precies wat de naam zegt: je belt Lily om Spaans of een andere taal die je leert te oefenen. Het grote voordeel is dat we het niveau van het Spaans dat ze met je spreekt volledig aanpassen aan jouw niveau.

Omdat we weten welk woord je op Duolingo hebt geleerd, gebruikt ze die woorden ten minste 89 procent van de tijd. Tien procent van de tijd introduceert ze nieuwe woorden, maar ze spreekt met je op jouw Spaanse niveau. Zo ontstaat de perfecte oefening voor gesprekken.

De adoptie is erg goed. We blijven dus flink investeren in dit soort interactieve gespreksfuncties voor Duolingo Max die generatieve AI gebruiken. Voor de prijsstelling ontstaat door generatieve AI een nieuwe dynamiek: er zijn kosten verbonden aan het aanroepen van grote taalmodellen.

We berekenen gemiddelde kosten op basis van gemiddeld gebruik, omdat we een abonnementsproduct verkopen waarvoor gebruikers per maand of per jaar betalen. We moeten bepalen of de eenheidseconomie gezond is. We schatten de kosten van de eenheidseconomie op basis van wat we uiteindelijk betalen voor de aanroepen van grote taalmodellen.

Daar zetten we uiteraard een prijs boven, zodat we in ieder geval geen negatieve eenheidseconomie hebben. Vervolgens proberen we te bepalen waar de vraag ligt. A/B-tests helpen om dat te achterhalen.

De vraag wordt voor ons ook bepaald door Super. Omdat Max de AI-zware functies bevat en Super ons referentieabonnement is, vragen we ons af of Max twee keer zo duur moet zijn als Super. Ligt daar de vraag? Of moet het vijftig procent duurder zijn? We testen waar de vraag het hoogst is en bepalen vervolgens de uiteindelijke prijs.

Hannah Clark: We hebben veel gesproken over hoe de presentatie van bepaalde functies invloed heeft op hoe mensen de waarde ervan en hun bereidheid om te betalen inschatten, en over het gebruik van een emotionele trigger om mensen door de trechter te helpen.

Welke taal gebruiken jullie rond AI? Hebben jullie A/B-tests gedaan met specifieke manieren om een AI-functie te positioneren en mensen aan te moedigen hun abonnement te upgraden?

Cem Kansu: We hebben behoorlijk wat onderzoek gedaan naar manieren om de waarde van de functie te communiceren. Voor onze functie Video Call with Lily kun je bijvoorbeeld over Lily praten, over gespreks-oefeningen of over geavanceerde generatieve AI.

Er zijn dus veel manieren om dezelfde functie te presenteren. Zowel uit onderzoek als uit A/B-tests bleek dat AI-boodschappen het minst aansloegen. Als we AI labelen als ‘een nieuwe AI-functie’, lijkt dat in technische en productmanagementkringen misschien aantrekkelijk, maar dat geldt niet voor het volledige, zeer internationale gebruikersbestand van Duolingo.

Slechts twintig procent van onze gebruikers bevindt zich in de Verenigde Staten; tachtig procent woont elders. Hun technologische kennis is uiteraard niet zo groot als die van mensen die in de technologiesector werken. Het woord AI heeft voor een technisch publiek dus niet noodzakelijk dezelfde betekenis.

Een les die we hebben geleerd, is dat we de meeste dingen niet als AI labelen. Elke keer dat we dat testten of onderzochten, was de reactie van gebruikers: het kan me niet zoveel schelen. Wat ze wel belangrijk vinden, klinkt achteraf vanzelfsprekend: welke waarde krijgen ze als ze betalen? Voor ons betekent dat: je kunt beter leren spreken en je gespreksvaardigheden verbeteren.

Als we de functie op die manier beschrijven, slaat ze veel beter aan. De marketingboodschap die goed werkt, is simpelweg vertellen welke waarde gebruikers krijgen en wat het voor hen oplevert.

Hannah Clark: Ik heb hier een theorie over, omdat ik het ermee eens ben dat in sommige gebruikersgroepen een bepaald niveau van technische kennis ontbreekt. Daarnaast denk ik dat er sprake is van een zekere AI-moeheid. Veel mensen zijn gewend geraakt aan AI-functies in producten die ze al lange tijd gebruiken, en schrijven daar vaak geen extra waarde aan toe, omdat niet elke AI-functie een betere gebruikerservaring oplevert.

Ik denk dat dit in het algemeen een heel slimme conclusie is: begin met de waarde van een functie. Mensen denken vaak: AI, dat zie ik overal. Wat heb ik eraan? Verbetert het mijn ervaring met dit product daadwerkelijk?

Cem Kansu: Dat is precies wat wij hebben gezien.

Aan AI kleeft soms zelfs een negatieve connotatie. Denk aan producten die AI-functies hebben toegevoegd die eigenlijk niets doen. Er zijn veel domme chatbots geweest waarmee je hebt gepraat en die als AI werden aangeduid. Sommige mensen ervaren AI zelfs als iets negatiefs: gaat AI de wereld overnemen? Wat gaat het met mij doen? Het wordt dus niet altijd positief gezien.

Maar ook los daarvan zien we opnieuw de directe koppeling: als ik betaal, wat krijg ik dan? Als je dat eenvoudig kunt overbrengen, werkt het beter.

Hannah Clark: Dat vind ik een heel slimme aanpak. En ik ben blij dat jullie de gegevens hebben om dat te onderbouwen.

Laten we het nu hebben over wat de toekomst brengt voor Duolingo. Het is een spannende tijd voor jullie, want jullie breiden uit naar bredere markten, zoals wiskunde en muziek. Ik wou dat dat bestond toen ik op de middelbare school zat. Welke criteria gebruiken jullie momenteel om te beoordelen of een nieuw product aansluit bij jullie missie en competenties, gezien jullie huidige positie?

Cem Kansu: We geven nu les in wiskunde en muziek. De reden voor die uitbreiding bestaat uit twee delen. Laat ik beginnen met onze competenties, want dat is eenvoudiger. Duolingo heeft zelfstudie effectief leuk gemaakt. We hebben elementen toegevoegd die games voor entertainment gebruiken, maar ze geschikt gemaakt voor onderwijs.

We hebben streaks, klassementen en quests toegevoegd. We hebben lessen kort en leuk gemaakt. Geen van deze elementen is specifiek voor taal en ze kunnen dus op veel verschillende onderwerpen worden toegepast. Een oneindig aantal onderwerpen kan leuker worden gemaakt. De reden dat we wiskunde en muziek hebben gekozen, bestaat uit twee delen.

Ten eerste: is de markt groot genoeg? Als we alles wat we hebben geleerd toepassen en mensen deze onderwerpen goed leren, is er dan genoeg vraag in de wereld om het rendement op de investering zinvol te maken? Voor wiskunde en muziek is het antwoord ja.

Als je kijkt naar het aantal mensen dat wereldwijd wiskunde of muziek leert, of dat wil leren, is dat groot. De markt is omvangrijk. Maar de criteria voor wiskunde en muziek verschilden ook van elkaar.

Muziek lijkt al sterk op taal. Als je de algemene bevolking vraagt of mensen meer muziek hadden willen leren, of meer muziek willen leren, blijkt dat veel mensen die behoefte hebben. Net als bij taal denken veel mensen: ik wou dat ik meer Spaans had geleerd; ik wou dat ik piano had leren spelen. Maar het is niet gemakkelijk toegankelijk.

Het kost veel uren om vloeiend een taal te leren of piano te leren spelen, maar er is zeker vraag naar. Er is alleen geen eenvoudige manier om het te doen. Wij denken dat muziek, net als taal, gemakkelijk en leuk kan worden gemaakt.

Wiskunde is anders. Als je de algemene bevolking vraagt of ze nu graag wiskunde zouden doen, zeggen waarschijnlijk niet veel mensen ja. Mensen hebben eerder wiskundeangst. Toch kan wiskunde, net als taal — vooral voor mensen die Engels leren — de uitkomst van iemands leven daadwerkelijk veranderen.

Als je wiskunde leert, begrijp je misschien hoe rente werkt en hoe financiën werken. Je kunt dat toepassen op je eigen leven of een betere baan krijgen. Engels leren is vergelijkbaar. Engels leren kan je toegang geven tot een betere school of ervoor zorgen dat je naar een ander land kunt verhuizen. Het ontsluit kansen, net als wiskunde.

Daarom past het goed bij Duolingo. We geloofden bovendien dat we met wiskunde hetzelfde konden doen als met taal: de markt zelf uitbreiden. Uit enquêtes blijkt dat ongeveer tachtig procent van de mensen op Duolingo geen andere methode gebruikte om een taal te leren voordat ze bij Duolingo kwamen.

De meerderheid zegt: ik leerde eigenlijk nog geen taal voordat ik Duolingo ontdekte. Veel mensen zijn dus dankzij Duolingo een taal gaan leren. Met onze enorme socialmediamarketing zijn er veel verhalen van mensen die zeggen: ik dacht dat jullie alleen maar een grappige uil waren, maar het blijkt een behoorlijk goede app te zijn. Nu leer ik een taal.

Ons TikTok-account toont onze mascotte Duo in allerlei absurde en grappige situaties. Veel mensen ontdekten Duolingo via die TikTok-video's. Kort gezegd denken we dat we met wiskunde de markt kunnen uitbreiden en meer mensen enthousiast kunnen maken over wiskunde, net zoals we de markt voor taalonderwijs hebben uitgebreid.

Bij muziek gaat het meer om het gemakkelijker maken van leren en het benutten van bestaande vraag. Dat is onze leidraad voor deze twee onderwerpen. We staan nog aan het begin en er is nog veel te doen op beide gebieden. We gaan er dus nog veel meer aan werken.

Hannah Clark: Ik ben ook verrast dat wiskunde tegelijk met muziek wordt ontwikkeld. Ik ben het ermee eens dat muziek en taal sterk op elkaar lijken. Ik zie muziek als een soort taal waarin je de regels leert om ze vervolgens in een creatieve context te kunnen doorbreken. Wiskunde zie ik eerder als een verzameling verschillende harde vaardigheden die in verschillende contexten kunnen worden toegepast.

Ik ben dus erg benieuwd hoe jullie de uitdaging aanpakken om wiskunde te bekijken en te onderwijzen met hetzelfde soort onderzoek. Passen jullie dezelfde lessen toe, of is er een heel andere manier van productontwikkeling nodig, alsof jullie een volledig nieuwe productlijn ontwikkelen?

Hoe kijken jullie naar de ontwikkeling van het wiskundeproduct?

Cem Kansu: Er zijn overeenkomsten en verschillen. Veel van wat we hebben geleerd over het leuk maken van lessen passen we toe op de wiskundelessen. Ze moeten kort zijn, leuk zijn en meerdere interacties bevatten.

Je mag inhoud nooit passief lezen; je moet altijd vragen beantwoorden. Alle principes die we hebben geleerd bij het bouwen van een les werken ook goed voor wiskunde. Wat anders is, is hoe we inhoud opbouwen. We ontwikkelen inhoud voor wiskunde in groep 1 tot en met 8, maar proberen die inhoud realistischer en leuker te maken.

De inhoud bestaat al in de wereld. Je kunt een wiskundeboek pakken en de stof staat erin. Wij proberen die inhoud echter te voorzien van een realistische laag. In plaats van alleen twee keer drie te berekenen, geven we je bijvoorbeeld een kleine puzzel: een personage heeft twee zakken appels gekocht, die elk drie kilo wegen. Hoeveel moet het personage dragen?

De wiskunde is hetzelfde, maar we voegen een realistische laag toe en maken de stof leuker en toepasbaarder voor de algemene bevolking. Het is een gok; we zullen zien of het werkt. Voorlopig ligt de grootste innovatie in het omzetten van leerboekinhoud naar een veel leuker format dat wij hebben ontwikkeld.

Hannah Clark: Dat is fascinerend. Ik hoop echt dat het werkt, want dit is zeker een probleem. Ik kan uit eigen ervaring zeggen dat er momenteel niet veel goede oplossingen voor zijn.

We zijn bijna aan het einde van de tijd. Ik wilde nog kort enkele trends en uitdagingen in educatieve technologie bespreken.

Wat zal volgens jou de volgende groeifase van Duolingo bepalen, gezien de trends in de wereld en de sector als geheel?

Cem Kansu: We hebben het al gehad over de twee zaken waarvan we denken dat ze transformerend zullen zijn. Duolingo staat nog steeds vooral bekend als de taalapp.

We willen van de taalapp naar de taalapp, de wiskundeapp en in ieder geval de muziekapp gaan. Hoe kunnen we succesvol worden als een breder platform waarop je al deze onderwerpen leert? We staan nog vroeg in dit proces en maken veel vooruitgang, maar als we drie jaar vooruitkijken, is dat de richting waarin we Duolingo willen bewegen.

Het tweede punt is dat grote taalmodellen een enorm gebruiksscenario voor ons hebben ontsloten: taal oefenen. Een ander ontsloten gebruiksscenario is contentcreatie. We gebruiken grote taalmodellen nu voor veel van onze cursusinhoud, waardoor we sneller nieuwe taalcursussen kunnen maken. Hoe benutten we grote taalmodellen dus om Duolingo efficiënter te maken, meer interactieve functies te bouwen en het hele bedrijf efficiënter te laten werken?

Dat zijn de grootste trends waarop we inzetten. De eerste is uitbreiding voorbij taal. De tweede is ervoor zorgen dat we grote taalmodellen benutten voor functies, processen, contentcreatie en alles wat Duolingo helpt beter te functioneren.

De derde is gevorderde leerders van Engels. Als je naar taal kijkt, vormen gevorderde leerders van Engels een specifieke groep die feitelijk de grootste groep taalleerders ter wereld is. Het productaanbod van Duolingo is echter zwak voor gevorderde leerders van Engels. Met Video Call en veel nieuwe inhoud proberen we Duolingo te verbeteren.

Hopelijk boeken we daar vooruitgang en slagen we erin. Maar deze drie punten zijn volgens mij onze grootste productkeuzes.

Hannah Clark: Heel gaaf en ook heel spannend. Veel mensen luisteren omdat ze zo dol zijn op Duolingo als merk en als product. We duimen dus allemaal voor jullie — niet dat jullie onze hulp echt nodig hebben.

Bedankt dat je bij ons was, Cem. Waar kunnen mensen je werk online volgen?

Cem Kansu: Ik ben actief op LinkedIn en Twitter. Mijn gebruikersnaam bestaat uit mijn voornaam en achternaam: Cem Kansu.

Hannah Clark: Geweldig. Heel erg bedankt dat je bij ons was. Dit was een geweldig gesprek.

Cem Kansu: Bedankt, Hannah. Bedankt voor de uitnodiging.

Hannah Clark: Bedankt voor het luisteren. Voor meer geweldige inzichten, praktische handleidingen en toolreviews kun je je abonneren op onze nieuwsbrief via theproductmanager.com/subscribe. Je kunt meer gesprekken zoals dit beluisteren door je te abonneren op The CPO Club, waar je je podcasts ook beluistert.