Hoe je vooroordelen in NLP-modellen vermindert voor betere tekstanalyse (met Dan Erickson van Viable)

Michael Luchen

Natuurlijke taalverwerking kan een ongelooflijk krachtig hulpmiddel zijn. Het kan worden gebruikt om duizenden datapunten te analyseren en snel betrouwbare inzichten te bieden. Maar bestaat er een risico dat er vooroordelen in deze resultaten sluipen? Hoe weten we zeker dat de resultaten zo objectief mogelijk zijn? Blijf luisteren, want vandaag gaan we dieper in op natuurlijke taalverwerking, een krachtig hulpmiddel dat de toekomst van productmanagement zal ondersteunen.

Dit is de Product Manager-podcast, de stemmen van de community die het draaiboek voor productmanagement, ontwikkeling en strategie schrijft. Deze aflevering wordt gesponsord door Crema, een digitaal productbureau dat individuen en bedrijven helpt floreren door creativiteit, technologie en cultuur. Meer informatie vind je op crema.us.

Blijf luisteren voor praktische, authentieke inzichten die je helpen succesvol te zijn in de wereld van productmanagement.

Goed, vandaag hebben we het over vooroordelen in natuurlijke taalverwerking, oftewel NLP. We spreken met Dan Erickson, CEO en oprichter van Viable. Viable helpt bedrijven van hun klanten te leren door feedback van klanten uit verschillende kanalen te verzamelen, thema’s te identificeren en de feedback te analyseren om echte inzichten en aanbevelingen te produceren.

Viable ondersteunt veel kanalen: werktickets, livechat, sociale media, enquêtes, product- en appbeoordelingen en transcripties van gesprekken. Dan en zijn team hebben in totaal 9 miljoen dollar opgehaald bij Craft Ventures, Javelin Venture Partners, Streamlined Ventures, Meyers Capital, veel geweldige angel investors en individuele general partners.

Hoi Dan, welkom bij de show.

Dan Erickson

Bedankt dat ik er mag zijn, Michael. Fijn om hier te zijn.

Michael Luchen

Fijn dat je er bent.

Voor ons publiek ben ik benieuwd: om te beginnen, kun je iets vertellen over je achtergrond en hoe je bent gekomen waar je vandaag bent?

Dan Erickson

Zeker. Mijn achtergrond ligt eigenlijk in engineering.

Ik werk nu ongeveer vijftien jaar aan de technische kant van start-ups. Ik heb me vooral gericht op de beginfase en later ook op groei. Aan het begin van mijn carrière hielp ik startende bedrijven vooral bij het bouwen van hun eerste product en bij het bereiken van hun eerste fase van product-marktfit.

Daarna ging ik werken bij enkele groeibedrijven, zoals Yammer en Eaze. Bij Eaze was ik vicepresident engineering. Ik was CTO bij een bedrijf met de naam Getable, dat actief was op het gebied van verhuur voor de bouwsector. Een paar jaar geleden heb ik Viable opgericht om bedrijven te helpen hun klanten echt te begrijpen en met hen in contact te komen.

Michael Luchen

Hoe kwam je op het idee voor Viable en op de behoefte eraan?

Dan Erickson

Viable heeft via een enigszins kronkelig pad zijn huidige vorm gekregen. We hebben eigenlijk naar de markt geluisterd. Toen we begonnen, noemden we onszelf Viable Fit. We richtten ons op het helpen van startende bedrijven bij het vinden van product-marktfit met behulp van het product-marktfitraamwerk van Superhuman.

We hadden daar een prototypeversie van die NLP gebruikte om bedrijven te helpen de antwoorden te begrijpen die ze kregen op de enquête die Superhuman had opgesteld. We realiseerden ons echter al snel dat de grootste waarde die we leverden in de analyselaag zat, en niet zozeer in het verzamelen van feedback of het meten van product-marktfit.

Daarom gingen we ons meer richten op grotere bedrijven. We verlieten de markt van start-ups in een vroeg stadium en richtten ons op snelgroeiende en grote ondernemingen die enorme hoeveelheden gegevens binnenkrijgen, maar momenteel geen manier hebben om die te analyseren.

Michael Luchen

Fascinerend, vooral de manier waarop jullie begonnen en vervolgens van marktsegment zijn veranderd.

Dan Erickson

Dat draaide volledig om naar de markt luisteren.

Michael Luchen

Voordat we dieper ingaan op Viable, ben ik benieuwd of je voor ons publiek op hoofdlijnen kunt uitleggen wat natuurlijke taalverwerking, of kortweg NLP, is.

Dan Erickson

Zeker. Natuurlijke taalverwerking is in feite een manier om een computer menselijke taal te laten begrijpen.

In de beginfase werd het gebruikt voor vrij eenvoudige dingen, zoals het halen van sleutelzinnen uit teksten of het uitvoeren van sentimentanalyse op specifieke onderwerpen binnen een tekst. NLP bestaat al tientallen jaren, maar in de afgelopen jaren hebben we een enorme renaissance in NLP gezien. Dat komt vooral door transformermodellen en grote taalmodellen. Die hebben een veel dieper begrip van menselijke taal in context mogelijk gemaakt.

In plaats van alleen sleutelzinnen te kunnen vinden of te kunnen aangeven dat iets positief of negatief is, kunnen we nu daadwerkelijk beginnen te begrijpen wat iemand met iets bedoelt. We kunnen ook overeenkomsten tussen verschillende onderwerpen beter begrijpen.

In plaats van bijvoorbeeld de termen ‘toetsenbordsneltoetsen’, ‘toetsenbordopdrachten’ en ‘sneltoetsen’ als drie afzonderlijke ideeën te zien, wordt het mogelijk te begrijpen dat ze eigenlijk hetzelfde betekenen. Dat komt door de diepte van het begrip die deze nieuwe NLP-modellen hebben.

Op hoofdlijnen draait NLP dus om het begrijpen van menselijke taal op een manier die computers kunnen gebruiken om de juiste informatie te halen.

Michael Luchen

Hoe gebruikt Viable NLP?

Dan Erickson

In het hart van ons product bevindt zich onze engine voor kwalitatieve analyse. Die bestaat uit een combinatie van interne en externe modellen, waaronder GPT-3.

GPT-3 vormt de basis voor wat we hier bouwen. Daarbovenop hebben we echter veel aangepaste modellen gebouwd, evenals enkele fijn afgestemde GPT-3-modellen. We werken daarvoor nauw samen met OpenAI en de mensen daar. We gebruiken NLP en natuurlijke-taalgeneratie, oftewel NLG, voor een groot aantal functies.

Een daarvan is thema-analyse. Daarbij nemen we een grote hoeveelheid gegevens uit verschillende bronnen en groeperen we die in thema’s. Zo kunnen we bijvoorbeeld bepalen wat de belangrijkste klachten zijn, wat de belangrijkste complimenten zijn of welke vragen het vaakst worden gesteld.

Elk van die groepen wordt een cluster genoemd, dat wij een thema noemen. We voeren dus thema-analyse uit. We groeperen de items niet alleen, maar gaan vervolgens ook dieper in op elk cluster en vatten het voor je samen, zodat je precies begrijpt waar mensen binnen dat tekstcluster over praten.

Een goed voorbeeld is een videogamecontroller. Stel dat mensen op Reddit schrijven dat de linkerjoystick niet goed werkt. Je hebt duizenden reacties in deze subreddit, maar slechts ongeveer honderd daarvan gaan over die linkerjoystick.

Het zou uren duren om al die informatie handmatig door te nemen en in verschillende groepen onder te brengen. Wij kunnen dat in enkele minuten doen en vervolgens ook alle honderd reacties over de linkerjoystick samenvatten. Je kunt die samenvatting dan doorsturen naar je hardwareteam, zodat zij precies weten waar ze moeten beginnen.

We gebruiken NLP ook voor het extraheren van onderwerpen. Daarbij halen we bijvoorbeeld naar boven over welke functies of producten mensen praten. Daarnaast voeren we thema-analyse en samenvatting uit, waarbij natuurlijke-taalgeneratie wordt gebruikt. Dat is het onderdeel waarin we daadwerkelijk leesbare tekst voor mensen genereren.

Ons gemiddelde rapport bevat zelfs meer dan dertig alinea’s met echte, geschreven analyses die door ons computersysteem zijn opgesteld, zonder menselijke schrijvers. We gebruiken het ook voor onze open vraag-en-antwoordsfunctie. Je kunt een vraag in gewone taal typen. Vervolgens doorzoeken wij je gegevens, vinden we alles wat die vraag mogelijk kan beantwoorden en halen we het door een reeks analysem modellen om de vraag voor je te beantwoorden.

Michael Luchen

Echt fascinerend.

Als ik je hierover hoor praten en ook iets weet van de geschiedenis van Viable als bedrijf, valt op dat dit een behoorlijk geavanceerde technologische productoplossing is.

Toen jullie dit bouwden en probeerden jullie product-marktfit te vinden, zagen jullie toen de technologie en dachten jullie: hierin zit een kans om deze trends op een product toe te passen om een probleem op te lossen?

Of kwam het voort uit het idee: we zien een probleem, laten we een technologie zoeken, en NLP bleek toevallig in een goede staat te zijn om ons probleem op te lossen?

Dan Erickson

Het begon eigenlijk als het tweede. We wilden een echt probleem oplossen. Oorspronkelijk ging het om bedrijven helpen product-marktfit te vinden met het product-marktfitproces van Superhuman. Dat houdt in: een enquête versturen, de antwoorden verzamelen, elk antwoord lezen, ze groeperen in functies of pijnpunten en die informatie gebruiken om je routekaart te sturen.

Het onderdeel waar mensen in dat proces moeite mee hadden, was dat ze geen tijd hadden om elk antwoord te lezen en goed te categoriseren. We realiseerden ons echter snel dat NLP ons hierbij kon helpen en dat het op die specifieke taak met mensen kon concurreren. We begonnen met een vrij eenvoudig NLP-systeem dat vooral onderwerpen extraheerde, met een beetje sentimentanalyse om te helpen begrijpen wat je moest bouwen en waar.

We merkten al snel dat mensen vooral enthousiast waren over de analysekant. Daarom besloten we daar verder op in te zetten en afstand te nemen van het oorspronkelijke probleem dat we wilden oplossen.

We richtten ons vervolgens op een ander probleem dat we tijdens dit proces ontdekten. We begonnen al vroeg samen te werken met bedrijven die al product-marktfit hadden. Zij spraken over het binnenhalen van andere soorten gegevens, in plaats van alleen de enquête die wij verstuurden. Daarom begonnen we een algemener systeem te bouwen. In juni 2020 kregen we toegang tot GPT-3.

Daardoor beseften we dat we dit konden automatiseren. Niet alleen voor één enquête, maar voor letterlijk elk stukje tekst dat een bedrijf verzamelt.

Michael Luchen

Als we die tekst verzamelen, kan er mogelijk ook vooringenomenheid ontstaan.

Ons onderwerp gaat over vooroordelen in NLP en hoe je daarmee omgaat. Voordat we daar dieper op ingaan: hoe kunnen er vooroordelen in NLP terechtkomen als je het in je product gebruikt?

Dan Erickson

Elk taalmodel bevat standaard bepaalde vooroordelen. Dat komt doordat het volledig is getraind op tekst die ooit door mensen is geschreven.

Mensen zijn van nature bevooroordeeld. We zijn geen volledig rationele wezens. Omdat deze systemen worden getraind op een gegevensverzameling die heel menselijk is, zullen we menselijke vooroordelen in deze NLP-modellen introduceren.

De bedrijven die deze modellen aanbieden, doen enorm veel werk om die vooroordelen zo veel mogelijk te verminderen. Ik denk dat OpenAI daarin vooroploopt. Binnen OpenAI zijn complete teams specifiek gericht op het probleem van vooroordelen.

Als je iets als GPT-3 direct uit de doos gebruikt, kan het inderdaad twijfelachtige dingen produceren. Je kunt een deel daarvan tegengaan door bijvoorbeeld het model fijn af te stemmen en te trainen voor een specifieke toepassing. Hoe specifieker de toepassing, hoe beter het resultaat doorgaans zal zijn.

Maar zoals ik zei: alle NLP-modellen hebben inherente vooroordelen. Je moet er echt aandacht aan besteden om ervoor te zorgen dat je het model zo traint dat die vooroordelen zo veel mogelijk worden verminderd.

Michael Luchen

Hoe proberen jullie bij Viable deze vooroordelen aan de voorkant te verminderen? Of is dat überhaupt mogelijk?

Dan Erickson

Het belangrijkste dat we doen, is veel modellen zelf trainen met datasets die we zelf hebben samengesteld. Daardoor kunnen we ons richten op een zeer specifieke toepassing. In plaats van de grote, algemene vorm van een model te gebruiken, gebruik je iets dat is getraind om iets heel specifieks te doen.

Wanneer je iets specifieks doet, is het gemakkelijker om vooroordelen te vermijden. We doen dat met GPT-3 zelf, via het eindpunt voor fijnafstemming, en met alle interne modellen die we hebben ontwikkeld.

Vervolgens vergelijken we al die modellen ook met onze eigen inschatting van vooroordelen. Tijdens het trainen hebben we mensen betrokken om te beoordelen of het model bijvoorbeeld naar X neigt of tegen Y vooringenomen is. Daarna kunnen we meer trainingsgegevens toevoegen om die vooroordelen te compenseren.

Michael Luchen

Zijn er specifieke overwegingen rond de klantdatasets die jullie analyseren?

Dan Erickson

De datasets die we analyseren gebruiken we niet om onze modellen te trainen. We hebben meestal onze eigen datasets opgebouwd.

Soms gebruiken we geanonimiseerde versies met toestemming, maar over het algemeen gebruiken we geen klantgegevens voor training. We analyseren die klantgegevens met vooraf getrainde modellen die we hebben gecontroleerd om er zeker van te zijn dat de vooroordelen zijn verminderd.

We trainen dus meestal niet op de klantgegevens zelf. We analyseren ze met modellen die we al hebben getoetst op problemen met vooroordelen.

Michael Luchen

Een thema dat bij mij naar voren komt, is de voortdurende investering in het verfijnen van jullie modellen, vooral bovenop de basismodellen die door GPT-3 of OpenAI worden aangeboden.

Hoe ziet dat verfijningswerk eruit binnen de productroutekaart? Zijn er speciale perioden voor verfijning, of hoe bepalen jullie de prioriteit ervan binnen jullie productroutekaart?

Dan Erickson

Verfijning is binnen onze routekaart vrijwel een eigen spoor. We voegen bedrijfsfuncties toe, bouwen integraties en hebben daarnaast modelverfijning. Er gebeurt nog veel meer, maar modelverfijning is absoluut iets doorlopends.

Ik kan me eigenlijk geen week herinneren waarin we niet op een of andere manier opnieuw hebben getraind.

We werken intern inmiddels met meer dan twaalf modellen. Ik bedoel niet dat we al die modellen voortdurend opnieuw trainen, maar minstens één ervan wordt in een willekeurige week opnieuw opgebouwd of getraind.

Michael Luchen

Hoeveel tijd van je team gaat daar ongeveer naartoe?

Dan Erickson

Ik zou zeggen dat ongeveer twintig procent van de tijd van het NLP-team gericht is op voortdurende verfijning en hertraining.

Michael Luchen

Heel interessant. Als je kijkt naar de mogelijke vooroordelen in NLP: hoe helpt het gebruik van NLP om mogelijke vooroordelen in traditioneel handmatige processen te verminderen?

Dan Erickson

Als we het hebben over vooroordelen in NLP, is het belangrijk om ook te denken aan de vooroordelen die al aanwezig zijn in het proces dat NLP gaat vervangen.

Productmanagers die proberen te begrijpen waar klanten over klagen, vertrouwen bijvoorbeeld vaak op anekdotes van een supportmedewerker, verkoper of iemand anders met wie ze toevallig contact hadden. Als productmanager heb je vast weleens aan een supportmedewerker of verkoper gevraagd: wat zijn momenteel de grote problemen die we moeten aanpakken?

Die persoon zal meestal iets uit het hoofd noemen. Dat is vaak accuraat, maar meestal niet volledig. Er is vaak sprake van recentheidsbias. Ook bestaat er een voorkeur voor de luidste klanten in plaats van voor de meerderheid.

Mensen kunnen daardoor gemakkelijk worden afgeleid door één specifiek onderwerp dat hun persoonlijke project wordt. NLP heeft geen last van precies die vorm van vooringenomenheid. Hierdoor kun je je perspectief verbreden en meer van de gegevens bekijken, in plaats van vast te zitten aan de beperkte scope van anekdotes.

We produceren gemiddeld meer dan dertig thema’s. Dat aantal neemt zelfs toe naarmate we opnieuw trainen. Het laatste rapport dat we maakten bevatte meer dan driehonderd geïdentificeerde thema’s. Mensen kunnen dat detailniveau en die volledigheid van analyse niet bereiken.

Wanneer ik feedback handmatig doorneem, zou ik elk feedbackitem persoonlijk waarschijnlijk aan één of twee thema’s toewijzen. Meestal zien we echter dat er in de meeste feedbackitems drie tot vijf thema’s aanwezig zijn.

Mensen leggen doorgaans alleen het thema vast dat zij als het centrale probleem zien. Daardoor krijg je bij handmatige verwerking een veel minder volledig beeld dan met iets als NLP.

Michael Luchen

Interessant. Is menselijke controle of menselijke input op een bepaald niveau dan altijd nodig om mogelijke vooroordelen te beperken?

Dan Erickson

Ja. We moeten er altijd naar streven vooroordelen in deze systemen te verminderen, vooral in grote taalmodellen die zijn getraind op terabytes aan menselijke taal. Tegelijkertijd mogen we de verbeteringen die deze systemen vandaag al in de echte wereld kunnen bieden niet uit het oog verliezen.

Dat betekent dat we altijd iemand nodig hebben die de resultaten controleert, ze doorneemt en nagaat of alles goed is.

Wij proberen zo veel mogelijk aan de kant van de modeltraining en via onze interne beoordeling te doen. Daarnaast bieden we onze klanten manieren om feedback te geven, zodat zij kunnen helpen bij het opnieuw trainen. Bij vrijwel elke analyse die we uitvoeren, kunnen klanten een duim omhoog of omlaag geven. Zo kunnen ze aangeven of iets goed of slecht is en of het werkt.

Michael Luchen

Interessant. Kun je op basis daarvan meer details uit de feedback van klanten halen dan alleen een duim omhoog of omlaag, zodat je weet hoe je de modellen moet aanpassen?

Dan Erickson

Dat is nog niet geïmplementeerd. De optie voor een duim omlaag krijgt binnenkort echter een tekstvak dat verschijnt nadat je daarop hebt geklikt. We sturen al die tekst vervolgens terug naar Viable, naar onze eigen instantie ervan.

Zo kunnen we alle thema’s in die feedback identificeren en bepalen welke we moeten aanpakken.

Michael Luchen

Geweldig. Ik denk vaak aan de toekomst van producten. Hoe ziet de toekomst van NLP er volgens jou vandaag uit? En hoe kan dit de toekomst van productmanagement vormen? Je vertelde eerder dat dit voortkwam uit jullie expertise in het vinden van product-marktfit.

Hoe komen die werelden samen?

Dan Erickson

Zoals ik eerder zei, beleven we nu een soort renaissance van NLP. De ontwikkelingen gaan snel. Dat zie je bijvoorbeeld aan multimodale modellen zoals DALL-E 2, waarbij je een beschrijving kunt typen van een afbeelding die je wilt genereren.

Aan de andere kant verschijnt er een afbeelding. Je kunt bijvoorbeeld een eend in een theekopje invoeren en het systeem maakt daar daadwerkelijk een afbeelding van. Dat is indrukwekkend. De grotere ontwikkeling binnen NLP gaat echter richting grotere modellen met een dieper begrip.

GPT-4 zal waarschijnlijk ergens in de komende maanden of het komende jaar uitkomen, afhankelijk van de planning. Waarschijnlijk bevat het aanzienlijke verbeteringen ten opzichte van GPT-3. We zien ook modellen zoals PaLM van Google en modellen van onder meer Microsoft en Facebook.

Deze modellen worden groter en kunnen ook meer context verwerken. Op dit moment worden we beperkt door de hoeveelheid tekst die GPT-3 in één keer kan analyseren. Dat zijn ongeveer tweeduizend tot vierduizend tokens, wat neerkomt op ongeveer vierduizend woorden.

In de toekomst krijgen we volgens mij veel grotere contextvensters. We zullen tienduizenden woorden tegelijk kunnen verwerken in plaats van slechts enkele duizenden. Daardoor kunnen modellen steeds verder van elkaar verwijderde concepten met elkaar verbinden.

Michael Luchen

Als ik productmanager ben en een kans zie om een NLP-model zoals GPT-3, of later dit jaar misschien GPT-4, in mijn product te integreren, waar begin ik dan? Moet ik mijn ontwikkelaars ernaar vragen? Is het een enorme implementatie die jaren werk kost? Of moeten we er pas over een paar jaar serieus naar kijken?

Welke aanpak raad je aan voor productmanagers die luisteren?

Dan Erickson

Ik denk dat de beste plek om te beginnen natuurlijke-taalinterfaces zijn. We kennen opdrachtregelinterfaces en grafische gebruikersinterfaces. Dat zijn allemaal verschillende manieren om met een systeem te communiceren.

Natuurlijke-taalinterfaces, zoals ons vraag-en-antwoordsysteem, GPT-3 of GitHub Copilot, werken op een manier waarbij je opdrachten invoert en het systeem vervolgens iets uitvoert.

Daar zal waarschijnlijk de meeste innovatie plaatsvinden. Het is ook een van de eenvoudigste dingen die vrijwel elk product kan toevoegen. Het maakt natuurlijkere interacties met je product mogelijk. In plaats van gebruikers door een wizard, dialoogvenster of vergelijkbare structuur te dwingen, kun je ze vragen laten stellen en het systeem in gewone taal laten gebruiken.

Dat soort functionaliteit is met iets als GPT-3 relatief eenvoudig direct toe te voegen. Ik raad daarom aan ermee te experimenteren. Ga naar de speelomgeving van GPT-3 bij OpenAI en test wat het kan doen en hoe het je product kan helpen.

Michael Luchen

Geweldig. Voordat we afronden, wil ik graag enkele persoonlijke vragen uit een korte ronde stellen, als dat goed is.

Dan Erickson

Zeker, klinkt goed.

Michael Luchen

Welke persoonlijke gewoonte heeft het meest bijgedragen aan je succes?

Dan Erickson

Voor mij is dat acht uur slaap krijgen. Als oprichter is dat soms erg moeilijk, maar ik merk dat slaap de basisgewoonte is voor al het andere. Als je te weinig slaapt, presteer je minder goed.

Je gaat maaltijden overslaan en misschien je training van die dag missen. Voor mij is slaap daarom de ene gewoonte die niet opgeofferd kan worden ten gunste van andere dingen.

Dat betekent niet dat ik nooit een drukke periode heb waarin ik tot diep in de nacht doorwerk, maar meestal probeer ik daar consistent in te zijn.

Michael Luchen

Wat is je favoriete hulpmiddel dat je regelmatig gebruikt?

Dan Erickson

Op dit moment absoluut GitHub Copilot. Ik gebruik Visual Studio Code voor al mijn ontwikkelwerk. We zijn een klein team, met momenteel ongeveer tien mensen bij Viable.

Ik programmeer dus nog steeds. Het is geweldig om ermee te werken. GitHub Copilot is in feite NLP voor code in plaats van Engels. Je begint code te typen in je editor en het systeem probeert te begrijpen wat je doet en schrijft vervolgens meer code voor je.

Het is een soort AI-programmeerpartner. Inmiddels wordt ongeveer vijftig procent van de code die ik schrijf daadwerkelijk door GitHub Copilot geschreven.

Michael Luchen

Dat is ongelooflijk.

Tot slot: welk advies zou je iemand geven die aan het begin van zijn productcarrière staat?

Dan Erickson

Blijf niet vastzitten in een sleur. Je krijgt een idee en dat idee zal waarschijnlijk geweldig lijken, maar het is misschien niet wat je bedrijf daadwerkelijk naar succes zal brengen. Meestal verschilt het oorspronkelijke idee van waar je uiteindelijk uitkomt.

Het is belangrijk om naar je gebruikers te blijven luisteren en je door hen in de juiste richting te laten trekken, in plaats van alleen op je eigen intuïtie te vertrouwen.

Michael Luchen

Dat is heel mooi gezegd en een geweldige manier om af te sluiten.

Heel erg bedankt dat je vandaag bij ons was, Dan. Ik heb veel geleerd over NLP en neem zeker een aantal inzichten mee naar de producten waaraan ik heb gewerkt.

Dan Erickson

Geweldig. Bedankt dat ik erbij mocht zijn. Het was fijn hier te zijn.

Michael Luchen

Je kunt meer over Dan vinden op LinkedIn. Je kunt ook meer leren over zijn bedrijf Viable via askviable.com.

Dan, nogmaals bedankt dat je erbij was.

Bedankt allemaal voor het luisteren. Laat vooral een beoordeling van de podcast achter en laat ons weten wat je ervan vindt. Als je dat nog niet hebt gedaan, volg dan ook onze community en sluit je erbij aan via theproductmanager.com

Nogmaals bedankt en een fijne dag!