Hoe je plezier beleeft aan UX-onderzoek

Lees het transcript:

We proberen onze podcasts uit te schrijven met behulp van een softwareprogramma. Vergeef ons eventuele typefouten, want de bot heeft het niet altijd voor 100% bij het rechte eind.

Hannah Clark: Ben je meer iemand die met de linkerhersenhelft of met de rechterhersenhelft denkt? Als je niet weet waar ik het over heb: mensen die vooral hun linkerhersenhelft gebruiken, zijn doorgaans analytischer en meer gericht op statistieken, terwijl mensen die vooral hun rechterhersenhelft gebruiken vaker verhalen inzetten om de wereld te begrijpen. Dus als we nadenken over kwalitatief en kwantitatief onderzoek, kun je waarschijnlijk wel raden welke typen mensen zich doorgaans tot welke onderzoeksmethoden aangetrokken voelen. En dat is geweldig—we hebben ze uiteindelijk allebei nodig—maar het blijkt dat de twee combineren een stuk makkelijker gezegd is dan gedaan. Hoe combineer je cijfers en verhalen om een nauwkeurig beeld te schetsen? En hoe zorg je er, ongeacht de onderzoeksmethode, voor dat je gegevens deugen?

Mijn gast vandaag is de geweldige Laura Klein, Principal bij Users Know en auteur van Build Better Products en UX for Lean Startups. In de afgelopen twintig jaar heeft Laura met heel wat productteams gewerkt en gezien hoe veel van die teams tegen dezelfde problemen aanlopen als het gaat om het uitvoeren en toepassen van gebruikersonderzoek. Ze gaat een aantal van haar nuttigste observaties en adviezen voor productteams met ons delen, vooral later in de aflevering, wanneer we ingaan op de belangrijke rol van segmentatie en onderzoek. Voor deze aflevering heb je beide kanten van je brein nodig, dus laten we beginnen.

Welkom terug bij The CPO Club Podcast.

Laura, heel erg bedankt dat je tijd in je agenda hebt vrijgemaakt om met ons te praten.

Laura Klein: Bedankt dat je me hebt uitgenodigd.

Hannah Clark: We beginnen met iets over jezelf en hoe je Users Know hebt opgericht.

Laura Klein: Ja. Zoals je zei, ben ik iemand van UX en producten. Ik ben een herstellende engineer. Ik werk al sinds de jaren negentig in de technologie. Het is dus al een tijdje geleden. Ik heb allerlei verschillende dingen gedaan. Oorspronkelijk heb ik Users Know begin jaren 2010 opgericht. Ik weet de datum eigenlijk niet meer; vroeger wist ik die zeker. Ik heb geleerd hoe ik moest ontwerpen bij een geweldig gespecialiseerd ontwerpbureau, waar we ontwerp en onderzoek voor klanten deden.

Daar heb ik ontzettend veel geleerd. Het was geweldig. Dat was nadat ik al geruime tijd, voornamelijk bij startups, als engineer had gewerkt. Uiteindelijk ben ik vertrokken omdat ik eerlijk gezegd de mogelijkheid wilde hebben om mijn klanten te ontslaan. Dat is honderd procent de waarheid. Als je voor een bureau werkt, maak ik altijd de grap dat je heel veel mensen tevreden moet houden.

Je moet je bazen tevreden houden, je klanten tevreden houden. En idealiter moet je, als UX-ontwerper, ook je cliënten/klanten tevreden houden. En vreemd genoeg zijn die dingen soms met elkaar in conflict. Wat ik me realiseerde, was dat ik veel beter functioneerde wanneer ik kon werken met klanten die het volledig met me eens waren over hoe we het werk zouden aanpakken.

En ik heb het altijd erg leuk gevonden om met mensen te werken die meegaan in mijn manier van werken. Niet dat die bijzonder belerend is, maar ik heb een specifieke manier waarop ik dingen aanpak. Als je daarin meegaat, kunnen we het geweldig met elkaar vinden en samen veel goed werk leveren.

Hannah Clark: Ja, ik kom zelf ook uit de bureauwereld en ik herken heel goed dat dingen zoveel beter werken als er een klik is. Soms kun je zo’n klik niet afdwingen.

Laura Klein: Dan zeggen mensen: je wilt dit andere ding dat ik niet met je heb afgesproken en waarvan ik niet zeker weet of ik het voor je kan doen. En de helft van de tijd dat ik daadwerkelijk nieuwe klanten werf voor Users Know—dat is niet altijd, want soms heb ik een fulltimebaan en soms zit ik helemaal volgeboekt—

maar wanneer ik dat wel doe, besteed ik veel tijd aan het vertellen van mensen: oh, dat doe ik niet. Je kunt beter met die-en-die praten, iemand die ik ken en die dat wel doet. Je zult veel gelukkiger met hen zijn, want zij zijn er beter in dan ik. Dus ik wijs ongeveer de helft van de mensen af.

Want er is maar één jij en je hebt maar een paar projecten nodig. Je wilt de projecten vinden waarvan je echt denkt: oh, dit is iets waar ik heel goed in zou kunnen zijn. Toch?

Hannah Clark: Ja, ik denk dat dat bijna een teken van succes is: dat je in een positie verkeert waarin je echt de projecten kunt kiezen die jou en je klant brengen waar jullie allebei willen zijn. Daar heb ik dus veel respect voor.

Vandaag richten we ons op het combineren van kwalitatief en kwantitatief onderzoek om betere beslissingen te nemen in een productcontext. Wat kun je vanuit je eigen ervaring vertellen? Waar zie je teams moeite mee hebben als het gaat om het combineren van die twee disciplines?

Laura Klein: Met alles. Dit is een van de manieren waarop ik werk die heel specifiek is. Ik denk echt—dit is het probleem: ik zie dat mensen vreemd genoeg met beide kanten hiervan worstelen. Veel mensen hebben echt moeite met het uitvoeren van kwalitatief gebruikersonderzoek. Veel mensen hebben ook echt moeite met het uitvoeren van kwantitatief gebruikersonderzoek.

En als het neerkomt op het combineren van de twee, ben je eigenlijk op zoek naar een eenhoorn, toch? Het is gewoon heel moeilijk, omdat er zoveel goed moet gaan. En ja, ik maak geen grapje. Ze worstelen met alles. Veel mensen weten niet hoe ze goed kwalitatief onderzoek moeten doen.

Ze weten niet wanneer ze het moeten doen. Ze weten niet wanneer ze de geweldige professionals moeten inschakelen die dit voor hun beroep doen, er fantastisch in zijn en echt weten wat ze doen. Aan de kwantitatieve kant is wiskunde moeilijk, toch? Niet alleen is de wiskunde moeilijk, ook statistiek is voor vrijwel niemand intuïtief.

Daarnaast is het moeilijk om je product zo te instrumenteren dat je de juiste gegevens kunt verzamelen. Zoveel bedrijven verzamelen alle gegevens, maar op de een of andere manier klopt geen enkele ervan. Het is aan beide kanten een puinhoop. En vervolgens neem je kwalitatief onderzoek dat slecht is uitgevoerd, dat misschien niet de echte problemen heeft aangepakt of geen goede vraag had die het in de kern probeerde te beantwoorden, en combineer je dat met gegevens die lukraak zijn verzameld en misschien niet eens correct zijn.

En dan probeer je de twee te combineren. Dan krijg je wat je krijgt en niets ervan deugt. Dat geldt niet voor iedereen—dat is het slechtst denkbare scenario. Ik zie vaak bedrijven die bijvoorbeeld een heel goed kwalitatief onderzoeksteam hebben en geweldig zijn in het verzamelen van die informatie.

Misschien zijn ze minder goed in het integreren ervan in de besluitvorming over het product. Of je ziet productmanagers die zo gefocust zijn op de gegevens dat ze helemaal niet naar de kwalitatieve kant kijken. Ze begrijpen dus niet echt waarom iets gebeurt. Ze kijken de hele dag alleen maar naar cijfers.

En dan zeggen ze: misschien is het dit. Misschien is het dat andere. Misschien is het weer iets anders. Dat is een heel gangbaar patroon: de “datagedreven” productmanager. Kijk, ik ben helemaal voor datageïnformeerde productbesluitvorming, maar de gegevens vertellen je niet waarom iets gebeurt. Ze vertellen je alleen wat er gebeurt.

En soms doen ze dat zelfs niet zo goed. Dus ja, alles is moeilijk. Daarom zou je het eigenlijk niet moeten proberen en gewoon op je gevoel moeten afgaan. Nee, dat is niet waar. Sorry.

Hannah Clark: Ja, dat is absoluut niet de conclusie.

Laura Klein: Dat is absoluut niet de conclusie. De echte conclusie is: geef niet op.

Hannah Clark: Nee, we zetten door. De show moet doorgaan.

Laura Klein: Ja, we erkennen dat wat we doen moeilijk is, geven onszelf de ruimte om nieuwe dingen te leren en geven toe dat we misschien niet alles weten. Ik leer voortdurend nieuwe dingen over beide kanten hiervan, en we werken met experts die goed zijn in elk onderdeel. We doen zo goed mogelijk ons best.

Hannah Clark: Ik vind het interessant om hier wat dieper op in te gaan en ook te bespreken hoe we ervoor kunnen zorgen dat de gegevens die we verzamelen wat betrouwbaarder zijn, of een betere bron van inzichten vormen voor wat we proberen te bereiken.

Maar laten we voor dit voorbeeld aannemen dat we kwalitatief en kwantitatief onderzoek van goede kwaliteit hebben.

Laura Klein: Ja, we zijn in beide geweldig.

Hannah Clark: Ja. Stel je voor dat we de besten van de besten aan het werk hebben. Op welke manieren kunnen we die twee soorten onderzoek dan samenbrengen in de context van productbesluitvorming?

Laura Klein: Goed. Laten we zeggen dat we niet eens zeggen dat we geweldige gegevens hebben.

We zeggen dat we de mensen en processen hebben om eropuit te gaan en geweldige gegevens te verzamelen, want de eerste stap is echt bepalen welke vraag je probeert te beantwoorden. Dat is net zo moeilijk als de rest. Veel mensen hebben, zoals ik al zei, zoiets van: oh, we hebben dashboards ingericht.

Dus we doen voortdurend gebruikerstests en al die andere dingen. Prima, maar je probeert een beslissing te nemen, toch? Je probeert een specifieke beslissing te nemen. Willen we X doen? Welke nieuwe functie willen we als volgende bouwen? Wat heeft prioriteit? Allerlei beslissingen die we als productmensen elke dag nemen.

Geweldig. Welke probeer je nu te nemen? Hoe kunnen we de activatie van deze specifieke functie verbeteren? Of hoe kunnen we de acquisitie verbeteren? Of hoe voorkomen we dat mensen na X maanden afhaken? Dit zijn het soort vragen dat we onszelf vaak moeten stellen. Soms moeten we ons afvragen: is deze functie beter, of die functie?

Welke van de twee zal waarschijnlijk het doel bereiken dat ik het hardst moet bereiken? Dat brengt ons weer bij de vraag: wat zijn mijn statistieken en wat probeer ik er in vredesnaam mee te doen? Je moet dus beginnen met een goede vraag die beantwoord kan worden. Het kan niet zijn: hoeveel zou iemand hiervoor betalen? Dat kan natuurlijk wel, maar dat is in beide opzichten een ontzettend moeilijke vraag om te beantwoorden.

Dat is dus een lastige, maar soms moet je die toch beantwoorden. Je moet de vraag echt afbakenen. Wat probeer ik precies te beantwoorden? Daarna kijk je naar de gegevens. Zoals ik zei, vertellen kwantitatieve gegevens je wat er op dit moment met je product gebeurt. En wanneer ik het over kwantitatieve gegevens heb, bedoel ik niet per se marktonderzoek, al kan dat in een vroeg stadium ook iets zijn wat je erbij wilt betrekken.

Ik heb het specifiek over analyses, statistieken en zaken die je binnen je product meet. Kwantitatieve gegevens doen bijvoorbeeld vaak geen goed werk wanneer je nog vóór je product zit. Je hebt nog niets gelanceerd, dus je hebt geen kwantitatieve gegevens. Of als je nog niet veel gebruikers hebt, heb je misschien niet genoeg kwantitatieve gegevens.

Je moet dus nadenken over wanneer je die gegevens gebruikt. Maar fundamenteel vertellen ze je alleen: wat doen mensen? Waar klikken ze op? Wat kopen ze? Als ze hierop klikken, kopen ze dan vervolgens dat andere? Het vertelt je allerlei dingen over waarom.

Kwalitatieve gegevens—en we hebben het hier over gebruikersonderzoek en/of gebruikerstests, wat twee verschillende dingen zijn—gaan over het algemeen over gebruikersonderzoek als geheel. Het gaat erom dat je je gebruikers echt begrijpt: wat hun mentale modellen zijn, wat hun context is, wat ze proberen te doen, welke problemen ze in het algemeen en met jouw product hebben. Al dat soort dingen helpt je begrijpen waarom de dingen die gebeuren, gebeuren.

Dat is het. Het vertelt je niet wat er gebeurt. Zeker omdat kwalitatief onderzoek vaak met veel kleinere groepen mensen wordt uitgevoerd. En dit is een iteratief proces. Het is niet zo dat je vijf mensen spreekt en dan voor altijd klaar bent. Maar je neemt misschien wel beslissingen op basis van gesprekken met vijf mensen. Vervolgens spreek je weer met andere mensen en doe je nog een ronde.

Je kunt maar met een beperkt aantal mensen praten en je doet dat over een langere periode. Het is heel goed mogelijk dat je met mensen praat en een heel goed beeld krijgt van wie ze zijn en wat ze doen. Maar alleen door met mensen te praten, krijg je nooit zo’n goed beeld van wat er gebeurt.

Je begrijpt wel waarom. Een voorbeeld: stel dat je een afrekenproces hebt. We nemen iets eenvoudigs. Iets wat we allemaal hebben gedaan en misschien ook allemaal hebben gebouwd. Dit is heel gebruikelijk. Iedereen hier heeft wel eens een afrekenproces in een digitaal product doorlopen.

Die processen zijn doorgaans redelijk lineair. Ze bestaan uit verschillende stappen. Er is informatie die het bedrijf absoluut van je nodig heeft. Als je gegevens goed zijn ingericht, kun je zien waar mensen uit dat proces vallen. En ik garandeer je: iemand is uit dat proces gevallen.

We noemen het een trechter. Het lijkt meer op een zeef. Bijna iedereen haalt het einde. In het beste geval is het een trechter. In werkelijkheid vallen mensen er voortdurend uit. Een waardeloze trechter. Dit gebeurt dus. Gegevens vertellen je precies waar mensen afhaken. Geweldig. Vervolgens zie ik veel productmanagers zeggen: oh, iedereen haakt hier af, waar ze hun creditcardgegevens moeten invullen, en dan beginnen ze oplossingen te bedenken.

We moeten dit doen. We moeten die verandering aanbrengen. We moeten dit zichtbaarder maken. We moeten het makkelijker maken. Of je kunt gewoon een paar mensen naar dat verdomde afrekenproces laten kijken en proberen te begrijpen of er iets voor de hand liggends gebeurt. Want het kan van alles zijn. Ik heb tientallen verschillende dingen gezien waardoor mensen afhaken bij betaalprocessen, onboardingprocessen of gegevensverzameling.

En het belangrijke is—de reden dat het waarom ertoe doet—is dat de juiste oplossing voor het probleem afhangt van wat het probleem precies is. Het probleem is niet dat mensen afhaken. Dat is jouw probleem. Hun probleem is bijvoorbeeld: ik begreep dit niet. Of: er was een fout waardoor ik dit niet kon doen. Als je dat niet ziet of niet weet dat het bestaat, zul je het nooit oplossen.

Je lost het probleem met het betaalproces nooit op. Of je hebt niet de juiste betaalmethoden. Of een van een dozijn andere problemen. Het is soms schokkend wanneer je iemand observeert en denkt: oh, het is dat kleine dingetje. Dat kan ik gewoon oplossen. Ik heb meegemaakt dat engineers naar mijn gebruikersonderzoek of gebruikerstests keken en de fout die het probleem veroorzaakte tijdens de test al oplosten en naar productie brachten.

We hadden een probleem gevonden. Het was duidelijk een probleem. Het was duidelijk een fout. De engineer die toekeek, met de laptop letterlijk op schoot, loste het gewoon op. Later in de sessie kwamen we erop terug en zei de deelnemer: oh, ik dacht dat dit kapot was.

Ik zei: dat dacht ik ook. Ik draaide me om en de engineer knikte en gaf me een duimpje omhoog. Ik dacht: nou, dan is het blijkbaar geen probleem meer. Ik wil maar zeggen: dit is een goed voorbeeld van het feit dat je niet alleen moet begrijpen wat er gebeurt en daarna meteen allerlei ideeën moet bedenken om het op te lossen. Zoek eerst uit waarom het gebeurt.

Misschien is er een heel eenvoudige oplossing, waarna je verder kunt met je leven en met belangrijkere problemen.

Hannah Clark: Wat denk je dat ons ervan weerhoudt om eerst naar die oplossing te zoeken in plaats van meteen oplossingen te bedenken? Waarom is dat volgens jou niet de standaardaanpak?

Laura Klein: Kwalitatief onderzoek is moeilijk. Het wordt vaak gezien als tijdrovend. En soms is het inderdaad tijdrovend. In sommige organisaties is het gewoon veel moeilijker dan in andere. Als je in een grote organisatie werkt waar je maar met een beperkt aantal mensen mag praten, of waar het moeilijk is om deelnemers te werven, of waar geen goed proces voor onderzoeksactiviteiten is ingericht om mensen te vinden,

dan is het veel werk. Het kan veel werk zijn. Het kan redelijk eenvoudig zijn als alles al zo is ingericht dat je op het juiste moment het juiste soort onderzoek kunt opstarten. Sommige mensen hebben die expertise gewoon niet. Ze voelen zich niet op hun gemak wanneer ze eropuit moeten gaan om met mensen te praten.

En ideeën bedenken is makkelijk en leuk, en je kunt het gewoon in een ruimte doen. Het is iets heel menselijks. Ik kan niet zeggen hoe vaak ik gesprekken met mensen heb gevoerd over van alles—niet alleen producten, gewoon over alles. Wat wil je vanavond eten? Ik weet het niet.

Dan begin je gewoon over verschillende soorten eten te praten. Je zit daar niet te denken: goed, je hebt geen volledig proces om dit uit te zoeken. Ik denk dat het menselijk brein gemaakt is om ideeën te bedenken. Ideeën zijn leuk en eenvoudig. Maar ze zijn niet altijd geweldig.

En ook niet altijd de juiste. Dat is het punt. Daarnaast hebben veel productmensen volgens mij sterke ideeën over wat er mis is met hun product. We weten allemaal dat de dingen die we maken niet perfect zijn en we kunnen heel sterk geloven dat iets een probleem is.

Dan raak je gemakkelijk verstrikt in: ik wist dat dit een probleem was vanwege zus en zo, dus ik ga dit probleem oplossen waarvan ik weet dat het bestaat, ook al heeft het misschien niets te maken met het probleem dat je nu tegenkomt. Dat zie ik ook vaak. Mensen zeggen: ja, maar ik wil AI toevoegen. Dus alle problemen komen doordat we niet genoeg AI hebben. Sorry, maar ik kan je nu al vertellen dat jouw probleem niet is dat je niet genoeg AI hebt.

Hannah Clark: Zeg het wat harder voor de mensen achterin. Ik zou hier een hele andere aflevering over kunnen maken.

Laura Klein: Ja, ik ook. Er zijn zeker problemen die je met AI kunt oplossen. Sommige los je misschien zelfs beter met AI op. Wie weet? Maar het probleem is niet dat je product niet genoeg functies heeft.

Hannah Clark: Daar proost ik op. En zeker niet op het feit dat het geen AI-functie heeft.

Laura Klein: Ja, het heeft geen specifieke functie. Jouw probleem is dat het de problemen van de gebruiker niet oplost op een manier die nuttig en waardevol voor die gebruiker is.

Hannah Clark: Daar heb ik een tattoo van nodig.

Laura Klein: Misschien kun je het op een kussen laten borduren.

Hannah Clark: Ja.

Laura Klein: Het is een beetje lang.

Hannah Clark: Ik ben het er volledig mee eens. Het staat niet echt mooi op een lichaam.

Laten we het hebben over enkele verschillende situaties waarin het gepast is om de ene methode boven de andere toe te passen: kwalitatief versus kwantitatief. Ik denk dat je een heel beknopt voorbeeld hebt gegeven van hoe de ene methode de andere informeert. Er zijn natuurlijk contexten waarin de ene waardevoller is dan de andere. Laten we het dus hebben over enkele uitzonderingen.

Laura Klein: Goed. Een van de dingen die je moet onthouden, is dat een van beide soms absoluut niet voor je beschikbaar is.

In dat geval doe je het beste met wat je hebt. Zoals ik zei, is het in bepaalde omgevingen, vaak binnen grote organisaties, erg moeilijk om kwalitatieve gegevens van de juiste mensen te krijgen. En grote organisaties zijn interessant, omdat je meerdere soorten gebruikers hebt. Vaak heb je de koper en de klant, die enorm van elkaar verschillen en totaal andere behoeften en wensen hebben.

Het kan dus veel eenvoudiger zijn om input van de ene groep te krijgen dan van de andere. En dan heb ik het nog niet eens over beheerders. Hoewel ik veel onderzoek met hen heb gedaan en het buitengewoon nuttig is, zijn ze moeilijk te bereiken. Soms is het gewoon heel moeilijk om die informatie te verkrijgen, maar het is nog steeds absoluut de moeite waard.

Mijn advies is dan om een proces op te zetten waarmee je die mensen kunt vinden. Kwantitatieve gegevens zijn opnieuw een goed voorbeeld bij grote organisaties. Soms heb je er gewoon niet genoeg van. Vooral als je het hebt over kwantitatieve gegevens in de vorm van A/B-tests, waar ik vaak over praat en die ik in bepaalde omstandigheden ongelooflijk nuttig vind, maar niet op de manier waarop de meeste mensen ze gebruiken.

A/B-tests zijn geweldig als je genoeg mensen hebt om het verschil te kunnen zien. Maar als je nog vroeg in een rechtstreekse consumentenmarkt zit, te veel verschillende segmenten hebt om het verschil goed te begrijpen, of in een organisatie werkt waar je gewoon niet zoveel gebruikers hebt,

zul je die gegevens nooit krijgen. Dat kan niet. Die optie heb je dan niet. Sorry. Je zult kwalitatief onderzoek moeten doen en je beste inschatting moeten maken.

Hannah Clark: Ik ben heel benieuwd: hoe bepalen we welke steekproefomvang we nodig hebben voordat we bepalen wat onze doelen zijn voor het verzamelen van die hoeveelheid gegevens?

Laura Klein: Aan de datakant ga ik je zeggen dat je met een echte datawetenschapper moet praten. Ik maakte geen grapje: wiskunde is moeilijk en dit specifieke type wiskunde is ontzettend moeilijk. Ik heb mensen dit vaak verkeerd zien doen. Er zijn allerlei vreemde problemen die je niet verwacht, zoals het gluurprobleem.

Dat is G-L-U-R-E-N: je hoort niet naar de gegevens te kijken voordat de test is afgelopen. Hoe dan ook, het is een heel onderwerp. Er is veel informatie over te vinden. Ik ben dus niet degene die je die wiskunde moet uitleggen. Het verschilt te sterk en hangt van te veel factoren af. Er is het aantal mensen dat je in elke tak van een A/B-test nodig hebt.

Daarnaast zijn er varianten. We lopen vaak tegen het probleem aan dat je enorme uitschieters in je gegevensverzameling kunt hebben. Als je bijvoorbeeld grote klanten hebt die tienduizenden euro’s uitgeven terwijl de meeste mensen één euro uitgeven, kan dat je A/B-gegevens gemakkelijk vertekenen.

Er zijn dus allerlei variabelen waar je naar moet kijken om je gegevens goed te krijgen. Daarom zeg ik dat de meeste mensen er slecht in zijn: het is moeilijk en je hebt experts nodig. Voor kwalitatief onderzoek raad ik ook aan experts in te schakelen, maar om een heel andere reden.

Ik zeg altijd dat je bij kwalitatief onderzoek niet op zoek bent naar statistische significantie. Dat is gewoon niet iets wat je gaat bereiken. Als mensen zeggen: we hebben kwalitatief onderzoek gedaan dat statistisch significant was, dan zeg ik: nee, dat heb je niet. Kom op. Waar je naar zoekt, zijn patronen die zich herhalen en voorspelbaar zijn.

Er is een oude studie die volgens mij al bestaat sinds ik in de jaren negentig met onderzoek begon. Daarin stond zoiets als: met vijf mensen zie je de meeste problemen. Maar goed, dat gaat specifiek over gebruikerstests. Het gaat om het vinden van obstakels in een bepaalde interface van een product. Het doet veel aannames, bijvoorbeeld dat iedereen het product op dezelfde manier gebruikt.

Dat kan dus inderdaad kloppen voor bijvoorbeeld een afrekenproces dat slechts in één land wordt gebruikt en maar een paar verschillende soorten gebruikers heeft. Dan kun je misschien veel van je gebruiksproblemen vinden bij vier of vijf mensen. Ik heb de fout waar we het eerder over hadden zelfs bij één persoon gevonden.

Als het bij die persoon gebeurt, gebeurt het waarschijnlijk bij veel mensen. We moeten het gewoon oplossen. En dat bleek inderdaad zo te zijn. Je kunt bepaalde dingen dus heel eenvoudig en snel ontdekken.

Maar vaak moet je met mensen blijven praten totdat je de patronen die je zult zien kunt voorspellen. Daarom vind ik het prettig om de gegevens voortdurend te synthetiseren. Nadat we met iemand hebben gesproken, gaan we terug en vatten we alles samen: wat waren de belangrijkste conclusies?

Wat waren de observaties? Welk gedrag vertoonde deze persoon? Wat waren hun behoeften? Wat waren hun problemen? Wat waren hun doelen? Vervolgens bouw je dat steeds verder uit totdat je kunt zeggen: oh, dit is het soort persoon dat binnenkomt. Ik denk dat die waarschijnlijk in deze groep valt.

Of je nu persona’s, organisat persona’s of iets anders gebruikt, je kunt zeggen: dit soort persoon komt binnen. Ik voorspel dat die waarschijnlijk op deze manier handelt en deze problemen heeft. Als je gelijk hebt, begin je de patronen te zien. Kwalitatief onderzoek zou gewoon doorlopend moeten zijn.

Je moet voortdurend met mensen blijven praten. Je hoeft je dus niet al te veel zorgen te maken over de steekproefomvang. Als een paar mensen ergens echt mee worstelen, zijn zij waarschijnlijk niet de enige drie mensen ter wereld met dat probleem. Je hebt waarschijnlijk niet toevallig uitzonderlijk domme gebruikers gevonden.

Als dat wel zo is, is dat interessant, want misschien moet je naar je selectieproces kijken. Of misschien zijn dat gewoon je gebruikers. Maar over het algemeen zie je, wanneer je mensen binnenhaalt om met ze te praten, vrij snel steeds dezelfde dingen terugkomen.

Als dat niet zo is en je totaal verschillende dingen ziet, heb je misschien te maken met een probleem waarbij je je onderzoeksdeelnemers niet goed hebt gesegmenteerd. Niet iedereen gebruikt producten voor hetzelfde doel. Niet iedereen gebruikt producten op dezelfde manier.

Als je met ervaren gebruikers praat in plaats van met nieuwe gebruikers, krijg je waarschijnlijk andere problemen. Als je met mensen praat die alleen op een bepaalde manier kopen, of met mensen die groothandelsaankopen doen in plaats van mensen die alleen voor hun gezin kopen, zie je ander gedrag en hebben ze waarschijnlijk andere behoeften.

Als je sterk uiteenlopende behoeften ziet bij al die mensen, moet je misschien uitzoeken waarom ze verschillen. Vallen ze daadwerkelijk in verschillende groepen?

Hannah Clark: Ja. Ik ben blij dat je segmentatie noemt. Dat wordt vaak over het hoofd gezien wanneer we een gegevensverzameling ontwikkelen waarop we daadwerkelijk beslissingen kunnen baseren.

Welk advies zou je geven wanneer we aan een onderzoeksproces beginnen en weten dat segmentatie, of het onderzoek nu kwalitatief of kwantitatief is, een belangrijke factor wordt? Hoe pakken we dat proactief aan?

Laura Klein: Segmentatie is bijna altijd belangrijk. Maar nogmaals—o god, ik ga het zeggen. Sorry. Ik ga UX-ontwerper spelen: het hangt ervan af. Daar laat ik het niet bij.

Waarvan hangt het af? Van allerlei factoren. Laten we bijvoorbeeld praten over een AI-functie die ik ooit geïmplementeerd heb zien worden. Het was een product waarmee recruiters contact konden opnemen met potentiële werkzoekenden.

Je kent dat wel: wanneer je zo’n bericht krijgt op welk platform dan ook, staat er: hé, we hebben je cv gezien en dachten dat je misschien geïnteresseerd bent in X.

Het bleek—en dat zal niemand verbazen—dat veel mensen heel slecht zijn in het schrijven van zulke e-mails. Zelfs mensen die het beroepsmatig doen, zijn er soms slecht in. Die e-mails zijn moeilijk om te schrijven. Een groot percentage mensen doet het dus slecht, vooral mensen die het niet voortdurend doen.

Denk aan een manager die misschien één of twee mensen zoekt. Die heeft niet echt nagedacht over hoe hij contact moet opnemen met iemand en moet zeggen: hé, heb je interesse om langs te komen en met me te praten? Het bedrijf besloot dus wat AI-magie toe te voegen om mensen te helpen betere contactmails te schrijven.

En dat werkte. Een van de toepassingen van AI is een onderwerp samenvatten en een betere e-mail schrijven. Je kon aangeven of de toon wat informeler of formeler moest zijn. Over het geheel genomen was het erg nuttig.

De AI-e-mails namen de belangrijke informatie uit de vacature mee, maakten de tekst duidelijker en zorgden ervoor dat die minder spamachtig aanvoelde. Over het algemeen was het dus geweldig. De resultaten verbeterden en er kwamen meer reacties. Maar hier zat het probleem.

Er was een kleine groep mensen die dit product gebruikte en hier werkelijk experts in waren. Dit was het enige wat ze deden. Ze schreven de hele dag zulke contactmails. Ze testten ze zelf met A/B-tests en moesten zich aan bedrijfsstandaarden houden. Stel je een zeer professionele recruiter voor die de hele dag niets anders doet dan deze e-mails versturen.

Ze hadden teams van datawetenschappers die onderzochten welke e-mails het beste presteerden. Raad eens? De AI hielp hen niet. Sterker nog, de AI kon hun werkwijze verstoren. Ze wilden absoluut niet dat iets een sjabloon herschreef dat aan hun bedrijfsstandaarden voldeed, alle verplichte juridische informatie bevatte en al met A/B-tests was gevalideerd.

Ze wilden hun eigen werkwijze gebruiken. En natuurlijk waren dit de mensen die het product het meest gebruikten en het meest waarschijnlijk ervoor betaalden. Je hebt dus een grote groep mensen die je niet veel geld oplevert en een kleine groep die je veel geld oplevert.

Dan moet je beslissen hoe je hiermee omgaat. Het antwoord is natuurlijk: geef mensen de keuze, maar verplicht het niet. Als je alleen naar de gegevens kijkt en zegt: mensen doen het over het algemeen beter met AI, dan klopt dat niet helemaal. De meerderheid doet het beter met AI. De kleine groep die je het meeste geld oplevert, doet het juist slechter.

Dus nee, we gaan dit niet aan iedereen opleggen. Niet iedereen hoeft dit te gebruiken. Houd er rekening mee dat je heel verschillende groepen mensen kunt hebben en dat sommige groepen, wat hun gedrag betreft, belangrijker zijn voor je bedrijf dan andere.

Hannah Clark: Dit is zo’n goed voorbeeld van hoe segmentatie niet alleen gaat over wie je segmenteert of welke segmenten je hebt, maar ook over de rol die ze spelen in de totale bedrijfswaarde en de productstrategie. Ik ben blij dat je dat noemt, want ik zou graag willen dat we hier allemaal rekening mee houden wanneer we AI-functies integreren.

Laura Klein: Het geldt voor alle functies, maar voor AI in het bijzonder.

Hannah Clark: Ik heb er zo mijn bedenkingen bij. Maar goed, ik dwaal af. Omdat we bijna aan het einde van onze tijd komen, wilde ik het nog hebben over hoe we plezier kunnen beleven aan het onderzoeksproces.

Ik heb het gevoel dat onderzoek vaak wordt gezien als iets droogs of als een soort tijdverslindende activiteit. Maar er zijn zoveel inzichten en zoveel waarde te halen uit het praten met mensen. En er zit ook veel plezier in. Dat is iets waar jij het volgens mij ook over hebt gehad. Wat is het leukste dat je ooit tijdens een onderzoeksproject hebt meegemaakt?

Laura Klein: Soms verandert het in knutselen, en als je net als ik bent, is dat gewoon leuk. Niet iedereen is zoals ik en is dol op Excel-spreadsheets, draaitabellen en gegevens. Dat begrijp ik. Ik ga je dus niet proberen ervan te overtuigen dat dat leuk is, ook al vind ik het zelf wel leuk.

Dat deel van de gegevens vind ik plezierig. De kwalitatieve kant kan echt heel creatief zijn. Als je een creatief persoon bent, is het geweldig om creatieve en interessante manieren te vinden om problemen te beantwoorden.

Ik kan je niet vertellen hoe vaak ik dingen heb gedaan als: als je aan iets fysieks werkt, is er bijvoorbeeld een leuke service-designoefening voor mensen die luchthavens ontwerpen. Of ziekenhuizen, dat is eigenlijk een beter voorbeeld. Soms richten ze een nepziekenhuis in.

Je wilt natuurlijk niet zomaar in een echt ziekenhuis beginnen te rommelen waar mensen sterven. Dat wordt niet gewaardeerd. Of waar mensen beter worden—ook goed—maar je wilt daar niet tussenkomen. Ik heb mensen nepziekenhuizen zien opzetten om de stroom van mensen te bestuderen: passen karren door de gangen?

Er wordt technologie geïntegreerd. Waar moet die komen? Moet het iets zijn dat je meedraagt? Je laat mensen daadwerkelijk dingen doen. Het is fascinerend. Ik heb mensen gevolgd. Dat klinkt altijd een beetje eng wanneer ik zeg hoeveel plezier ik beleef aan het volgen van mensen op hun werk, maar dat doe ik echt.

Het is leuk om mensen te volgen terwijl ze dingen verkopen of hun werk doen en gewoon beter te begrijpen hoe ze leven. Je stelt ze niet alleen vragen en test ze niet. Je probeert gewoon te begrijpen hoe ze hun leven leiden. Misschien had ik stiekem antropoloog moeten worden.

Er zit iets aangenaams in het beter begrijpen hoe mensen dingen doen. Je kunt co-designactiviteiten organiseren die heel leuk zijn. Sommige daarvan gebruiken Lego. Zoek maar eens op co-designactiviteiten. Ze zijn echt plezierig. Je kunt mensen dingen laten schetsen, kaarten laten tekenen of samen met jou laten werken.

Er bestaan allerlei vormen van kwalitatief onderzoek met gemengde methoden. En het is niet alleen leuk. Het helpt je de mentale modellen van mensen te begrijpen. Het helpt je te begrijpen hoe iemand denkt over wat die probeert te doen. En als je ook maar een beetje op mij lijkt—wat ik voor jouw eigen bestwil hoop van niet—is het gewoon leuk.

Het is een klein kijkje in het hoofd van mensen. Er zijn ook minder leuke onderdelen. Soms gaat een gebruikerstest bijvoorbeeld niet goed, terwijl je heel enthousiast was over wat je had gebouwd. Ik kende een engineer die het heel moeilijk vond om naar gebruikerstests te kijken. Hij noemde ze gijzelingsvideo’s, omdat het er altijd uitzag alsof de persoon echt worstelde en doodsbang was. Het was pijnlijk om te zien.

Het kan heel pijnlijk zijn om iemand iets te zien gebruiken wat jij hebt gemaakt en te merken dat het niet gaat zoals je had verwacht.

Hannah Clark: Maar wel noodzakelijke pijn.

Laura Klein: En weet je wat daar het leuke aan is? Het oplossen en vervolgens zien hoe de volgende groep mensen er moeiteloos doorheen gaat. Dat is het leuke. En onthoud: als jij dat moeilijke stuk niet doorloopt, zijn de mensen die ermee worstelen er nog steeds, ook al hoef je er niet naar te kijken. En ze kopen je product niet.

Het leuke is dus volgens mij dat je het probleem ziet, het probleem begrijpt, het echt doorgrondt, dat aha-moment hebt en denkt: oh, nu kan ik een geweldig idee bedenken om dit op te lossen. Ik vind dat geweldig. Maar goed, ik houd ook van draaitabellen. Iedereen zijn ding.

Hannah Clark: Persoonlijk vind ik het heel interessant om met mensen te praten en als een vlieg op de muur mee te kijken. Dat is een van de redenen waarom ik zo van podcasts houd. En nu we het toch over plezier hebben: dit gesprek was voor mij ontzettend leuk. Ik vond het geweldig om met je te praten. Waar kunnen mensen je online volgen om meer van je te zien?

Laura Klein: Op dit moment is LinkedIn eigenlijk de enige plek waar je kunt zien wat ik doe wanneer ik daar af en toe publiekelijk iets over deel. Ik ben ook op Blue Sky. Daar praat ik niet veel over werk, maar misschien komt dat nog. Ik zit in elk geval op LinkedIn.

Hopelijk lanceer ik later dit jaar een cursus op Maven over kwalitatieve en kwantitatieve gegevens en hoe je die combineert. Als je rechtstreeks van mij wilt leren, wordt die cursus veel langer dan dit gesprek en bevat die veel meer details, oefeningen en sjablonen.

Ik heb een paar boeken geschreven, maar die zijn al wat ouder. Je bent van harte welkom om die te lezen. En soms maak ik een podcast voor een podcast met de naam What is Wrong with Hiring?

Die gaat volledig over werving binnen ontwerp, onderzoek en productontwikkeling.

Hannah Clark: Als je daar net zo bent als tijdens dit gesprek, kan ik niet wachten om ernaar te luisteren.

Laura Klein: Ik vloek daar veel meer. Sorry.

Hannah Clark: Schrijf me maar in. Ik ben geabonneerd.

Goed, heel erg bedankt dat je tijd hebt vrijgemaakt, Laura. Dit was ontzettend leuk en erg informatief. Ik kijk echt uit naar de reacties die mensen op deze aflevering zullen hebben.

Laura Klein: Heel erg bedankt. Het was geweldig om hier te zijn.

Hannah Clark: Bedankt voor het luisteren. Voor meer geweldige inzichten, praktische handleidingen en recensies van tools kun je je abonneren op onze nieuwsbrief via theproductmanager.com/subscribe. Je kunt meer gesprekken zoals dit beluisteren door je te abonneren op The CPO Club, waar je je podcasts ook beluistert.