Onderzoek heeft vaak te maken gehad met kortere routes, aannames en slecht uitgevoerde gebruikersinterviews, lang voordat AI zijn intrede deed. Hoewel er zorgen zijn dat AI deze problemen verergert, onderzoeken we vandaag hoe AI onderzoekspraktijken juist kan verbeteren door goed onderzoek op grote schaal te standaardiseren en toegankelijk te maken.
Cori Widen, Lead User Research bij Photoroom, vertelt hoe AI binnen haar bedrijf wordt ingezet om onderzoekspraktijken te transformeren. Ze bespreekt de culturele mindset die innovatie stimuleert en geeft praktische inzichten in hoe teams AI kunnen gebruiken om de kwaliteit en impact van hun onderzoek te vergroten.
Hoogtepunten uit het interview
- Cori’s achtergrond en overstap naar gebruikersonderzoek [01:31]
- Cori heeft 13 jaar ervaring in de technologiesector.
- Ze werkte voornamelijk in productmarketing, waarbij methoden voor gebruikersonderzoek aan bod kwamen.
- Ze besefte dat gebruikersonderzoek haar het meest interesseerde en verlegde haar focus.
- Cori werd fulltime gebruikersonderzoeker en begon bij Lightrix.
- Nu leidt ze het gebruikersonderzoek bij Photoroom.
- AI gebruiken voor kwalitatieve analyse [02:02]
- Aanvankelijk stond Cori sceptisch tegenover het gebruik van AI voor kwalitatief onderzoek vanwege vertrouwensproblemen en omdat ze handmatige analyse leuk vond.
- Geleidelijk aan ging ze AI gebruiken, omdat ze inzag dat ze zich moest aanpassen om niet achterop te raken.
- Haar aanpak begon met het vergelijken van AI-resultaten met haar traditionele handmatige proces.
- Momenteel gebruikt ze Dovetail om transcripties van interviews op te slaan en Dust om AI te bevragen.
- AI helpt citaten te vinden die verband houden met onderzoeksvragen, waardoor handmatig taggen niet meer nodig is.
- Vervolgens maakt ze handmatig affiniteitsdiagrammen van die citaten om inzichten af te leiden.
- Tot slot gebruikt ze AI om haar inzichten kritisch te bevragen en te controleren op vooroordelen of gemiste perspectieven.
- Haar proces is een combinatie van AI-tools en handmatige methoden en blijft zich voortdurend ontwikkelen.
- Veranderende opvattingen over AI in onderzoek [05:24]
- Aanvankelijk voelde Cori zich onder druk gezet en wist ze niet goed hoe ze AI effectief in haar werk kon gebruiken.
- Vroege AI-tools presteerden niet goed in het onderzoeksproces, wat tot scepsis leidde.
- Naarmate AI verbeterde, vooral met tools zoals ChatGPT, begon ze het te gebruiken voor eenvoudige taken, zoals het samenvatten van interviews.
- Haar overstap naar Photoroom betekende een keerpunt vanwege de enthousiaste en innovatieve AI-cultuur van het bedrijf.
- De ondersteunende en nieuwsgierige omgeving bij Photoroom zorgde ervoor dat het gebruik van AI spannend in plaats van verplicht aanvoelde.
- AI is nu een leuk en interessant onderdeel van haar werk geworden.
- AI-hulpmiddelen bij Photoroom [07:18]
- Cori bouwde twee belangrijke AI-assistenten om onderzoek bij Photoroom te ondersteunen.
- “Mining User Interviews” helpt transcripties van interviews die in Dovetail zijn opgeslagen te analyseren via API-query’s.
- Onderzoekers gebruiken het om relevante citaten te vinden in plaats van handmatig te taggen.
- Belanghebbenden gebruiken het om rechtstreeks toegang te krijgen tot gebruikersinzichten zonder rapporten nodig te hebben.
- Interview Guide Generator maakt interviewhandleidingen op basis van input van de gebruiker (doelen, doelgroep enzovoort).
- Zorgt ervoor dat handleidingen goede praktijken volgen en bevooroordeelde of ineffectieve vragen vermijden.
- Helpt teamleden van elk ervaringsniveau om efficiënt kwalitatieve interviews voor te bereiden.
- Technieken voor prompt-engineering [09:45]
- Cori gebruikt meerdere varianten van dezelfde vraag om uiteenlopende, relevante AI-resultaten te krijgen.
- Ze vraagt altijd om vervolgprompts om meer voorbeelden naar voren te brengen, omdat eerste reacties zelden volledig zijn.
- Prompts worden beperkt tot één duidelijke vraag per keer: vragen met meerdere onderdelen verminderen de nauwkeurigheid.
- Ze is voorzichtig met het toevoegen van te veel context, omdat dit de AI in verwarring kan brengen of ertoe kan leiden dat bepaalde invoer meer prioriteit krijgt dan andere.
- Over het algemeen experimenteert ze voortdurend om de duidelijkheid en effectiviteit van prompts te verbeteren.
- AI-inzichten valideren en kennis delen [11:54]
- Cori gebruikt AI om relevante gegevens naar voren te brengen, maar vertrouwt op haar eigen oordeel om inzichten te formuleren.
- Voor bredere vragen zorgt ze ervoor dat inzichten die door AI worden aangehaald, verwijzingen naar specifieke transcripties bevatten.
- Als er weinig bronnen worden aangehaald, controleert ze deze handmatig om de geldigheid ervan te beoordelen.
- Ze vraagt AI altijd naar uitzonderingen om overgeneralisatie te voorkomen en nuances vast te leggen.
- Voor belanghebbenden is een handleiding voor het gebruik van de AI-assistent gemaakt, maar de toepassing ervan verschilt.
- Ze onderzoekt nog steeds hoe ze ervoor kan zorgen dat AI-gegenereerde gegevens in het hele bedrijf op consistente wijze worden begrepen en gebruikt.
Bij het analyseren van een project vraag ik de AI zelden om inzichten. Ik vraag de AI om relevante informatie te vinden en gebruik vervolgens mijn eigen oordeel om de daadwerkelijke inzichten af te leiden.
Cori Widen
- De cultuur en waarden van Photoroom [14:54]
- Photoroom heeft een sterke gebruikersgerichte cultuur, waarbij leiders en teams regelmatig contact hebben met gebruikers en kwalitatieve gegevens raadplegen.
- Deze cultuur bestond al voordat Cori erbij kwam en legde de basis voor een diepgaande waardering van UX-onderzoek.
- Aanvankelijk stond Cori sceptisch tegenover het democratiseren van onderzoek, maar bij Photoroom stond ze er uiteindelijk voor open.
- Ze ontdekte dat brede interactie met gebruikers leidt tot een grotere waardering voor en toepassing van onderzoeksinzichten.
- Een veelvoorkomende angst — dat niet-onderzoekers onderzoeksmethoden verkeerd zouden gebruiken — werd weggenomen door de gretigheid van belanghebbenden om de beste werkwijzen te leren en toe te passen.
- Cori ondersteunt nu het ontwikkelen van vaardigheden en het bieden van begeleiding aan teams die hun eigen onderzoek uitvoeren.
- De toekomst van UX-onderzoek met AI [19:24]
- AI maakt UX-onderzoekers efficiënter, waardoor er tijd vrijkomt voor diepgaandere samenwerking met belanghebbenden.
- Cori voorspelt dat de rol van de onderzoeker zich zal ontwikkelen en minder gericht zal zijn op uitvoering en meer op strategische samenwerking.
- Onderzoekers besteden mogelijk meer tijd aan brainstormen en leveren een grotere bijdrage aan het bedenken van oplossingen.
- Snellere toegang tot betrouwbare inzichten dankzij AI ondersteunt deze verschuiving in verantwoordelijkheden.
- Praktische tips voor het integreren van AI [20:32]
- Verander je mindset en accepteer AI als een blijvend onderdeel van onderzoekswerkstromen.
- Begin niet klein, maar duik direct in het gebruik van AI voor kwalitatieve analyse — de meest tijdrovende taak.
- Gebruik AI om handmatige codering te vervangen en gebruikersgegevens te helpen categoriseren, bijvoorbeeld uit interviews of gebruikssessies.
- Aanzienlijke besparingen in tijd en energie kunnen ervoor zorgen dat de invoering van AI tastbaar en de moeite waard aanvoelt.
Om de overstap te maken naar iemand die enthousiast is over het gebruik van AI in onderzoek, moet je iets doen dat je werkproces aanzienlijk beïnvloedt. De tijd en energie die je hiermee bespaart, kunnen enorm zijn.
Cori Widen
- Verrassende ontdekkingen met AI [21:58]
- Het doorbraakmoment voor Cori kwam toen ze de waarde inzag van het combineren van haar menselijke expertise met AI om kwalitatieve analyse te verbeteren.
- Ze leerde dat AI haar rol niet vervangt, maar deze juist versterkt door taken uit te voeren waar AI in uitblinkt, zodat zij zich kan richten op waar ze zelf het beste in is.
- Feedback van een collega maakte duidelijk dat haar snelheid bij het leveren van inzichten grotendeels te danken was aan het omarmen van AI in het onderzoeksproces.
- Door dit inzicht begreep ze beter welke toegevoegde waarde AI aan haar rol en aan het team biedt.
Maak kennis met onze gast
Cori Widen is hoofd gebruikersonderzoek bij Photoroom, de toonaangevende AI-fotobewerkingsapp ter wereld. Daar leidt ze de ontwikkeling en implementatie van kaders voor gebruikersonderzoek om productontwerp en strategie te onderbouwen. Met meer dan tien jaar ervaring in de technologiesector heeft Cori verschillende functies in productmarketing vervuld voordat ze zich op gebruikersonderzoek richtte. Ze heeft talloze artikelen over gebruikerservaring en onderzoeksmethodologieën geschreven en deelt haar inzichten met de bredere UX-gemeenschap. Bij Photoroom voert Cori kwalitatief en kwantitatief onderzoek uit, waaronder gebruikersinterviews en feedbackanalyses, om beslissingen over productontwikkeling te sturen. Haar werk zorgt ervoor dat de tools van Photoroom voldoen aan de veranderende behoeften van het wereldwijde gebruikersbestand, wat bijdraagt aan het succes van de app, die jaarlijks meer dan 5 miljard afbeeldingen verwerkt en wereldwijd meer dan 150 miljoen keer is gedownload.

Het doorbraakmoment voor mij was het besef dat ik als mens nog steeds een betekenisvolle rol in het proces kon spelen. AI gebruiken betekende niet dat ik alles aan AI uitbesteedde.
Cori Widen
Bronnen uit deze aflevering:
- Abonneer je op de nieuwsbrief van The CPO Club
- Maak contact met Cori op LinkedIn
- Bekijk Photoroom
Gerelateerde artikelen en podcasts:
- Over de CPO Club-podcast
- De AI-productiviteits- en promptengineering-hacks die je nodig hebt
- Zo maak je UX-onderzoek leuk
- Pro-tips voor het opbouwen van je vaardigheden in AI-productmanagement
- Hoe je UX-onderzoek gebruikt om je gebruikers blij te maken
- UX-onderzoeksdoelstellingen schrijven (met 14 voorbeelden)
Lees het transcript:
We proberen onze podcasts te transcriberen met behulp van een softwareprogramma. Vergeef ons eventuele typefouten, want de bot heeft niet altijd 100% gelijk.
Hannah Clark: Sinds mensenheugenis doen mensen onderzoek op een slechte manier. We hadden geen AI nodig om slecht berekende snelkoppelingen te nemen, brede aannames te doen op basis van schaarse gegevens, of ongemakkelijke persona's te ontwikkelen die waren gevormd door aannames en pijnlijk onbruikbare gebruikersinterviews. Nu AI er is, is het dan ook geen verrassing dat de onderzoeksgemeenschap bang is dat deze technologie nog meer schade kan toebrengen aan de kwaliteit van onderzoek. In de aflevering van vandaag onderzoeken we echter manieren waarop AI daadwerkelijk kan helpen om goed onderzoek op grote schaal te standaardiseren en te democratiseren.
Mijn gast vandaag is Cori Widen, hoofd gebruikersonderzoek bij Photoroom. Als je Photoroom nog niet kent: het bedrijf krijgt veel aandacht vanwege de innovatieve manieren waarop het AI gebruikt. Cori gaf me een fascinerend overzicht van hoe dit allemaal op cultureel niveau begint. We bespreken hoe de mentaliteit binnen het bedrijf enthousiasme creëert voor het verkennen van de mogelijkheden, evenals enkele praktische manieren waarop teams AI kunnen gebruiken om goed onderzoek beter te waarderen, uit te voeren en toe te passen. Laten we beginnen.
O ja, trouwens: elke week voeren we dit soort gesprekken. Dus als dit je interessant lijkt, waarom abonneer je je dan niet? Goed, laten we beginnen.
Welkom terug bij de podcast voor productmanagers. Vandaag ben ik hier met Cori Widen. Zij is hoofd gebruikersonderzoek bij Photoroom.
Cori, heel erg bedankt dat je tijd in je agenda hebt vrijgemaakt om met me te praten.
Cori Widen: Heel erg bedankt. Ik ben blij dat ik hier ben.
Hannah Clark: Ik ook. Cori werkt al lange tijd met mij samen en dit is een van de eerste keren dat we daadwerkelijk hebben gesproken in plaats van alleen via e-mail te communiceren. Dit is dus heel spannend. Ik heb het gevoel dat ik met een oude vriendin of een oude penvriendin praat.
Cori Widen: Ja. Heel spannend. Dat ben ik met je eens.
Hannah Clark: We beginnen zoals altijd. Kun je iets vertellen over je achtergrond en hoe je bent gekomen waar je nu bent?
Cori Widen: Ja, natuurlijk. Ik werk nu ongeveer dertien jaar in de technologiesector.
Het grootste deel van die tijd werkte ik in productmarketing, maar zoals voor de meeste mensen in productmarketing maakten onderzoeksmethoden deel uit van mijn werk, toch? Denk aan het interviewen van gebruikers en dergelijke. Op een gegeven moment besloot ik simpelweg: eigenlijk vind ik juist dat onderdeel, gebruikersonderzoek, het leukst.
Daarom ben ik eerst fulltime onderzoeker geworden bij Lightrix en nu bij Photoroom. Bij Photoroom leid ik het gebruikersonderzoek.
Hannah Clark: Geweldig. Vandaag richten we ons op door onderzoekers goedgekeurde manieren om AI te gebruiken voor onderzoeksdoeleinden, wat momenteel een gevoelig onderwerp is. We beginnen dus met een gevoelig onderwerp: AI gebruiken voor kwalitatieve analyse.
Wat is momenteel jouw methode om AI en handmatig werk te combineren op een manier waar je je goed bij voelt en waar je zelf je goedkeuring aan kunt geven? En hoe heeft die methode zich in de loop van de tijd ontwikkeld?
Cori Widen: Zeker controversieel. Voordat ik vertel waar ik nu ben beland, wil ik eerst iets zeggen over hoe het zich heeft ontwikkeld: ook ik was terughoudend.
Ik denk dat de hele onderzoeksgemeenschap dat was. Ten eerste omdat ik er niet op vertrouwde dat AI goed werk zou leveren, en in het begin deed het dat ook echt niet. Dat was volkomen terecht. Het andere waar ik mensen niet genoeg over hoor praten, is dat ik mijn werk gewoon leuk vond. Ik zat niet te wachten tot AI zou komen zeggen: laat mij het beter maken.
Laat mij dit pijnpunt oplossen. Ik vond dingen zoals kwalitatieve analyse en het proces om dat zelf te doen juist leuk. In het begin was ik dus niet bepaald enthousiast. Maar het werd wel duidelijk dat ik moest uitzoeken hoe ik AI kon gebruiken, anders zou ik achterblijven. Toen ik AI begon te gebruiken voor kwalitatieve analyse, bestond mijn eerste aanpak eruit dat ik mijn exacte handmatige proces bleef uitvoeren en dat tegelijkertijd met AI probeerde te doen. Ik vergeleek de ervaringen en keek wat AI goed deed, wat niet goed ging en hoe ik die ideale balans van betrouwbaarheid kon bereiken.
Het is een proces van veel vallen en opstaan geweest. Ik denk dat dit proces zich altijd zal blijven ontwikkelen, omdat AI zich voortdurend ontwikkelt. Maar op dit moment kan ik beschrijven waar ik nu sta. Ik denk dat een concreet voorbeeld helpt. Stel dat ik een strategisch onderzoeksproject analyseer en dat de meeste gegevens afkomstig zijn uit gebruikersinterviews.
Wat ik dan doe, is alle transcripties binnen één project verzamelen. Ze worden opgeslagen in Dovetail. Vervolgens gebruiken we een tool genaamd Dust om de AI vragen te stellen op basis van alle transcripties die in Dovetail staan. Kortom, ik gebruik AI om vragen te stellen over een verzameling transcripties die ik voor een project heb.
Ik heb mijn onderzoeksvragen voor me liggen; die heb ik handmatig opgesteld. Ik begin de AI opdrachten te geven en vraag om citaten die verband houden met onze onderzoeksvragen. Stel bijvoorbeeld dat ik meer wil weten over pijnpunten in een bepaalde stroom of iets dergelijks. Dan vraag ik de AI om citaten uit de gebruikerstranscripties te vinden.
Die betrekking hebben op die onderzoeksvraag. Daarmee vervang ik in feite het proces van interviews handmatig labelen. Veel onderzoekers gebruiken verschillende tools om interviews handmatig te labelen op basis van onderwerpen die aansluiten bij hun onderzoeksvragen. Daar gebruik ik nu AI voor. Vervolgens neem ik de citaten per onderwerp en plaats ik die op een Miro-bord, waarna ik een affiniteitsdiagram maak. Dat is altijd mijn manier geweest om interviews te analyseren.
Dat doe ik nog steeds handmatig. Op basis van het affiniteitsdiagram formuleer ik mijn inzichten voor het project. De andere manier waarop ik hier AI gebruik, is door mijn inzichten aan de AI voor te leggen. Ik zeg dan: dit zijn de dingen die ik heb bedacht. Vervolgens vraag ik de AI om het niet met me eens te zijn of dingen in de transcripties te benoemen die in strijd zijn met de inzichten die ik heb aangedragen. Zo kan ik nagaan of ik iets mis, controleren op vooroordelen en dergelijke.
Dat is mijn soort Frankenstein-proces van handmatige analyse en AI.
Hannah Clark: Je zei dus dat je algemene mening over AI is veranderd. Ik denk dat velen van ons een vergelijkbare ontwikkeling hebben doorgemaakt: eerst wat terughoudendheid en daarna een verandering in de loop van de tijd. Hoe is dat voor jou verlopen?
Cori Widen: Zeker. In het begin voelde het alsof er binnen bedrijven veel druk was om uit te zoeken hoe je AI kon gebruiken.
En die druk had weinig richting. Dit gaat je efficiënter maken, het gaat je helpen beter werk te doen, enzovoort. Ik wist niet precies hoe ik het moest toepassen en de meeste van mijn eerste pogingen waren niet geweldig. AI was niet erg goed in het vervangen van mij in welk onderdeel van het onderzoeksproces dan ook.
Die druk verdween echter niet. Naarmate ChatGPT beter werd in het verwerken van grotere hoeveelheden gegevens, gaf ik uiteindelijk toe en begon ik aangepaste scripts te maken voor heel eenvoudige dingen, zoals het samenvatten van een interview. Daardoor veranderde mijn kijk een beetje. Maar ik denk dat het echte keerpunt voor mij relatief recent kwam, toen ik bij Photoroom ging werken. Photoroom is namelijk heel uniek in zijn benadering van AI, zowel wat betreft AI voor gebruikers als het interne gebruik ervan als bedrijf.
Is er druk om AI te integreren? Zeker. Maar ik zou die druk omschrijven als enthousiaste druk. Iedereen is erg enthousiast over de verschillende toepassingen die ze binnen hun specifieke vakgebied en beroep met AI ontdekken.
Er hangt een sfeer waarin mensen voortdurend delen wat ze hebben bereikt. Mensen zijn echt geïnteresseerd in de manier waarop je AI gebruikt. Die omgeving veranderde het van: o nee, ik ben onderzoeker en ik moet uitzoeken hoe ik AI moet gebruiken, in iets wat ik eigenlijk een leuk en interessant onderdeel van mijn werk vind.
Hannah Clark: Interessant. Ik wil zo meteen wat dieper ingaan op de cultuur bij Photoroom, want dit is echt boeiend. Ik denk dat dit een belangrijke factor is die de invoering van AI binnen bedrijven als geheel kan beïnvloeden, en dat is op zichzelf al een enorm onderwerp.
Maar laten we het hebben over AI-assistenten. Je noemde dat de manieren waarop je AI gebruikt zijn veranderd. Het effectiever kunnen gebruiken ervan is echt een gamechanger geweest. Volgens mij weet inmiddels iedereen dat AI-assistenten populair zijn, en ik weet dat je er een aantal hebt gebouwd die je proces erg behulpzaam zijn. Welke specifieke soorten assistenten heb je gebouwd en welke problemen hebben ze de laatste tijd voor je opgelost?
Cori Widen: Er komen twee belangrijke voorbeelden bij me op. De eerste heet Mining User Interviews. Niet bepaald een creatieve titel, maar dat is precies wat de assistent doet. Elk gebruikersinterview dat bij Photoroom wordt afgenomen, wordt opgeslagen in Dovetail. Via de API beschikken we over de transcripties en kunnen we vragen stellen. Daarvoor gebruiken we hem.
De assistent heeft verschillende problemen opgelost voor mij, Becky, met wie ik samen onderzoek doe, en andere belanghebbenden. Voor ons als onderzoekers vormt hij een groot onderdeel van het analyseproces. Zoals ik al zei, gebruiken we hem om citaten te vinden in plaats van alles te labelen wanneer we een project analyseren. Voor belanghebbenden is het een geweldige manier om, zonder eerst via ons te hoeven gaan en ons rapporten te laten opzoeken, alle interviews die tot nu toe zijn afgenomen te doorzoeken.
Ze kunnen in principe alles vragen over gebruikers of gebruikers van concurrenten. Bijvoorbeeld: geef me een lijst van alle uitdagingen die mensen hebben ervaren met AI-achtergronden of met een bepaalde functie in Photoroom. Het bespaart ons tijd en brengt belanghebbenden ook dichter bij de gebruiker, doordat ze zelf naar die informatie zoeken en ermee werken.
Dat is er één. De andere is nieuwer en is een generator voor interviewleidraden. Ik weet dat we het daar later nog over zullen hebben, maar veel mensen bij Photoroom voeren gebruikersinterviews uit. Er is maar beperkt tijd beschikbaar om vóór interviews een goede interviewleidraad voor te bereiden, en er is ook veel kennis nodig over best practices, zoals hoe je gebruikers vragen stelt om de gewenste inzichten te verkrijgen.
Bij de generator voor interviewleidraden bestaat de invoer uit: wat wil je leren, wie zijn de gebruikers die je interviewt en wat wil je van hen leren? Vervolgens genereert de assistent een interviewleidraad, grotendeels volgens best practices. Het effect daarvan is dat je, ongeacht hoeveel kennis je hebt, een interviewleidraad kunt maken waarin geen sturende vragen staan en waarin gebruikers niet wordt gevraagd hun toekomstige gedrag te voorspellen.
Hannah Clark: Dat is echt krachtig, want ik zie een trend die verder gaat dan alleen het vergroten van de productiviteit van individuen. AI vergroot ook hun vaardigheden door kennis en dergelijke te kunnen overdragen. Dat is een ontzettend interessante manier om de technologie te gebruiken. Het is boeiend om een directere en genuanceerdere aanpak te horen.
Laten we het hebben over het ontwerpen van opdrachten. Dat is ook een groot onderwerp. Iedereen probeert daar beter in te worden. Ik weet dat mensen vaak zeggen dat je gewoon veel context moet geven, maar het is iets genuanceerder dan dat.
Welke specifieke technieken heb je ontdekt die de kwaliteit van de output echt hebben verbeterd wanneer je analyses uitvoert op gebruikersonderzoek?
Cori Widen: Om te beginnen ben ik, net als iedereen, voortdurend bezig dit uit te zoeken. Soms trek ik bijna mijn haren uit mijn hoofd en vraag ik me af: waarom begrijpt het me niet?
Maar er zijn een paar dingen naar voren gekomen die ik specifiek bij analyses erg nuttig vind. Ten eerste stel ik elke vraag aan de AI op minstens twee of drie verschillende manieren. Het is geen mens en het is onmogelijk om te weten hoe het mijn vraag interpreteert. Ik merk vaak dat er andere gebruikerscitaten of andere transcripties naar voren komen wanneer ik dezelfde vraag net iets anders formuleer.
Vooral wanneer ik een project analyseer en er zeker van wil zijn dat ik elk relevant punt over een bepaald onderwerp vind om de analyse goed uit te voeren, gebruik ik meerdere opdrachten die ik telkens anders formuleer. Ik noem het ook wel de AI lastigvallen, maar ik blijf vragen of de AI meer voorbeelden kan vinden. Ook al vraag ik altijd om een uitputtende lijst met citaten of voorbeelden, die is nooit echt uitputtend.
Er is altijd meer. Dus vraag ik altijd om meer. Wat ik ook heb geleerd, is dat ik als ik met een mens praat vier of vijf vragen tegelijk kan stellen en enthousiast kan worden over een onderwerp, maar dat werkt niet goed met AI. Ik probeer dus heel bewust opdrachten te formuleren die maar één vraag bevatten.
Het is interessant, want je zei dat veel mensen adviseren om zo veel mogelijk context te geven. Op basis van mijn eigen ervaringen met opdrachten heb ik echter het gevoel dat er zoiets bestaat als te veel context. De AI begint dan een hiërarchie te ontwikkelen en prioriteit te geven aan de dingen die je zegt, terwijl andere zaken worden genegeerd.
Ik probeer dus die ideale balans te vinden. Voor mij neigt die naar steeds minder context.
Hannah Clark: Interessant. Het hangt er natuurlijk ook van af waar je de context gebruikt. Dit is goed om te weten, want dit is de eerste keer dat ik iemand hoor zeggen dat die niet alle context gebruikt.
Nu we het toch over ontbrekende nuances hebben: een van de valkuilen die je eerder noemde, is dat AI soms nuances in gegevens mist of beperkte gegevens als een trend presenteert. Er zijn bepaalde dingen die de meeste onderzoekers waarschijnlijk wel zouden opmerken. Zoals je eerder zei: bij het overdragen van vaardigheden en kennis aan anderen komt niet alles altijd goed over.
Hoe valideer je de analyse van AI en zorg je ervoor dat je geen belangrijke uitschieters mist? En belangrijker nog: als je een deel van deze vaardigheden deelt met andere belanghebbenden, hoe zorg je er dan voor dat die kennisoverdracht ook daadwerkelijk wordt voortgezet?
Cori Widen: Zeker. Dit zijn volgens mij heel belangrijke vragen.
Wanneer ik een project analyseer, vraag ik de AI zelden om inzichten. Ik vraag hem om relevante zaken te vinden en gebruik vervolgens mijn menselijke beoordelingsvermogen om de daadwerkelijke inzichten te formuleren. De assistent voor gebruikersinterviews die we eerder bespraken, wordt echter vaak gebruikt voor zaken die buiten strategische projecten vallen.
We stellen hem dus vragen over gebruikers. Bijvoorbeeld: met welke zaken hebben gebruikers de meeste moeite bij X? Ik denk dat dit allereerst heel uitdagend is. Ik heb twee regels die ik hierbij altijd volg. Ten eerste vraag ik de AI, wanneer ik om een inzicht vraag, om elk transcript te citeren dat is gebruikt om dat inzicht te creëren.
Soms citeert de AI twee transcripties uit honderden. Dan kan ik de transcripties openen en controleren of dit eigenlijk wel klopt. Ik kan mijn menselijke beoordelingsvermogen gebruiken om dat te bepalen, omdat de AI me vertelt waar het inzicht vandaan komt. Het tweede is dat ik altijd naar uitschieters vraag.
Als de AI me een inzicht geeft, zeg ik: goed, geef me nu zo veel mogelijk voorbeelden van gebruikers die juist in strijd zijn met dit specifieke inzicht. Daardoor kan ik alle gegevens bekijken en vervolgens zelf een genuanceerdere conclusie trekken. Wat betreft belanghebbenden die de AI-agent gebruiken, kan ik zeggen dat we in Notion een handleiding hebben gemaakt voor het gebruik van de AI-agent die iedereen kan raadplegen.
Dat zijn hulpmiddelen die sommige mensen gebruiken en andere niet. Dit ben ik dus nog steeds aan het uitzoeken. Als we iets hebben dat de beschikbaarheid van gebruikersgegevens voor iedereen binnen het bedrijf moet vergroten, hoe zorgen we er dan voor dat iedereen dezelfde uitgangspunten hanteert?
Daar heb ik nog geen exact antwoord op.
Hannah Clark: Ja. Ik denk dat dit een doorlopend proces is. Het wijst volgens mij op de waarde van een menselijke toezichthouder, ongeacht waarvoor we AI gebruiken. Je moet nog steeds expert zijn binnen dat domein om het werk te controleren en ervoor te zorgen dat het correct is uitgevoerd. Je moet AI meer behandelen als een medewerker die je aanstuurt dan als iemand met een gelijkwaardig vaardigheidsniveau.
Ik denk dat veel mensen hier tegenaan lopen: hoe zorgen we ervoor dat onze interne kennis overeenkomt met wat iemand nodig heeft wanneer die AI voor dit doel wil gebruiken?
Nu we zoveel hebben besproken over de waarden en de manier waarop het bedrijf werkt, kunnen we direct ingaan op enkele waarden van Photoroom die jou in staat hebben gesteld om op deze manier met AI te werken. Laten we praten over de waarden van Photoroom in relatie tot het gebruik van AI.
Je hebt meerdere keren gewezen op het idee dat de cultuur bij Photoroom een belangrijke drijfveer is voor de invoering en betrokkenheid bij deze technologie. Wat betekent het om onderzoek te democratiseren? En hoe heeft dat de manier veranderd waarop belanghebbenden omgaan met en waarde hechten aan de resultaten van je UX-onderzoek?
Cori Widen: Zeker. Wat me in het begin het meest aansprak bij Photoroom, was hoe gebruikersgericht het bedrijf werkelijk was. De leiding besteedde tijd aan het interviewen van gebruikers. Tijdens het sollicitatieproces merkte ik dat het van mensen bij Photoroom werd verwacht dat ze met gebruikers praatten en naast kwantitatieve gegevens ook kwalitatieve gegevens bekeken.
Dat doet niet elk bedrijf, laat ik het zo zeggen. Het benutten van hun interacties met gebruikers, hun blootstelling aan kwalitatieve gegevens en hun besluitvorming was al geregeld voordat ik bij Photoroom kwam. Dat maakte me een beetje zenuwachtig, want ik moet toegeven dat mijn aanpak van democratisering altijd aan de andere kant van het spectrum lag. Ik vond dat onderzoek door onderzoekers moest worden uitgevoerd.
Het is geweldig als productmanagers, ontwerpers en anderen met gebruikers praten, maar ik zag volledige democratisering niet als de beste weg vooruit. Bij Photoroom heb ik daar echt iets over geleerd. Ik stond open voor iets nieuws. Wat ik heb gezien en geleerd, is dat mensen in een bedrijf waar ze met gebruikers omgaan en geacht worden kwalitatieve gegevens mee te nemen in hun besluitvorming, meer waarde hechten aan gebruikersonderzoek en de inzichten waarschijnlijker gebruiken.
Dit is een van de pijnpunten die je ongetwijfeld vaak hoort van gebruikersonderzoekers: ze proberen voortdurend op te komen voor de gebruiker en voor hun bevindingen op basis van gebruikersgegevens.
Bij Photoroom zorgt deze cultuur ervoor dat iedereen erg hongerig is naar die inzichten. Dat is één ding. Ik denk dat de grootste angst van onderzoekers in een omgeving waarin democratisering zo belangrijk is, is dat het niet goed wordt gedaan. Dat was ook een van mijn angsten. Er bestaan nu eenmaal echte onderzoeksvaardigheden. Wat ik ook heb ontdekt, is dat mensen in een omgeving waarin ze voortdurend met gebruikers omgaan juist behoefte hebben aan best practices.
Iedereen wil een goed interview uitvoeren wanneer hij regelmatig gebruikers interviewt. Iedereen wil dat zijn gebruikerstests nauwkeurig zijn. Een van de mooie dingen van ons werk in het gebruikersonderzoek is dat we mensen kunnen helpen deze vaardigheden te ontwikkelen wanneer er hiaten zijn.
Hannah Clark: Ik denk dat dit vooral bij de houding tegenover best practices voor onderzoek een van die dingen is. Misschien ligt het aan mij, maar zodra je een idee krijgt van hoeveel vaardigheid en nuance nodig zijn om effectief gebruikersonderzoek en goede gebruikersinterviews uit te voeren, denk je: je wist niet hoeveel je nog niet wist.
Cori Widen: Ja, daar ben ik het helemaal mee eens.
Hannah Clark: We hebben een paar jaar geleden een geweldige aflevering gemaakt met Steve Portigal over het uitvoeren van gebruikersinterviews. Voorafgaand aan het interview met hem had ik nooit gebruikersinterviews gedaan, behalve interviews voor de podcast. In slechts twintig minuten maakte hij duidelijk hoe sterk zelfs je eigen gedrag de uitkomst van een interview kan beïnvloeden.
Ik vind het dus heel mooi dat er zo'n behoefte bestaat om kennis over te dragen en mensen beter te leren praten met gebruikers. Dat vind ik erg interessant.
Cori Widen: Grappig dat je dat zegt, want Steve schreef een boek met de titel Interviewing Users.
Hij heeft letterlijk een boek over dit onderwerp geschreven. Ik heb dat boek aan belanghebbenden gegeven, en dat is meer dan eens gebeurd. Mensen reageren dan: er bestaat een heel boek over? En ik zeg: ja, absoluut. Er is zoveel over te weten.
Hannah Clark: Ja. En het is zo interessant, want zoals je zegt: volgens mij wil elk bedrijf de echte feedback van gebruikers en hun echte wensen in producten verwerken. Je hebt voldoende feedback nodig, maar ook feedback van hoge kwaliteit, om die effectief te kunnen gebruiken. Ik vind het dus geweldig om te zien op welke manieren AI onderzoekers helpt om draagvlak te creëren en mensen te helpen die boodschap uit te dragen. Dat is echt gaaf. Ik ben duidelijk erg voor onderzoekers.
Vooruitkijkend: hoe denk je dat UX-onderzoek nog meer van AI zal blijven profiteren? Zie je andere mogelijkheden aan de horizon die we nog niet helemaal kunnen benutten?
Cori Widen: Ik heb niet genoeg technische kennis om te zeggen hoe goed de technologie zal worden en wanneer. Maar wanneer ik nadenk over hoe de rol van een onderzoeker zal veranderen naarmate AI zich ontwikkelt en we het meer gaan gebruiken, besef ik dat ik nu al veel meer tijd heb om met belanghebbenden samen te werken. Dat komt doordat ik veel efficiënter ben wanneer ik AI in het proces gebruik.
Als ik één losse voorspelling zou moeten doen, zou het zijn dat de rol van de onderzoeker verandert van vooral onderzoek uitvoeren en inzichten delen naar onderzoek uitvoeren waar dat nodig is, maar daarnaast veel meer tijd besteden aan samenwerking met belanghebbenden. Denk aan brainstormen en tijd doorbrengen in de oplossingsruimte.
We zullen daar de tijd voor hebben en we kunnen sneller geloofwaardige informatie aan tafel brengen.
Hannah Clark: En wat betreft de huidige situatie voor onderzoekers die AI net in hun workflow integreren: je hebt veel praktische tips gedeeld en ik vind het geweldig hoe toegankelijk en direct toepasbaar veel van je aanbevelingen zijn. Heb je nog andere aanbevelingen voor een goed startpunt voor degenen onder ons die zonder een handleiding met best practices werken?
Cori Widen: Ik denk eerlijk gezegd dat het beste wat je kunt doen, is om allereerst je mentaliteit te veranderen. Accepteer gewoon dat dit gebeurt.
Ik denk dat dat heel moeilijk is, maar zodra je dat doet, zeggen veel mensen dat het effectief is om AI te gaan gebruiken voor kleine taken. Ik denk juist het tegenovergestelde. Een goede plek om te beginnen is AI meteen te gebruiken voor je kwalitatieve analyse.
Onderzoek waar het je kan helpen bij het meest inhoudelijke en meestal meest tijdrovende onderdeel van je werk. Mijn aanbeveling is zeker gebaseerd op mijn eigen proces: probeer AI te gebruiken ter vervanging van handmatig labelen. Laat de AI de relevante plekken in je gebruikersgegevens vinden, of het nu gaat om gebruikerstests, interviews of iets anders, categoriseer de informatie en voer vanaf daar je analyse uit.
De reden is dat je volgens mij iets moet doen dat je workflow echt beïnvloedt om enthousiast te worden over het gebruik van AI in onderzoek. De hoeveelheid tijd en energie die je daarmee bespaart, is enorm.
Hannah Clark: Om af te ronden: wat is je meest verrassende ontdekking geweest tijdens het gebruik van AI voor je eigen werk? Wat was voor jou het echte doorbraakmoment?
Cori Widen: Twee dingen. Mijn doorbraakmoment, dat voor anderen misschien vanzelfsprekender was, was het besef dat ik als mens nog steeds een belangrijke rol in dit proces kan spelen. AI gebruiken betekent niet dat je alles aan AI uitbesteedt.
Het betekent dat je begrijpt waar je zelf het beste in bent en waar AI het beste in is, en dat je die twee combineert voor de best mogelijke kwalitatieve analyse. Dat was één ding. Het andere echte moment kwam toen ik feedback kreeg van iemand bij Photoroom. Die persoon vertelde me dat de grootste angst bij het aannemen van de eerste onderzoeker, en dat was ik, was dat onderzoek bekendstaat als traag.
Ze dachten: deze persoon komt hier werken en zal ons inzichten geven, maar zo langzaam dat we ze niet kunnen gebruiken. Die persoon vertelde me vervolgens: het blijkt dat je behoorlijk snel bent. Ik realiseerde me dat ik snel ben omdat ik AI op deze cruciale onderdelen van het onderzoeksproces heb omarmd.
Zonder AI zou ik niet snel zijn. Het besef dat dit me waardevoller maakt voor het team, was absoluut een openbaring voor mij.
Hannah Clark: Dat is echt gaaf. Het moet goed voelen om te weten dat je nu een troef achter de hand hebt.
Heel erg bedankt dat je bij ons was, Cori. Ik vind gesprekken over onderzoek altijd geweldig. Ik leer er altijd ontzettend veel van. Vandaag hebben we in dezelfde 25 minuten enorm veel kennis verwerkt. Heel erg bedankt voor alles. Waar kunnen luisteraars je werk online volgen?
Cori Widen: Ik ben niet erg actief online. Maar ik kom altijd graag in contact met andere onderzoekers op LinkedIn, dus voel je vrij om contact op te nemen.
Hannah Clark: Geweldig. Heel erg bedankt dat je er was.
Cori Widen: Bedankt.
Hannah Clark: Bedankt voor het luisteren. Abonneer je voor meer geweldige inzichten, praktische handleidingen en beoordelingen van tools op onze nieuwsbrief via theproductmanager.com/subscribe. Je kunt meer gesprekken zoals dit beluisteren door je te abonneren op de Product Manager, waar je ook je podcasts beluistert.
