Hoe analyseer je gegevens uit gebruikersinterviews: een complete handleiding
Is het niet vervelend om urenlang tientallen van je interviewopnamen vooruit te spoelen om één citaat te vinden dat je helpt een goede productbeslissing te nemen? Ik heb er een hekel aan! Het verspilt de kostbare tijd die je had kunnen besteden aan het bouwen van geweldige producten.
Vaak zijn het juist deze vervelende situaties die ons tot de conclusie brengen dat we onze interviewgegevens georganiseerd moeten houden. En om dat te doen, moeten we een proces creëren om deze inzichten voortdurend te concretiseren en ze zo om te zetten in functies en oplossingen.
Komt dit je bekend voor, maar weet je niet goed hoe je moet beginnen met het organiseren van je enorme hoeveelheid gebruikersonderzoek? Geen zorgen. Ik help je!
Want more from The CPO Club?
Sign up for a free membership to complete reading this article:
Have an account? Log In
De kracht van kwalitatieve interviews
Naar mijn mening zijn gebruikersinterviews (en kwalitatieve analyse in het algemeen) het waardevolste soort werk dat productmanagers doen.
Je kunt geen geweldige producten maken zonder te weten wie je gebruikers zijn en wat ze willen. Met behulp van interviews duik je daarentegen in de werkelijkheid waarin deze mensen leven en ervaar je de problemen en ongemakken waarmee ze in hun dagelijks leven te maken krijgen bij het uitvoeren van bepaalde taken.
Dit inzicht geeft je de juiste kennisbasis om oplossingen te formuleren die daadwerkelijk nuttig voor hen zijn en hun leven kunnen verbeteren. Daarom is het van het grootste belang dat productmanagers hun processen voor gebruikersinterviews optimaliseren en ervoor zorgen dat ze het maximale halen uit de beperkte tijd die ze met hun gebruikers praten.
Hoe je interviewgegevens organiseert
Zodra je team meer dan 20 gebruikersinterviews heeft afgenomen, wordt het een rommeltje. Om een specifiek citaat of inzicht te vinden, moet je misschien de persoon opsporen die het interview heeft afgenomen en die ernaar vragen. Onvermijdelijk zullen ze zich de exacte details van dat interview niet herinneren.
Uiteindelijk houd je een heleboel inzichten over die niet aan specifieke aannames zijn gekoppeld. Een dergelijke chaos maakt het vrijwel onmogelijk om bruikbare conclusies uit het onderzoek te trekken.
Vandaar het belang van het nauwgezet organiseren van je gebruikersinterviews.
De basis van organiseren
Voordat we ingaan op de meer ingewikkelde processen, bekijken we eerst de eenvoudige manieren waarop je je interviews georganiseerd kunt houden.
Naamgevingsconventies voor interviews
Als je voortdurend interviews afneemt, heb je op een gegeven moment honderden opnamen in je cloudopslagaccount (of ideatool). Stel je eens voor hoe lastig het zou zijn om door grote hoeveelheden van deze bestanden te zoeken als hun namen er ongeveer zo uitzien (“Kudos” voor Zoom vanwege hun verschrikkelijke naamgevingslogica):
Hier kun je onmogelijk een specifiek interview vinden.
Overweeg daarom een standaardnaamgevingsconventie te gebruiken waarmee je je interviewbestanden doorzoekbaar maakt. Bijvoorbeeld zo:
Nu heb je gestructureerde interviews met doorzoekbare namen, onderwerpen en datums. Je kunt ook de naam toevoegen van de PM die het interview heeft afgenomen. Maar als je een gespecialiseerde interviewtool gebruikt, zijn zowel de naam als de interviewdatum al doorzoekbaar en kun je ze uit je bestandsnamen verwijderen.
Hulpmiddelen voor planning
Het plannen van de datum en tijd voor het interview kan ook een tijdrovend proces zijn. Er zijn lange e-mailwisselingen met je respondenten om het juiste tijdstip en de juiste dag voor het gesprek te bepalen. Daarnaast ontstaat er extra gedoe wanneer iemand niet komt opdagen en je de afspraak opnieuw moet plannen.
Met een planningstool kun je daarentegen eenvoudig beschikbare tijdvakken voor je gesprekken instellen en de geïnterviewden het tijdstip laten kiezen dat het beste bij hen past.
Je kunt hiervoor elke beschikbare planningstool gebruiken, waaronder Calendly, Google Workspace en Hubspot.
Gedeelde agenda’s
Dit is vooral nuttig wanneer meerdere mensen in je team interviews afnemen. Met een gedeelde agenda kun je het voor jou geplande interview aan een collega “doorgeven” als je er zelf niet bij kunt zijn.
Bovendien kun je deze agenda met het hele bedrijf delen en mensen van verschillende afdelingen aanmoedigen om deel te nemen en te horen wat gebruikers over je product zeggen. Deze aanpak is een geweldige manier om iedereen “bewust van de gebruiker” te houden en silo’s tussen afdelingen te doorbreken.
Transcriberen en samenvatten
Productteams maken traditioneel een audio- en video-opname van hun interviews. Vervolgens gebruiken we deze opnames om de inzichten te analyseren en specifieke citaten te vinden die we in onze bevindingen willen uitlichten.
Er is ook het archiveringsdoeleinde. Soms wil je teruggaan naar oude interviews en de antwoorden van de gebruiker vanuit een ander perspectief bekijken.
Het probleem met audio- en video-opnames is echter dat ze langzaam te beluisteren zijn en moeilijk te doorzoeken.
Daarom raad ik aan om een transcriptie- en samenvattingstool te gebruiken (je kunt ook AI in gebruikersonderzoek gebruiken om hierbij te helpen).
Transcripties zijn scrollbare en doorzoekbare teksten. Als je een specifiek deel van een interview wilt vinden, druk je gewoon op Command-F en zoek je ernaar. Naast zoeken binnen een specifiek interview, kun je met veel tools ook zoekopdrachten uitvoeren in alle interviews die je hebt afgenomen.
Samenvattingen zijn de volgende stap in de ontwikkeling. Je kunt het AI-LLM-model (dat meestal in de transcriptietool is geïntegreerd) vragen om een samenvatting van de belangrijkste bevindingen voor je te maken.
Op deze manier bespaar je ook enorm veel tijd bij het analyseren van je transcripties. Met de juiste context zijn moderne LLM's (vooral GPT-4) behoorlijk goed in het voor je analyseren van het interview.
Wat tools betreft gebruik ik momenteel Krisp, omdat ik leiding geef aan het product voor transcriptie en samenvatting. Maar ik raad ook aan om Dovetail, Otter.ai, Fireflies.ai en andere tools uit te proberen. Je kunt ook meer wetenschappelijke en diepgaande software voor kwalitatieve gegevensanalyse overwegen, zoals Atlas.ti, Nvivo, Maxqda en andere.
Interviewtranscriptinhoud groeperen op basis van hypothesen
Met veel tools voor interviewbeheer kun je bepaalde delen van het transcript markeren en taggen. Met deze fantastische functionaliteit kun je je klantinterviews (evenals je casestudy's, memo's en andere onderzoeksprojecten) organiseren op basis van:
- Het algemene thema (bijv. ontdekkingen rond monetisatie, activeringsfuncties, enz.)
- Kenmerken van de persona (bijv. geografie, beroep, enz.)
- Het type gebruiker wat betreft betrokkenheid (bijv. inactieve gebruikers, intensieve gebruikers, enz.)
Maar waarschijnlijk is de allerbelangrijkste toepassing van deze functionaliteit dat je antwoorden van gebruikers markeert en tagt op basis van de hypothese die ze kunnen valideren.
Wat je meestal doet, is al je actieve hypothesen in de vorm van tags overzetten naar je tool voor gebruikersinterviews en de relevante delen van je interviews taggen. Wanneer je op een van deze tags klikt, zie je een verzameling van alle relevante citaten uit al je interviews.
Zo ziet het eruit in Dovetail:
Zoals je ziet, is het behoorlijk handig: je kunt op één scherm alles bekijken wat met die hypothese te maken heeft en op basis daarvan snel een beslissing nemen.
Nu we weten hoe je je gegevens uit gebruikersinterviews kunt organiseren, gaan we verder met hoe je deze kunt analyseren.
Gebruikersinterviews interpreteren
Meestal vermijd ik het om over theorie te praten, maar dit is een van de zeldzame gevallen waarin het waardevol is om de wetenschappelijk-theoretische aanpak te leren (en toe te passen op situaties uit het echte leven). Laten we daarom de drie klassieke methoden voor kwalitatieve gegevensanalyse doornemen. Bedenk hoe je AI in gegevensanalyse naast deze methoden kunt gebruiken.
Narratieve analyse
Dit type analyse is de minst gestructureerde en meest kwalitatieve methode van de drie. De methode richt zich volledig op de verhalen van je gebruikers en probeert interessante inzichten te ontdekken op basis van hun gevoelens over je product en de manier waarop ze het waarnemen.
In tegenstelling tot andere soorten analyses zijn het de emoties van je gebruikers en de manier waarop ze je product in hun dagelijks leven zien die ertoe doen.
Laten we Slack als voorbeeld gebruiken.
Stel dat je een van de oorspronkelijke productmanagers bij Slack was en een revolutie wilde veroorzaken in de manier waarop mensen op het werk communiceren. Je weet dat mensen e-mail voornamelijk als hun belangrijkste kanaal gebruiken en je wilt hun iets bieden dat meer lijkt op sociale-mediaplatforms (d.w.z. berichten met reacties).
Bij het uitvoeren van een narratieve analyse zou je mensen kunnen vragen om hun dagelijkse communicatie via e-mail te beschrijven, naar hun klachten kunnen luisteren en een algemeen beeld kunnen krijgen van hoe mensen zich voelen over dit aspect van hun dag.
Vervolgens zou je dezelfde onderzoeksvragen stellen over hun ervaring met de indeling van berichten op sociale media, hun emotionele reactie observeren en inzicht krijgen in de typische gebruikersreis van het maken van berichten en erop reageren.
Door al deze inzichten te gebruiken (en deductief redeneren toe te passen), kun je vervolgens je gebruikerspersona creëren met hun doelen en uitdagingen. Bovendien kun je de verschillende gebruikersreizen en gewoonten visualiseren waarmee je rekening moet houden bij het bouwen van je product.
Thematische analyse
In tegenstelling tot narratieve analyse is deze methode iets meer “kwantitatief” en helpt ze je om wat structuur aan te brengen in je inzichten. Thematische analyse draait om het proces van het lezen van je interviewtranscripten en het identificeren van verschillende thema’s die in meerdere interviews terugkomen.
Terug naar het Slack-voorbeeld...
Bij het analyseren van de antwoorden van je geïnterviewden ontdek je misschien al snel dat velen van hen klagen over het ongemak van het beheren van “weergaverechten” (wie je bericht kan zien en wie niet) in een typische lange e-mailconversatie.
Geweldig, nu heb je een gemeenschappelijk thema geïdentificeerd (en een mogelijke unieke waardepropositie voor je functie voor ‘kanaalrechten’)!
Misschien identificeer je ook een andere veelgehoorde klacht: het ongemak van het lezen van eerdere berichten in een e-mailconversatie. Voilà! Opnieuw een gemeenschappelijk thema en nog een kans om uit te blinken met je volgende functie.
De tagfunctie die ik zojuist noemde, is een geweldig hulpmiddel voor het uitvoeren van een thematische analyse. Wanneer je iets interessants ziet in het interviewtranscript, kun je het markeren en er een tag ‘thema’ aan toevoegen. Vervolgens kun je de pagina van de tag ‘thema’ openen en alle bijbehorende citaten bekijken.
Inhoudsanalyse
Inhoudsanalyse van interviews is van deze drie methodologieën voor onderzoek de meest gestructureerde en kwantitatieve. In dit geval is je doel om je inzichten meetbaar te maken.
Bijvoorbeeld...
Als je tijdens je interviews al een thema hebt geïdentificeerd (d.w.z. het ongemak van het beheren van rechten in een e-mailconversatie), kun je proberen het percentage mensen te berekenen dat dit bijzonder onhandig vindt en dit te vergelijken met het percentage mensen dat er niet echt last van heeft.
Door je gegevens te kwantificeren, krijg je inzicht in het belang van je bevindingen. Als slechts 20% van de geïnterviewden vindt dat weergaverechten in e-mailconversaties vervelend zijn, zou de waardepropositie van je functie voor kanaalrechten zwak zijn.
Dit is natuurlijk heel handig. Maar uit mijn ervaring blijkt dat de meest waardevolle toepassing van inhoudsanalyse het valideren (of ongeldig verklaren) van je hypothesen is.
Bij inhoudsanalyse gebruik je dezelfde techniek als bij thematische analyse. In dit geval meet je echter het percentage antwoorden dat je hypothese valideert. Stel je voor dat je een transcriptie-app bouwt (net als Dovetail) met de volgende hypothese:
Ik geloof dat het verkorten van de verwerkingstijd van een transcript van 10 minuten naar 10 seconden het weergavepercentage van transcripten drastisch zal verhogen
Stel je nu voor dat je de antwoorden van je geïnterviewden analyseert en ontdekt dat 80% van de mensen zegt dat ze interviews aansluitend op elkaar hebben en de transcripten meestal aan het einde van de werkdag lezen.
Dit betekent dat je hypothese ongeldig is en dat je geen tijd en middelen moet verspillen aan het optimaliseren van je verwerkingsengine.
Bonusanalysemethode: de gefundeerde theorie
De traditionele wetenschappelijke methode (die veel wordt gebruikt in productmanagement) begint met het formuleren van hypothesen en deze vervolgens te valideren met empirisch bewijs.
Maar het probleem is dat je deze hypothesen niet altijd kunt formuleren. Soms weet je, vooral wanneer je je in de vroege ideatiefase van je startup bevindt, helemaal niets over je markt en gebruikers. Je kunt dan dus geen zinvolle hypothesen opschrijven.
Hier komt de gefundeerde theorie om de hoek kijken.
In plaats van hypothesen te creëren en deze vervolgens met gegevens te valideren, stuurt het onderzoeksproces je hier aan om eerst gegevens te analyseren en vervolgens hypothesen te creëren op basis van de inzichten die je in je gegevens hebt gevonden.
Voor een vroege startup zou dit betekenen dat je gebruikers gaat interviewen zonder hypothesen en hun behoeften en gebruikersreizen probeert te begrijpen. Pas wanneer je een basisbegrip hebt van wat ze willen, kun je beginnen met het formuleren van je hypothesen.
Hoe je actie onderneemt op basis van je kwalitatieve onderzoek
Je gebruikersinterviews zijn zinloos (en je beslissingen zitten vol met onderzoeksbias) als je er niets bruikbaars uit kunt halen. In dit gedeelte bespreken we de basisstappen om met je inzichten aan de slag te gaan en bekijken we hoe je ze in de praktijk kunt toepassen. Je kunt naast deze stappen ook AI in UX-onderzoek gebruiken.
Stap 1: valideer of verklaar je hypothesen ongeldig
Tenzij je de gefundeerde theorie gebruikt, moet elk gebruikersinterview als doel hebben om een of meer hypothesen te valideren. Zo valideer je je hypothesen:
- Gebruik de functies voor tagging en annotatie van je interviewtool om alle noodzakelijke inzichten met betrekking tot die hypothese op één scherm te verzamelen.
- Nodig je productteam (inclusief UX-ontwerpers en belanghebbenden) uit en evalueer deze bevindingen.
- Bepaal of je die hypothese als gevalideerd beschouwt of niet.
Soms is de dataset waarover je beschikt mogelijk niet voldoende om een doorslaggevend antwoord op je vraag te geven. Ga in dat geval gewoon meer interviews houden totdat je voldoende gegevens hebt verzameld.
Stap 2: Handel op basis van niet-gevalideerde hypothesen
Als je interviewbevindingen een hypothese ongeldig maken (wat vaker voorkomt dan het valideren ervan), kun je daar op twee mogelijke manieren naar handelen:
- Herzie je hypothese: Misschien was een deel van de hypothese geldig en hoef je alleen een nieuwe, aangepaste hypothese te formuleren op basis van de oude.
Stel bijvoorbeeld dat je ervan uitging dat mensen de voorkeur zouden geven aan het beheren van de rechten voor elk afzonderlijk bericht in Slack. Uit de interviewgegevens blijkt dat mensen inderdaad rechten willen, maar dat die niet op berichtniveau moeten worden ingesteld. In dat geval wijzig je je hypothese als volgt:
Wij denken dat mensen er de voorkeur aan zullen geven om rechten op kanaalniveau te beheren
- Beschouw de hypothese als ongeldig en schrap haar: Als je geen haalbare herzieningen voor je hypothese ziet, kun je haar eenvoudig schrappen en beginnen met het formuleren van nieuwe hypothesen.
Stap 3: Zet gevalideerde hypothesen om in productoplossingen
Als je je hypothese inderdaad valideert, kun je beginnen aan een productoplossing ervoor.
Ik weet dat het vanzelfsprekend klinkt, maar de meesten van ons stellen dit uiteindelijk uit en vergeten deze kansen vervolgens. Om deze verloren waarde te beperken, raad ik aan regelmatig workshops voor productideatie te organiseren en ontwerpmethodieken te gebruiken om je oplossingen te ontwikkelen en iteratief te verbeteren.
De belangrijkste belanghebbenden bij deze bijeenkomst zijn je productontwerpers (of engineers als de oplossing veel programmeerwerk vereist). Je kunt deze workshops meestal beginnen door dia's of een samenwerkingsbord te presenteren met de inzichten die je met betrekking tot die hypothese hebt verzameld.
(Interviewtools beschikken overigens over deze functie, dus doe geen moeite met PowerPoint en gebruik in plaats daarvan deze functies.)
Vervolgens bedenk je verschillende functies en ontwerpideeën die de situatie uit de hypothese afdekken. Ten slotte kun je een tool voor prioritering gebruiken om de waardevolste functies uit de lijst te vinden en ze te markeren als “klaar voor de backlog”.
Stap 4: Voeg de productoplossingen toe aan je roadmap
Deze stap spreekt voor zich. Zodra je UX-team de ontwerpen heeft uitgewerkt en je klaar bent met de vereisten voor de oplossing, voeg je deze toe aan de backlog en prioriteer je haar.
Kwalitatieve data-analyse is je superkracht als productmanager!
Productmanagers zijn in elk bedrijf de stem van hun gebruikers. Dankzij onze kennis van de behoeften en pijnpunten van onze gebruikers wegen de meningen van productmanagers zwaar mee en zijn mensen geneigd het met ons eens te zijn. (Of dat zouden ze op zijn minst moeten zijn!)
PM's kunnen dit bereiken met grondige processen voor het verzamelen en analyseren van kwantitatieve gegevens. Maar gebruikersinterviews hebben één groot voordeel. Tijdens bijeenkomsten met je leiderschapsteam worden je meningen onweerlegbaar zodra je je gebruikers citeert.
Zorg er dus voor dat al je interviewgegevens goed georganiseerd en zeer goed geanalyseerd zijn!
Vergeet niet je te abonneren op onze nieuwsbrief voor meer bronnen en handleidingen over productmanagement, plus de nieuwste podcasts, interviews en andere inzichten van leiders en experts uit de sector.
