Sådan har du det sjovt med UX-research

Læs transskriptionen:

Vi prøver at transskribere vores podcasts ved hjælp af et softwareprogram. Bær over med eventuelle stavefejl, da botten ikke er korrekt 100 % af tiden.

Hannah Clark: Er du mere en venstre- eller højrehalvdel-af-hjernen-tænker? Hvis du ikke ved, hvad jeg taler om, har personer, der primært bruger venstre hjernehalvdel, en tendens til at være mere analytiske og fokuserede på måltal, mens personer, der primært bruger højre hjernehalvdel, oftere bruger historiefortælling til at forstå verden. Når vi derfor tænker på kvalitativ og kvantitativ research, kan du sikkert gætte, hvilke typer der typisk søger mod hvilke researchmetoder. Og det er fantastisk – vi har trods alt brug for begge dele – men det viser sig, at det er langt lettere sagt end gjort at samle de to. Hvordan kombinerer man tal og historier for at tegne et præcist billede? Og uanset researchmetode, hvordan sikrer man, at ens data er gode nok?

Min gæst i dag er den fantastiske Laura Klein, principal hos Users Know og forfatter til Build Better Products og UX for Lean Startups. I løbet af de seneste 20 år har Laura arbejdet med mange produktteams og set mange af dem støde på de samme udfordringer, når det handler om at udføre og anvende brugerresearch. Hun vil dele nogle af sine mest nyttige observationer og råd til produktteams, særligt senere i episoden, når vi kommer ind på segmenteringens og researchens centrale rolle. Du får brug for begge sider af hjernen til denne samtale, så lad os gå i gang.

Velkommen tilbage til The CPO Club Podcast.

Laura, tusind tak, fordi du fandt tid i din kalender til at tale med os.

Laura Klein: Selv tak, fordi I inviterede mig.

Hannah Clark: Lad os begynde med at tale lidt om dig selv, og hvordan du kom til at grundlægge Users Know.

Laura Klein: Ja. Som du sagde, arbejder jeg med UX og produkter. Jeg er en tidligere ingeniør, der er ved at komme sig. Jeg har været omkring teknologi siden 90’erne, så det er efterhånden et stykke tid. Jeg har lavet en masse forskellige ting. Jeg grundlagde oprindeligt Users Know i begyndelsen af 2010’erne. Jeg kan faktisk ikke huske datoen; tidligere kendte jeg den helt sikkert. Jeg lærte at arbejde med design hos et virkelig godt specialiseret designbureau, hvor vi lavede design og research for kunder.

Jeg lærte enormt meget der. Det var fantastisk. Det var efter, at jeg i et godt stykke tid primært havde arbejdet som ingeniør i startups. Jeg stoppede ærligt talt, fordi jeg gerne ville have muligheden for at fyre mine kunder. Det er hundrede procent sandt. Når man arbejder for et bureau, plejer jeg altid at joke med, at man skal gøre mange mennesker glade.

Man skal gøre sine chefer glade, man skal gøre sine kunder glade, og hvis man er UX-designer, skal man helst også gøre kundernes egne kunder glade. Og mærkeligt nok er de ting nogle gange i konflikt med hinanden. Det gik op for mig, at jeg arbejdede meget bedre, når jeg kunne arbejde med kunder, der var helt på linje med mig om, hvordan vi skulle udføre arbejdet.

Jeg har virkelig nydt at arbejde med mennesker, der køber ind på min måde at arbejde på. Ikke fordi den er særligt belærende, men jeg har en bestemt måde at gøre tingene på, og hvis man er med på den, fungerer vi godt sammen og kan lave meget godt arbejde.

Hannah Clark: Ja, jeg kommer selv fra en bureau-baggrund, og jeg kan virkelig genkende, at tingene fungerer meget bedre, når der er et godt match. Man kan ikke altid tvinge et match frem.

Laura Klein: Du vil have den her anden ting, som jeg ikke aftalte med dig, og jeg er ikke sikker på, at jeg kan gøre det for dig. Halvdelen af tiden, når jeg faktisk laver forretningsudvikling for Users Know – hvilket ikke altid er tilfældet, fordi jeg nogle gange har fuldtidsjob eller er fuldt booket – bruger jeg en masse tid på at sige til folk: »Det laver jeg ikke. Du bør tale med den og den, en jeg kender, som laver den slags. Du bliver meget gladere for at arbejde med dem, fordi de er bedre til det, end jeg er.« Og derfor bruger jeg omkring halvdelen af min tid på at afvise folk.

Der er kun én af dig, og du har kun brug for et par projekter. Man vil gerne finde dem, hvor man virkelig tænker: »Det her er noget, jeg kan gøre virkelig godt.« Ikke?

Hannah Clark: Ja, jeg synes næsten, det er et tegn på succes at være i en position, hvor man virkelig kan vælge de projekter, der får både dig og kunden derhen, hvor I gerne vil være. Så det har jeg stor respekt for.

I dag vil vi fokusere på at kombinere kvalitativ og kvantitativ research for at træffe bedre beslutninger i en produktsammenhæng. Hvad kan du fortælle mig ud fra din egen erfaring? Hvad ser du teams have svært ved, når det handler om at kombinere de to discipliner?

Laura Klein: Det hele. Det er en af de måder, jeg arbejder på, som er meget specifik. Jeg synes virkelig, at problemet er følgende: Jeg ser på en mærkelig måde folk kæmpe med begge sider af det her. Mange har virkelig svært ved at lave kvalitativ brugerresearch. Mange har også virkelig svært ved at lave kvantitativ brugerresearch.

Og når det kommer til at kombinere de to, er man ude på enhjørningejagt, ikke? Det er bare virkelig svært, fordi så meget skal lykkes. Og ja, jeg mener det. De kæmper med det hele. Mange ved ikke, hvordan man laver god kvalitativ research.

De ved ikke, hvornår den skal udføres. De ved ikke, hvornår de skal hyre alle de dygtige fagfolk, der findes, og som lever af at gøre det her, og som er fantastiske til det og virkelig ved, hvad de laver. På den kvantitative side er matematik svært, ikke? Det handler ikke bare om, at matematikken er svær – statistik er heller ikke intuitivt for nogen, i hvert fald ikke rigtigt.

Derudover er det svært at instrumentere sit produkt, så man kan få de rigtige data. Så mange virksomheder indsamler alle data, men på en eller anden måde er ingen af dem korrekte. Det er et rod på begge sider. Og når man så tager kvalitativ research, der er udført dårligt, måske uden at adressere de reelle problemer eller uden et godt spørgsmål, som man grundlæggende forsøger at besvare, og kombinerer det med data, der er indsamlet lidt tilfældigt og måske ikke engang er korrekte, så får man det resultat, man får, når man forsøger at kombinere de to. Og intet af det er godt. Det gælder ikke for alle – det er worst case-scenariet.

Jeg ser ofte virksomheder, hvor de måske har et virkelig godt kvalitativt researchteam, der er dygtigt til at indsamle informationen, men måske ikke så godt til at integrere den i produktbeslutningerne. Eller man ser produktchefer, der er så fokuserede på data, at de slet ikke ser på den kvalitative side. Derfor forstår de ikke rigtigt, hvorfor noget sker. De ser bare på tal hele dagen og siger: »Måske er det dette. Måske er det noget andet.« Det er et meget almindeligt mønster: den »datadrevne« produktchef. Jeg går naturligvis ind for datainformerede produktbeslutninger, men data fortæller dig ikke, hvorfor noget sker. De fortæller dig kun, hvad der sker.

Og nogle gange gør de ikke engang det særlig godt. Så ja, det hele er svært. Derfor bør du ikke bekymre dig og bare følge din mavefornemmelse. Nej, det passer ikke. Undskyld.

Hannah Clark: Ja, det er bestemt ikke konklusionen.

Laura Klein: Den absolutte konklusion er ikke, at man skal give op.

Hannah Clark: Nej, vi fortsætter. Showet skal videre.

Laura Klein: Ja, vi anerkender, at det, vi laver, er svært, og giver os selv plads til at lære nye ting. Vi indrømmer, at vi måske ikke ved alt, og jeg kan sige, at jeg hele tiden lærer nye ting om begge sider af det her. Vi arbejder sammen med eksperter, der er gode til hver sin side, og gør det bedste, vi kan.

Hannah Clark: Jeg glæder mig til at dykke lidt ned i det og også tale om nogle af de måder, vi kan sikre, at de data, vi indsamler, er mere pålidelige eller giver bedre indsigt i det, vi forsøger at opnå.

Men i mellemtiden lader os antage, at vi har data af god kvalitet fra både den kvalitative og den kvantitative researchside, bare for eksemplets skyld.

Laura Klein: Ja, vi er fantastiske til begge dele.

Hannah Clark: Ja. Forestil dig, at vi har de bedste af de bedste på opgaven. Hvordan kan vi begynde at samle de to researchtyper i en sammenhæng, hvor vi træffer produktbeslutninger?

Laura Klein: Lad os sige, at vi ikke engang vil sige, at vi har gode data.

Vi vil sige, at vi har menneskerne og processerne på plads, så vi kan gå ud og indsamle de gode data, for det første skridt er virkelig at finde ud af, hvilket spørgsmål man forsøger at besvare. Det er lige så svært som resten. Mange har, som jeg sagde, en slags: »Vi har dashboards på plads, så vi laver brugervenlighedstest hele tiden og gør alle de her ting.« Det er fint, men du forsøger at træffe en beslutning, ikke? Du forsøger at træffe en specifik beslutning. Skal vi gøre X? Hvilken ny funktion skal vi bygge som den næste? Hvad er min prioritet? Alle de slags beslutninger, vi træffer hver eneste dag som produktfolk.

Fint. Hvilken prøver du at træffe lige nu? Hvordan kan vi forbedre aktiveringen af denne bestemte funktion? Hvordan kan vi forbedre kundeanskaffelsen? Hvordan kan vi forhindre, at folk forlader os efter X måneder? Det er den slags spørgsmål, vi ofte er nødt til at stille os selv. Nogle gange skal vi spørge os selv: »Er det denne funktion eller den anden funktion?«

Hvilken af dem vil sandsynligvis gøre det, jeg har mest brug for at få gjort? Det fører igen tilbage til: Hvad er mine måltal, og hvad pokker forsøger jeg at gøre med dem? Man skal altså begynde med et godt spørgsmål, som kan besvares. Det kan ikke bare være: »Hvor meget ville nogen betale for det?« Det kan det naturligvis godt, men det er faktisk et ekstremt svært spørgsmål at besvare på begge måder.

Så det er et vanskeligt spørgsmål, men nogle gange skal man også besvare det. Man er virkelig nødt til at indsnævre det. Hvad er det, jeg prøver at besvare? Derefter skal man se på, at de kvantitative data fortæller, hvad der i øjeblikket foregår med ens produkt. Når jeg taler om kvantitative data, taler jeg ikke nødvendigvis om markedsresearch, selv om det også kan være noget, man vil inddrage, måske på de tidligere stadier.

Jeg taler specifikt om analyse, måltal og de ting, man måler på sit produkt. De kvantitative data er for eksempel ofte ikke gode til at fortælle dig noget, når du er før produktstadiet. Du har ikke et produkt derude, så du har ingen kvantitative data. Eller hvis du endnu ikke har ret mange brugere, har du måske ikke nok kvantitative data.

Man skal altså overveje, hvornår man vil bruge dem. Grundlæggende fortæller de kun: Hvad gør folk? Hvad klikker folk på? Hvad køber folk? Hvis de klikker på dette, køber de så det andet? Det fortæller dig alle mulige ting om hvorfor.

Kvalitative data – og her taler vi om brugerresearch og eller brugervenlighedstest, som er to forskellige ting – handler om at forstå brugerne, deres mentale modeller, deres kontekst, hvad de forsøger at gøre, og hvilke problemer de generelt har og har med dit produkt. Det hjælper dig med at forstå, hvorfor de ting, der sker, sker.

Det er det hele. Det fortæller dig ikke, hvad der foregår. Faktisk kan du, fordi kvalitativ research ofte udføres med langt mindre grupper af mennesker, træffe beslutninger baseret på samtaler med fem personer. Men du taler med nogle mennesker, laver endnu en runde og taler med flere mennesker, så du taler hele tiden med folk.

Men du kan kun tale med et begrænset antal mennesker over en længere periode. Det er helt muligt at tale med mennesker og få et virkelig godt billede af, hvem de er, og hvad de gør. Men du får aldrig et lige så godt billede af, hvad der foregår, blot ved at tale med folk.

Til gengæld forstår du hvorfor. Lad os sige, at du har en betalingsproces. Vi tager noget meget enkelt, som vi alle har prøvet, og som vi måske alle har bygget. Det er meget almindeligt. Alle her har gennemgået en betalingsproces i et eller andet digitalt produkt.

De er normalt forholdsvis lineære og har flere trin. Der er oplysninger, som virksomheden absolut skal have fra dig. Hvis dine data er instrumenteret korrekt, kan du se, hvor folk falder fra i processen. Og jeg garanterer dig, at nogen er faldet fra i den proces.

Vi kalder det en tragt. Det minder mere om en si. Næsten alle når til slutningen. I bedste fald er det en tragt. I virkeligheden falder folk hele tiden fra. En elendig tragt. Data fortæller dig præcis, hvor de falder fra. Det er fantastisk. Så ser jeg mange produktchefer sige: »Alle falder fra på det sted, hvor de skal indtaste deres kreditkortoplysninger«, hvorefter de begynder at finde løsninger eller idéer.

»Vi bør gøre dette. Vi bør ændre det. Vi bør gøre det lettere at se. Vi bør ændre knappen.« Eller også kunne du bare se nogle mennesker bruge betalingsprocessen og forsøge at forstå, om der foregår noget åbenlyst. Det kan være mange ting. Jeg har set snesevis af forskellige ting få folk til at falde fra i betalingsprocesser, introduktionsprocesser eller dataindsamling. Folk falder fra af alle mulige årsager.

Og det vigtige er, at den korrekte løsning på problemet afhænger af, hvad problemet faktisk er. Problemet er ikke, at folk falder fra. Det er dit problem. Deres problem er måske: »Jeg forstod ikke dette«, eller måske var der en fejl, der forhindrede dem i at gøre noget. Hvis du ikke ser den eller ved, at den findes, får du den aldrig rettet.

Du får aldrig løst problemet i betalingsprocessen. Måske har du ikke de rigtige betalingsmetoder eller en lang række andre problemer. Det er næsten chokerende, når man bare ser på nogen og tænker: »Nå, det er den lille ting. Den kan jeg bare rette.« Jeg har haft ingeniører til at se mig gennemføre brugerresearch eller brugervenlighedstest, og de har rettet den fejl, der skabte problemet, under testen og sendt rettelsen i produktion.

Vi opdagede et problem. Det var tydeligvis et problem og tydeligvis en fejl. Ingeniøren, der så på, sad bogstaveligt talt med sin bærbare computer i skødet og rettede den. Vi kom tilbage til det senere i sessionen, og personen sagde: »Jeg troede, det her var i stykker.« Jeg sagde: »Det troede jeg også.« Jeg vendte mig om, og ingeniøren nikkede bare og gav mig en lille tommelfinger op. Så jeg tænkte: »Nå, så er det vel ikke længere et problem.«

Det er altså et godt eksempel på, at man ikke bare skal forstå, hvad der sker, og derefter springe til en masse idéer om, hvordan man løser det. Man skal faktisk finde ud af, hvorfor det sker. Måske findes der en meget enkel løsning, hvorefter man kan komme videre med sit liv og videre til vigtigere problemer.

Hannah Clark: Hvad tror du forhindrer os i at gå efter den løsning først i stedet for straks at finde på løsninger? Hvorfor er det ikke det naturlige valg efter din mening?

Laura Klein: Kvalitativ research er svært. Det bliver ofte set som tidskrævende, og det kan det faktisk være. I nogle organisationer er det bare meget sværere at gøre end i andre. Hvis du er i en virksomhed, hvor du er meget begrænset i, hvor mange mennesker du overhovedet må tale med, eller hvor det er svært at rekruttere deltagere, eller hvor du ikke har en solid proces for researchoperationer, der hjælper dig med at rekruttere folk, så er det meget arbejde.

Det kan være meget arbejde. Det kan også være forholdsvis nemt, hvis du allerede har sat tingene op, så du hurtigt kan etablere den rigtige type research på det rigtige tidspunkt. Nogle mennesker har ganske enkelt ikke den ekspertise. De føler sig ikke trygge ved at gå ud og tale med folk.

Og det er let og sjovt at finde på idéer; det kan man bare gøre i et rum. Det er meget menneskeligt. Jeg kan ikke fortælle dig, hvor mange gange jeg har haft samtaler med folk om hvad som helst – ikke produkter, bare hvad som helst. »Hvad har du lyst til til middag?« »Det ved jeg ikke.« Så begynder man bare at tale om forskellige slags mad. Man sidder ikke og tænker: »Okay, du har brug for en hel proces for at finde ud af det.«

Jeg tror, menneskehjernen er skabt til at finde på idéer. Idéer er sjove og nemme, men ikke altid fantastiske og ikke altid de rigtige. Det er også sådan, at mange produktfolk har meget stærke holdninger til, hvad der er galt med deres produkt. Vi ved alle, at de ting, vi laver, ikke er perfekte, og vi kan have stærke meninger om dem.

Det er nemt at blive fanget i: »Jeg vidste, at dette var et problem på grund af dit og dat, så nu vil jeg løse det problem, jeg ved findes«, selv om det måske ikke hænger teknisk sammen med det problem, man faktisk støder på. Det ser jeg også ofte. Folk siger: »Men jeg vil tilføje AI.« Så alle problemer skyldes, at vi ikke har nok AI. Jeg beklager, men jeg kan fortælle dig lige nu, at dit problem ikke er, at du ikke har nok AI.

Hannah Clark: Sig det højere, så dem omme bagved kan høre det. Jeg kunne lave en hel anden episode om det.

Laura Klein: Ja, helt sikkert. Der er problemer, man bestemt kan løse med AI. Nogle af dem løser man måske endda bedre med AI. Hvem ved? Men problemet er ikke, at produktet ikke har funktioner nok.

Hannah Clark: Skål for det. Og bestemt heller ikke, at det mangler en AI-funktion.

Laura Klein: Ja, at det mangler en bestemt funktion. Dit problem er, at det ikke løser brugerens problemer på en måde, der er nyttig og værdifuld for dem.

Hannah Clark: Ja, det har jeg brug for at få tatoveret.

Laura Klein: Måske skal du bare få det broderet på en pude.

Hannah Clark: Ja.

Laura Klein: Det er lidt langt.

Hannah Clark: Det er jeg helt enig i. Det fungerer ikke rigtigt på kroppen.

Lad os tale lidt om nogle af de forskellige situationer, hvor det er passende at bruge den ene frem for den anden – altså kvalitativ versus kvantitativ research. Jeg synes, du har givet et virkelig godt og præcist eksempel på, hvordan den ene informerer den anden. Der er naturligvis sammenhænge, hvor den ene er mere værdifuld end den anden. Lad os tale lidt om nogle af undtagelserne.

Laura Klein: Okay. Noget af det, man skal huske, er, at nogle gange er den ene eller den anden ganske enkelt ikke tilgængelig for dig.

I så fald gør man det bedste med det, man har. Som jeg sagde, kan det være meget svært at få kvalitative data fra de rigtige mennesker i bestemte miljøer, ofte i virksomheder. Virksomheder er fascinerende, fordi man har flere typer brugere. Ofte har man køberen og kunden, som er meget forskellige og har helt forskellige behov og ønsker.

Det kan derfor være meget lettere at få input fra den ene end fra den anden. Og lad mig slet ikke begynde på administratorerne. Jeg har lavet meget research med dem, og det er ekstremt nyttigt, men de er svære at få fat i. Nogle gange er det altså meget svært, men stadig helt klart besværet værd.

Min anbefaling er derfor at få en proces på plads, der hjælper dig med at finde de mennesker. Kvantitative data er igen et godt eksempel fra virksomheder. Nogle gange har man bare ikke nok. Kvantitative data, især når man taler om A/B-test, er utroligt nyttige under bestemte omstændigheder, men ikke på den måde, de fleste bruger dem.

A/B-test er fantastisk, hvis man har nok mennesker til at kunne se forskellen. Men hvis man er tidligt på et marked direkte til forbrugere, har for mange forskellige segmenter til rigtigt at forstå forskellen eller er i en virksomhed med meget få brugere, får man aldrig de data. Det kan man ikke. Det er ikke en mulighed. Beklager. Så må man lave kvalitativ research og komme med sit bedste gæt.

Hannah Clark: Jeg er så nysgerrig: Hvordan afgør vi, hvor stor en stikprøve vi har brug for, før vi går videre med at fastlægge vores mål for den nødvendige mængde?

Laura Klein: På datasiden vil jeg sige, at du skal tale med en rigtig data scientist, for jeg lavede ikke sjov: Matematik er svært, og netop denne type matematik er utroligt svær. Jeg har set folk lave mange fejl, og der er alle mulige mærkelige problemer, som man ikke forventer, for eksempel problemet med at kigge på data for tidligt.

Det er når man ikke må se på data, før testen er afsluttet. Det er en hel ting i sig selv. Der findes masser af information om det, så jeg er ikke den, der skal forklare matematikken for dig. Det varierer for meget og afhænger for meget af antallet af mennesker, man har brug for i hver gren af en A/B-test.

Der er også spørgsmålet om variationer. Vi støder ofte på problemet, at man kan have meget store afvigere i sit datasæt. Hvis man har hvaler – altså personer, der bruger titusindvis af kroner, mens de fleste bruger én krone – kan det meget let skævvride A/B-datasættene, hvis man skal begynde at se på den slags.

Der er alle mulige forskellige variabler, man skal undersøge for at få sine data rigtigt, og det er derfor, jeg siger, at de fleste er dårlige til det: Det er svært, og man har brug for eksperter. Jeg anbefaler også eksperter til kvalitativ research, fordi det også er svært, men på en helt anden måde.

Jeg plejer at sige, at man ved kvalitativ research ikke leder efter statistisk signifikans. Det er ikke noget, man kommer til at få. Når folk siger: »Vi lavede statistisk signifikant kvalitativ research«, tænker jeg: »Nej, det gjorde I ikke.« Det, man leder efter, er mønstre, der gentager sig og er forudsigelige.

Derfor fandtes der den gamle undersøgelse, som har eksisteret, tror jeg, siden jeg begyndte at lave research i 90’erne, og som sagde noget i retning af, at man vil se de fleste problemer hos fem personer.

Men det handler meget specifikt om brugervenlighedstest. Det handler om at finde barrierer i en bestemt grænseflade for et produkt. Det bygger på mange antagelser om, at alle bruger produktet på samme måde. Det kan derfor være rigtigt for noget som et betalingsforløb, der kun findes i ét land og kun har et par forskellige brugertyper.

Ja, så kan man måske finde mange af sine problemer med brugervenlighed hos fire eller fem personer. Jeg har fundet den fejl, vi talte om tidligere, hos én person. Hvis det sker for den person, sker det sandsynligvis for mange. Vi bør bare rette det. Og det var rigtigt. Sådanne ting kan man finde meget let og hurtigt.

Men ofte er man nødt til at tale med folk, indtil man kan begynde at forudsige de mønstre, man vil se. Derfor kan jeg godt lide løbende at syntetisere data. Når vi har talt med nogen, går vi tilbage og sammenfatter: Hvad var de vigtigste pointer? Hvad observerede vi? Hvilken adfærd havde personen? Hvad var deres behov, problemer og mål?

Så bygger man det løbende op, indtil man kan sige: »Det er denne type person, der kommer ind. Jeg tror, de tilhører denne gruppe.« Uanset om man bruger personaer, organisationspersonaer eller noget andet, kan man sige: »Denne type person kommer ind. Jeg forudser, at de sandsynligvis vil gøre sådan og have disse problemer.« Hvis man har ret, begynder man at se mønstrene.

Kvalitativ research bør være løbende. Man bør altid tale med folk. Man behøver derfor ikke bekymre sig alt for meget om stikprøvestørrelsen. Hvis nogle få personer virkelig kæmper med noget, er de sandsynligvis ikke de eneste tre mennesker i verden med det problem. Man har nok ikke fået unikt dumme brugere.

Hvis man har, er det interessant, for så bør man måske se på sin screeningsproces. Men generelt ser man de samme ting igen og igen ret hurtigt, når man får folk ind for at tale med dem.

Hvis man derimod ser meget forskellige ting, kan problemet være, at man ikke har segmenteret sine researchdeltagere ordentligt. Ikke alle bruger produkter til det samme, og ikke alle bruger dem på samme måde. Hvis man taler med superbrugere versus helt nye brugere, får man sandsynligvis forskellige problemer.

Hvis man taler med folk, der kun køber på en bestemt måde, eller med folk, der køber engros, versus folk, der kun køber til deres familier, ser man forskellige adfærdsmønstre, og de har sandsynligvis forskellige behov. Hvis behovene divergerer voldsomt, bør man måske finde ud af, hvorfor de er forskellige. Tilhører de faktisk forskellige grupper?

Hannah Clark: Ja. Jeg er virkelig glad for, at du nævnte segmentering. Det bliver ofte overset, når vi forsøger at udvikle et datasæt, som vi faktisk kan træffe beslutninger ud fra.

Hvilke råd vil du give, hvis vi går ind i en researchproces og ved, at segmentering bliver en vigtig faktor, uanset om det er kvalitativ eller kvantitativ research? Hvordan griber vi det proaktivt an?

Laura Klein: Segmentering er næsten altid vigtigt. Men igen – åh gud, nu siger jeg det: Jeg beklager, men jeg vil være UX-designer. Det afhænger af det. Jeg stopper ikke der.

Det afhænger af mange forskellige faktorer. Lad os for eksempel tale om en AI-funktion, jeg engang så implementeret. Det var et produkt, der hjalp rekrutteringsansvarlige med at kontakte potentielle jobsøgere.

Når man får den slags henvendelser på en platform, står der typisk: »Hej, vi så dit CV og tænkte, at du måske ville være interesseret i X.« Det viser sig, og det kommer ikke til at overraske nogen, at mange mennesker er virkelig dårlige til at skrive de e-mails. Selv folk, der arbejder professionelt med det, er nogle gange dårlige til det. De e-mails er svære at skrive.

En stor andel er derfor dårlige til det, især personer, der ikke gør det hele tiden. Måske leder en ansættende leder efter én eller to personer og har ikke tænkt over, hvordan man henvender sig til en person og spørger, om vedkommende vil komme ind og tale med dem.

Virksomheden besluttede derfor at bruge lidt AI-magi til at hjælpe folk med at skrive bedre henvendelser. Og det gjorde den. En af anvendelserne for AI er at opsummere et emne og skrive en bedre e-mail. Man kunne vælge, om den skulle være mere uformel eller mere formel.

Det viste sig samlet set at være virkelig nyttigt. E-mails skrevet af AI’en fik alle de vigtige oplysninger fra jobopslaget med, gjorde budskabet tydeligere og fik det til at virke mindre som spam. Samlet set fantastisk. Det forbedrede tingene og gav flere svar.

Men der var et problem. Der var en lille gruppe mennesker, som var ægte eksperter i det her. Det var det eneste, de lavede. De skrev henvendelserne, A/B-testede dem selv og havde virksomhedsstandarder, de skulle følge. Forestil dig en meget professionel rekrutteringsansvarlig, der sender den slags e-mails hele dagen.

De havde data scientists på deres side, som fandt ud af, hvilke e-mails der klarede sig bedst. Gæt hvad? AI’en hjalp dem ikke. Faktisk kunne AI’en forstyrre deres arbejdsgang. De ønskede bestemt ikke, at noget skulle omskrive en skabelon, der opfyldte virksomhedens standarder, indeholdt alle de juridiske oplysninger og allerede var A/B-testet.

De ville bruge deres egen skabelon. Og naturligvis var det de mennesker, der brugte produktet mest, og som var mest tilbøjelige til at betale for det. Her har man altså en stor gruppe mennesker, der ikke betaler ret meget, og en lille gruppe, der betaler meget.

Nu skal man beslutte, hvordan man vil håndtere det. Det indlysende svar er at give folk muligheden, men ikke kræve det. Hvis man kun ser på data og siger: »Folk klarede sig generelt bedre med AI«, så er det ikke helt rigtigt. Flertallet klarede sig bedre med AI. Den lille procentdel, der faktisk betaler flest penge, klarede sig dårligere med det.

Så nej, vi tvinger det ikke ned over alle. Det er ikke noget, alle behøver at have. Man skal huske, at man kan have meget forskellige grupper af mennesker, og at nogle grupper er vigtigere for virksomheden end andre, når man ser på deres adfærd.

Hannah Clark: Det er et virkelig godt eksempel på, at segmentering ikke kun handler om, hvem man segmenterer, eller hvilke segmenter man har, men også om den rolle, de spiller i virksomhedens samlede værdi og produktets strategi. Jeg er glad for, at du nævnte det, for det er noget, jeg synes, vi alle bør tage højde for, når vi integrerer AI-funktioner.

Laura Klein: Det gælder alle funktioner, men ja, især AI.

Hannah Clark: Det er virkelig en kæphest for mig. Men jeg kommer videre. Da vi er ved at være nået til slutningen af vores tid, ville jeg gerne tale lidt om, hvordan vi kan have det sjovt i researchprocessen. Research bliver ofte opfattet som tørt eller som noget, der sluger tiden. Men der er så meget indsigt og værdi i at tale med mennesker og få indsigter – og også meget sjov. Hvad er det sjoveste, du har oplevet på et researchprojekt?

Laura Klein: Nogle gange udvikler det sig til kreativt hobbyarbejde, hvilket jeg synes er hyggeligt. Men ikke alle er som mig og elsker Excel-regneark, pivottabeller og data. Det forstår jeg godt, og jeg vil ikke forsøge at overbevise dig om, at det er sjovt, selv om det er det for mig. Den del af dataarbejdet er sjov.

Den kvalitative side kan virkelig være kreativ. Hvis man er en kreativ type, er det meget spændende at finde kreative og interessante måder at besvare problemer på. Jeg kan ikke fortælle dig, hvor ofte jeg har lavet ting som dette: Hvis man arbejder med noget fysisk, findes der en sjov service design-øvelse for folk, der designer lufthavne. Det samme gælder hospitaler.

Nogle gange opstiller man et falsk hospital, fordi man ikke nødvendigvis vil gå ind og ændre på et rigtigt hospital, hvor mennesker er syge. Det er ikke særlig populært. Man kan opstille falske hospitaler for at undersøge, hvordan folk bevæger sig rundt: Kan vogne komme igennem? Skal teknologi integreres, og hvor skal den placeres? Skal det være noget, man bærer rundt på?

Man får faktisk folk til at gøre ting, og det er fascinerende. Jeg har fulgt mennesker på deres arbejdspladser. Det lyder altid lidt uhyggeligt, når jeg siger, hvor meget jeg nyder at følge folk rundt, men det gør jeg virkelig. Det er sjovt at følge mennesker, mens de sælger ting eller udfører deres arbejde, og bare forstå mere om, hvordan de lever deres liv.

Måske burde jeg i virkeligheden have været antropolog. Der er noget fornøjeligt ved at forstå mere om, hvordan mennesker gør ting. Man kan lave samskabelsesaktiviteter, som er virkelig sjove. Nogle af dem involverer LEGO. Søg efter samskabelsesaktiviteter – de er virkelig underholdende. Man kan få folk til at skitsere, tegne kort eller arbejde sammen med en.

Der findes alle mulige former for blandede kvalitative metoder. Det er ikke kun sjovt; det hjælper også med at forstå menneskers mentale modeller og den måde, de tænker på den opgave, de forsøger at udføre.

Hvis du minder om mig – hvilket jeg håber, du ikke gør – er det ganske enkelt fornøjeligt. Det er et lille kig ind i menneskers sind. Der findes også mindre sjove dele. Brugervenlighedstest kan være svære, især hvis det, man har bygget og været meget begejstret for, ikke går så godt.

Jeg kendte en ingeniør, der havde det svært med at se brugervenlighedstest, fordi han kaldte dem gidselvideoer. Det så altid ud, som om personen virkelig kæmpede og var skræmt, og det var meget smertefuldt at se på. Det kan være smertefuldt at se nogen bruge noget, man selv har lavet, når det ikke går, som man forventede.

Hannah Clark: Men det er vel en nødvendig smerte.

Laura Klein: Ved du, hvad det sjove ved det er? At rette det og se den næste gruppe mennesker glide gennem det uden problemer. Det er den sjove del. Og husk: Hvis du ikke gennemgår den svære del, er de mennesker, der kæmper med det, stadig der, selv om du ikke behøver at se på det – og de køber ikke dine ting.

Det sjove er altså at se problemet, finde ud af, hvad problemet er, virkelig forstå det, få det der aha-øjeblik og tænke: »Nu kan jeg finde på en virkelig god idé til, hvordan vi løser det.« Jeg synes, det er fantastisk. Men igen, jeg kan jo godt lide pivottabeller. Enhver sin smag.

Hannah Clark: Personligt synes jeg, det er meget interessant at tale med mennesker og være en flue på væggen. Det er en del af grunden til, at jeg elsker podcasten så meget. Apropos sjov har denne samtale været virkelig sjov for mig. Jeg har nydt at tale med dig, og jeg er sikker på, at alle andre har nydt at lytte til dig. Hvor kan de følge dig og få mere af det online?

Laura Klein: Lige nu er LinkedIn det eneste sted, hvor man virkelig kan se, hvad jeg laver, når jeg en sjælden gang gør noget offentligt online. Jeg er på Blue Sky. Jeg taler ikke rigtigt om arbejde der, men det kan være, jeg gør det på et tidspunkt. Jeg er dog på LinkedIn.

Forhåbentlig lancerer jeg senere i år et kursus på Maven om kvalitative og kvantitative data, og hvordan man kombinerer dem. Hvis du vil lære direkte fra mig, bliver det meget længere end dette og indeholder mange flere detaljer, øvelser og skabeloner.

Jeg har skrevet et par bøger, men de har eksisteret et stykke tid. Du er velkommen til at læse dem. Jeg laver også nogle gange en podcast, der hedder What is Wrong with Hiring? Den handler om ansættelse inden for design, research og produktudvikling.

Hannah Clark: Hvis du er bare halvt så underholdende dér, som du har været i denne samtale, glæder jeg mig meget til at høre den.

Laura Klein: Jeg bander meget mere. Beklager.

Hannah Clark: Så skriv mig op. Jeg abonnerer.

Okay, tusind tak, fordi du tog dig tid, Laura. Det har været enormt sjovt og meget informativt. Jeg glæder mig virkelig til den feedback, folk kommer med til denne episode.

Laura Klein: Tusind tak. Det var fantastisk at være med.

Hannah Clark: Tak, fordi du lyttede med. Du kan få flere gode indsigter, vejledninger og anmeldelser af værktøjer ved at abonnere på vores nyhedsbrev på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved at abonnere på The CPO Club, uanset hvor du hører dine podcasts.