Så har du roligt med UX-undersökningar

Läs utskriften:

Vi provar att skriva ut våra poddar med hjälp av ett program. Ursäkta eventuella stavfel, eftersom boten inte har rätt till 100 procent varje gång.

Hannah Clark: Är du mer av en vänsterhjärne- eller högerhjärnetänkare? Om du inte vet vad jag pratar om brukar personer med vänsterhjärna vara mer analytiska och fokuserade på mätvärden, medan personer med högerhjärna oftare använder berättelser för att förstå världen. När vi tänker på kvalitativa och kvantitativa undersökningar kan du därför antagligen gissa vilka typer som brukar dras till vilka undersökningsmetoder. Och det är bra – vi behöver trots allt båda – men det visar sig att det är mycket lättare sagt än gjort att föra samman dem. Hur kombinerar man siffror och berättelser för att måla upp en korrekt bild? Och oavsett undersökningsmetod, hur ser man till att ens data håller god kvalitet?

Min gäst i dag är den fantastiska Laura Klein, principal på Users Know och författare till Build Better Products och UX for Lean Startups. Under de senaste 20 åren har Laura arbetat med många produktteam och sett många av dem kämpa med samma utmaningar när det gäller att genomföra och tillämpa användarundersökningar. Hon ska dela med sig av några av sina mest användbara observationer och råd för produktteam, särskilt senare i avsnittet när vi kommer in på segmenteringens och undersökningarnas viktiga roll. Du kommer att behöva båda sidorna av hjärnan för det här, så låt oss sätta igång.

Välkomna tillbaka till podden The CPO Club.

Laura, tack så mycket för att du tog dig tid i ditt schema att prata med oss.

Laura Klein: Tack så mycket för att ni bjöd in mig.

Hannah Clark: Vi börjar med att prata lite om dig själv och hur du startade Users Know.

Laura Klein: Ja. Som du sa är jag en UX- och produktperson. Jag är en återhämtande ingenjör. Jag har arbetat med teknik sedan 90-talet, så det var ett tag sedan. Jag har gjort en hel mängd olika saker. Jag grundade ursprungligen Users Know någon gång i början av 2010-talet. Jag minns faktiskt inte datumet längre, även om jag brukade kunna det. Jag lärde mig design på en riktigt bra nischad designbyrå där vi arbetade med design och undersökningar för kunder.

Jag lärde mig enormt mycket där. Det var fantastiskt. Det var efter att jag hade varit ingenjör under ganska lång tid, främst på nystartade företag. Jag slutade ärligt talat för att jag ville kunna säga upp mina kunder. Det är hundra procent sant. När man arbetar på en byrå brukar jag alltid skämta om att man måste göra många människor nöjda.

Man måste göra sina chefer nöjda och sina kunder nöjda. Och helst måste man, om man är UX-designer, också göra sina kunders eller användares kunder nöjda. Och märkligt nog står de sakerna ibland i konflikt med varandra. Det jag insåg var att jag fungerade mycket bättre när jag kunde arbeta med kunder som verkligen delade min syn på hur vi skulle utföra arbetet.

Jag har verkligen tyckt om att arbeta med människor som på något sätt köper in sig på mitt arbetssätt. Inte för att det är särskilt didaktiskt, men jag har ett specifikt sätt att göra saker på, och om du är med på det så fungerar vi bra ihop och gör mycket bra arbete tillsammans.

Hannah Clark: Ja, jag kommer själv från en byråbakgrund och kan verkligen relatera till att saker fungerar så mycket bättre när det passar. Ibland kan man inte tvinga fram en bra matchning.

Laura Klein: Du kanske vill ha den där andra saken som jag inte förhandlade med dig om, och jag är inte säker på att jag kan göra det åt dig. Hälften av tiden när jag faktiskt arbetar med affärsutveckling för Users Know, vilket inte alltid är fallet eftersom jag ibland har heltidsjobb eller är fullbokad, ägnar jag mycket tid åt att säga till människor: ”Nej, det där gör jag inte. Du borde prata med den och den, någon jag känner som gör just det där. Du kommer att bli mycket nöjdare med dem, eftersom de är bättre på det än jag är.” Så ungefär halva tiden tackar jag nej till människor.

Det finns bara en av dig, och du behöver bara ett par projekt. Du vill hitta de projekt där du verkligen känner: ”Det där är något jag kan göra riktigt bra.”

Hannah Clark: Ja, jag tror nästan att det är ett tecken på framgång att befinna sig i en position där man verkligen kan välja de projekt som tar både en själv och kunden dit man vill. Så jag respekterar verkligen det.

I dag ska vi fokusera på att kombinera kvalitativa och kvantitativa undersökningar för att fatta bättre beslut i ett produktsammanhang. Vad kan du berätta utifrån din egen erfarenhet? Vad ser du att team har svårt med när det gäller att kombinera de här två disciplinerna?

Laura Klein: Allt. Det här är ett av de sätt som jag arbetar på som är väldigt specifikt. Jag tycker verkligen att problemet ser ut så här: Jag ser människor kämpa märkligt nog med båda sidorna. Många har väldigt svårt att genomföra kvalitativa användarundersökningar. Många har också väldigt svårt att genomföra kvantitativa användarundersökningar.

Och när det gäller att kombinera de två letar man nästan efter en enhörning, eller hur? Det är helt enkelt väldigt svårt, eftersom så mycket måste bli rätt. Och ja, jag skojar inte. De kämpar med allt. Många vet inte hur man gör en bra kvalitativ undersökning.

De vet inte när den ska genomföras. De vet inte när de ska anlita alla de fantastiska yrkespersoner som finns där ute, som arbetar med detta på heltid, som är mycket bra på det och verkligen vet vad de gör. På den kvantitativa sidan är matematik svårt, eller hur? Det är inte bara själva matematiken som är svår; statistik är inte intuitivt för någon egentligen.

Dessutom är det svårt att instrumentera sin produkt så att man kan få rätt data. Så många företag samlar in all data, men på något sätt är inget av den korrekt. Det blir bara en enda röra på båda sidor. Och när man sedan tar en dåligt genomförd kvalitativ undersökning som kanske inte tog upp de verkliga problemen eller inte hade en bra fråga som den egentligen försökte besvara, och kombinerar den med data som samlats in lite på måfå och kanske inte ens är korrekt, får man det resultat man får. Och inget av det blir bra.

Det här gäller förstås inte alla; det är värsta tänkbara scenario. Jag ser ofta företag som kanske har ett riktigt bra kvalitativt undersökningsteam och är fantastiska på att samla in informationen, men inte lika bra på att integrera den i produktbesluten. Eller så ser man produktchefer som är så fokuserade på data att de inte alls tittar på den kvalitativa sidan. Därför förstår de egentligen inte varför något händer. De tittar bara på siffror hela dagarna.

Och de säger: ”Det kanske är det här. Det kanske är något annat. Det kanske är ytterligare något.” Det är ett mycket vanligt mönster: den ”datadrivna” produktchefen. Jag är helt för att fatta produktbeslut som informeras av data, men data berättar inte varför något händer. De berättar bara vad som händer.

Och ibland gör de inte ens det särskilt bra. Så ja, allt är svårt. Därför borde man inte bry sig och bara gå på magkänslan. Nej, det stämmer inte. Förlåt.

Hannah Clark: Ja, absolut inte slutsatsen.

Laura Klein: Det är verkligen inte slutsatsen. Den enda slutsatsen är att man inte ska ge upp.

Hannah Clark: Nej, vi fortsätter framåt. Föreställningen måste fortsätta.

Laura Klein: Ja, vi erkänner att det vi gör är svårt, ger oss själva utrymme att lära oss nya saker och medger att vi kanske inte vet allt. Jag säger att jag hela tiden lär mig saker om båda sidorna av detta, och vi arbetar med experter som är bra på var och en av dem och gör så gott vi kan.

Hannah Clark: Jag ser fram emot att gå in lite mer på det, och även på några av sätten som vi kan se till att den data vi samlar in blir mer tillförlitlig eller ger bättre insikter i det vi försöker uppnå.

Men under tiden kan vi anta att vi har data av god kvalitet från både den kvalitativa och den kvantitativa undersökningssidan, bara för det här exemplets skull.

Laura Klein: Ja, vi är fantastiska på båda områdena.

Hannah Clark: Ja. Föreställ dig att vi har de bästa av de bästa på jobbet. Hur kan vi börja föra samman de här två typerna av undersökningar i ett sammanhang där vi fattar produktbeslut?

Laura Klein: Okej. Vi kan säga att vi har människorna och processerna på plats för att gå ut och få fram bra data, för det första steget är verkligen att försöka förstå vilken fråga man försöker besvara. Det är minst lika svårt som resten. Många har, som jag sa, instrumentpaneler på plats och tänker: ”Vi gör användbarhetstester hela tiden och gör alla de här sakerna.” Det är bra, men du försöker fatta ett beslut, eller hur? Du försöker fatta ett specifikt beslut. Ska vi göra X? Vilken ny funktion ska vi bygga härnäst? Vad ska prioriteras? Alla slags beslut som vi produktmänniskor fattar varje dag.

Bra. Vilket beslut försöker du fatta just nu? Hur kan vi förbättra aktiveringen för den här specifika funktionen? Hur kan vi förbättra kundanskaffningen? Hur kan vi hindra människor från att lämna efter ett visst antal månader? Det här är den typ av frågor vi ofta behöver ställa oss. Ibland måste vi fråga oss om det är den här funktionen eller den där funktionen.

Vilken av dem har störst chans att göra det jag verkligen behöver få gjort? Det leder återigen tillbaka till: vilka är mina mätvärden och vad i hela världen försöker jag göra med dem? Du måste börja med en bra fråga som går att besvara. Den kan inte bara vara: ”Hur mycket skulle någon betala för det?” Jo, den kan vara det, men det är faktiskt en extremt svår fråga att besvara ur båda perspektiven.

Så den är knepig, även om man ibland måste besvara den. Men man måste verkligen avgränsa den. Vad är det jag försöker få svar på? Sedan måste man titta på den kvantitativa datan. Den kommer att berätta vad som för närvarande händer med produkten. När jag talar om kvantitativ data menar jag inte nödvändigtvis marknadsundersökningar, även om det också kan vara något man vill ta in, kanske i ett tidigare skede.

Jag talar specifikt om analys, mätvärden och saker som man mäter i produkten. Kvantitativ data gör ofta inte ett särskilt bra jobb med att berätta något när man ännu inte har en produkt. Om det inte finns något ute på marknaden finns det ingen kvantitativ data. Och om man ännu inte har många användare kanske man inte har tillräckligt mycket kvantitativ data.

Därför måste man fundera på när den ska användas. Men i grunden berättar den bara vad människor gör. Vad klickar de på? Vad köper de? Om de klickar på det här, går de då vidare och köper den där andra saken? Den berättar alla möjliga saker om varför.

Kvalitativ data – här talar vi om användarundersökningar och användbarhetstester, som är två olika saker. Generellt sett är användarundersökning det större området, men användarundersökningar handlar verkligen om att förstå användarna: deras mentala modeller, deras sammanhang, vad de försöker göra, vilka problem de har i allmänhet och med produkten samt alla sådana saker. Det hjälper dig att förstå varför det som händer faktiskt händer.

Det är allt. Den kommer inte att berätta vad som pågår. Kvalitativa undersökningar görs ofta med mycket mindre grupper av människor. Det är en iterativ process. Det är inte så att man gör fem intervjuer och sedan är klar för alltid. Men man kan fatta vissa beslut utifrån att ha pratat med fem personer. Sedan pratar man med fler i en ny omgång och fortsätter på det sättet.

Man kan bara prata med ett visst antal människor och gör det under en längre tid. Det är fullt möjligt att prata med människor och få en mycket bra bild av vilka de är och vad de gör. Men man kommer aldrig att få en lika bra bild av vad som pågår genom att bara prata med människor.

Däremot kommer man att förstå varför. Ett exempel är en kassaprocess. Vi tar något enkelt, något som vi alla har gjort och kanske också byggt. Det är en mycket vanlig sak. Alla här har gått igenom en kassaprocess i någon form av digital produkt.

De brukar vara ganska linjära och innehålla flera steg. Det finns information som företaget absolut behöver få från dig. Om du har instrumenterat datan korrekt kan du se var människor lämnar processen. Och jag garanterar att någon har lämnat den processen.

Vi kallar det en tratt. Det liknar mer ett såll. Nästan alla når slutet i bästa fall; i verkligheten faller människor ständigt bort. En dålig tratt. Datan berättar exakt var de faller bort. Det är bra. Sedan säger många produktchefer: ”Alla faller bort vid det här steget där de måste ange sina kortuppgifter”, och börjar genast hitta på lösningar.

”Vi borde göra så här. Vi borde ändra det här. Vi borde göra det lättare att se. Vi borde ändra godkännandet.” Eller så kan du helt enkelt titta på några människor när de använder kassaprocessen och försöka förstå om något uppenbart händer. Det kan bero på många saker. Jag har sett dussintals olika saker få människor att lämna kassaprocesser, introduktionsprocesser eller datainsamling.

Det viktiga är att den korrekta lösningen beror på vilket problemet faktiskt är. Problemet är inte att människor lämnar processen. Det är ditt problem. Deras problem kan vara att de inte förstod något, eller att det fanns ett fel som hindrade dem från att göra något. Om du inte ser eller känner till felet kommer du aldrig att rätta det.

Du kanske aldrig löser problemet i kassan, eller så saknas rätt betalningsmetoder, eller så finns det ett dussin andra problem. Det är nästan chockerande när man tittar på någon och tänker: ”Det är den där lilla saken. Den kan jag bara fixa.” Jag har haft ingenjörer som tittat på när jag genomfört användarundersökningar eller användbarhetstester och sedan rättat felet som orsakade problemet under själva testet och lagt ut ändringen i produktion.

Vi upptäckte ett problem. Det var uppenbart ett problem och uppenbart ett fel. Ingenjören som tittade på hade sin bärbara dator i knät och rättade det direkt. Senare under sessionen kom vi tillbaka till samma del, och personen sa: ”Jag trodde att det här var trasigt.” Jag svarade: ”Det trodde jag också.” Jag vände mig om och ingenjören nickade och gav mig tummen upp. Då tänkte jag: ”Jag antar att det inte längre är ett problem.”

Det här är ett bra exempel på att man inte bara ska förstå vad som händer och sedan hoppa till en massa idéer om hur man ska lösa det. Ta reda på varför det händer. Sedan kanske det finns en mycket enkel lösning, och därefter kan man gå vidare till viktigare problem.

Hannah Clark: Vad tror du hindrar oss från att först söka den lösningen i stället för att omedelbart börja hitta på lösningar? Varför är det inte det självklara alternativet enligt dig?

Laura Klein: Kvalitativa undersökningar är svåra. De uppfattas ofta som tidskrävande, och faktiskt kan de vara tidskrävande. I vissa organisationer är de mycket svårare att genomföra än i andra. Om du arbetar i en stor organisation där du är begränsad i hur många människor du ens får prata med, där det är svårt att rekrytera deltagare eller där du saknar en stabil process för undersökningsverksamheten som hjälper dig att rekrytera, då är det mycket arbete.

Det kan vara mycket arbete. Det kan också vara ganska enkelt om du redan har satt upp saker så att du snabbt kan starta rätt typ av undersökning vid rätt tidpunkt. Vissa saknar helt enkelt den kompetensen. De känner sig inte bekväma med att gå ut och prata med människor.

Dessutom är det lätt och roligt att hitta på idéer, och man kan göra det i ett rum. Det ligger i människans natur. Jag kan inte säga hur många gånger jag har pratat med människor om vad som helst – inte produkter, utan precis vad som helst – till exempel vad de vill äta till middag. ”Jag vet inte.” Sedan börjar man bara prata om olika sorters mat. Man sitter inte där och tänker att man behöver en hel process för att komma fram till svaret.

Jag tror att människans hjärna är gjord för att komma på idéer. Idéer är roliga och enkla, men inte alltid bra och inte alltid rätt. Det är själva saken. Jag tror också att många produktmänniskor ibland har mycket starka åsikter om vad som är fel med deras produkt. Vi vet alla att det vi skapar inte är perfekt och kan ha starka åsikter om vad som är fel.

Det är lätt att fastna i: ”Jag visste att det här var ett problem på grund av det ena eller det andra, så jag ska lösa det problem som jag vet finns”, även om det kanske inte har något tekniskt samband med det problem man faktiskt stöter på. Jag ser också detta ofta. Någon säger: ”Men jag vill lägga till AI.” Då blir slutsatsen att alla problem beror på att vi inte har tillräckligt mycket AI. Jag är ledsen, men jag kan säga redan nu att ditt problem inte är att du inte har tillräckligt med AI.

Hannah Clark: Säg det högre så att de längst bak hör. Jag skulle kunna göra ett helt annat avsnitt om det.

Laura Klein: Ja, jag också. Det finns problem som man absolut kan lösa med AI. Vissa kanske till och med löses bättre med AI. Vem vet? Men problemet är inte att produkten saknar tillräckligt många funktioner.

Hannah Clark: Håller helt med. Och definitivt inte att den saknar en AI-funktion.

Laura Klein: Ja, att den saknar en specifik funktion. Problemet är att den inte löser användarnas problem på ett sätt som är användbart och värdefullt för dem.

Hannah Clark: Ja, det behöver jag tatuera in.

Laura Klein: Du kan kanske brodera det på en kudde i stället.

Hannah Clark: Ja.

Laura Klein: Det är lite långt.

Hannah Clark: Jag kunde inte hålla med mer. Det flyter inte riktigt på kroppen.

Hur som helst, låt oss prata lite om olika situationer där det är lämpligt att använda den ena eller den andra metoden, alltså kvalitativ respektive kvantitativ. Jag tycker att du gav ett väldigt bra och kortfattat exempel på hur den ena informerar den andra. Det finns uppenbarligen sammanhang där den ena är mer värdefull än den andra. Låt oss prata lite om undantagen.

Laura Klein: Några saker man måste komma ihåg är att den ena eller den andra ibland helt enkelt inte är tillgänglig. Då gör man så gott man kan med det man har.

Som jag sa kan det ibland vara mycket svårt att få kvalitativ data från rätt personer i vissa typer av miljöer, ofta i större organisationer. Och större organisationer är fascinerande eftersom man har flera typer av användare. Ofta finns det en köpare och en kund som är helt olika och har helt olika behov och önskemål.

Det kan därför vara mycket lättare att få synpunkter från den ena än från den andra. Och tala inte ens med mig om administratörerna. Jag har gjort mycket undersökningar med dem, och det är oerhört användbart, men de är svåra att få tag på. Ibland är det helt enkelt mycket svårt att få den informationen, men det är fortfarande helt klart värt det.

Min rekommendation är då att skapa en process som hjälper dig att hitta de personerna. Kvantitativ data är återigen ett bra exempel. Ibland har man helt enkelt inte tillräckligt mycket data. Kvantitativ data, särskilt när det gäller A/B-tester, är mycket användbar under vissa omständigheter, men inte på det sätt som de flesta använder den.

A/B-testning fungerar bra om man har tillräckligt många människor för att kunna se skillnaden. Men om man befinner sig tidigt på en direkt-till-konsumentmarknad, har för många olika segment för att verkligen kunna förstå skillnaden eller arbetar i en större organisation med väldigt få användare, kommer man aldrig att få tillräckligt med data. Det går inte. Det alternativet finns inte. Då måste man göra kvalitativa undersökningar och göra sin bästa bedömning.

Hannah Clark: Jag är nyfiken på hur vi avgör vilken urvalsstorlek vi behöver innan vi går vidare och bestämmer våra mål för hur mycket data vi behöver.

Laura Klein: När det gäller data ska jag säga att du behöver prata med en riktig dataforskare, eftersom jag inte skämtade när jag sa att matematik är svårt, och just den här typen av matematik är oerhört svår. Jag har sett människor göra fel på det många gånger. Det finns alla möjliga märkliga problem som man inte förväntar sig, till exempel problemet med att titta på resultaten för tidigt.

Det kallas att tjuvkika, och man ska inte titta på data innan testet är klart. Det är ett helt område i sig. Det finns massor av information där ute, så jag är inte rätt person att förklara matematiken. Den varierar för mycket och beror på hur många personer man behöver i varje gren av ett A/B-test.

Det finns också frågan om varianter. Vi stöter ofta på problem när man kan ha mycket stora avvikare i sin datamängd. Om vissa kunder spenderar tiotusentals kronor medan de flesta spenderar en krona kommer det mycket lätt att påverka A/B-datamängderna om man behöver analysera sådant.

Det finns alltså många olika variabler man måste ta hänsyn till för att få rätt data. Därför säger jag att de flesta är dåliga på det: det är svårt, och man behöver experter. Jag rekommenderar också experter för kvalitativa undersökningar, men av en helt annan anledning.

När det gäller urvalsstorlek i kvalitativa undersökningar brukar jag säga att man inte letar efter statistisk signifikans. Det är helt enkelt inte något man kommer att få fram. När någon säger: ”Vi gjorde en statistiskt signifikant kvalitativ undersökning”, svarar jag: ”Nej, det gjorde ni inte.” Det man letar efter är återkommande och förutsägbara mönster.

Det fanns en gammal studie som har funnits sedan jag började med undersökningar på 90-talet. Den sade ungefär att man kommer att se de flesta av sina problem hos fem personer. Det handlar dock särskilt om användbarhetstester, där man hittar hinder i ett visst gränssnitt för en produkt. Det bygger på många antaganden, bland annat att alla använder produkten på samma sätt.

Det kan därför vara sant för en kassaprocess som bara finns i ett land och bara har ett par olika användartyper. Då kanske man kan hitta många av sina användbarhetsproblem hos fyra eller fem personer. Jag har till och med hittat felet vi talade om tidigare hos en enda person. Om det händer den personen händer det förmodligen många människor. Då bör man bara rätta det. Och det visade sig vara sant.

Men ofta måste man prata med människor tills man kan börja förutsäga de mönster man kommer att se. Jag tycker om att kontinuerligt sammanställa data. När vi har pratat med någon går vi tillbaka och sammanfattar: vilka var slutsatserna, observationerna, personens beteenden, behov och mål?

Sedan bygger man kontinuerligt vidare tills man kan säga: ”Det är den här typen av person som kommer in.” Man kan använda personas, organisationspersonas eller vad man vill. Man kan säga: ”Den här typen av person kommer in, och jag förutspår att de kommer att göra saker på det här sättet och ha de här problemen.” Om man har rätt börjar man se mönstren.

Kvalitativa undersökningar bör vara löpande. Man bör alltid prata med människor. Därför behöver man inte oroa sig alltför mycket för urvalsstorleken. Om några personer verkligen kämpar med något är de förmodligen inte de enda tre personerna i världen som har det problemet. Man har antagligen inte råkat få unikt dumma användare.

Om man har gjort det är det intressant, eftersom man kanske bör granska sin urvalsprocess. Eller så är det kanske ens användare. Men i allmänhet ser man samma saker ganska snabbt och om och om igen när man tar in människor för att prata med dem.

Om man däremot ser helt olika saker kan det vara ett tecken på att man inte har segmenterat sina undersökningspersoner ordentligt. Alla använder inte produkter för samma sak och alla använder inte produkter på samma sätt. Om man pratar med vana användare jämfört med helt nya användare får man troligen olika problem.

Om man pratar med personer som bara köper på ett visst sätt, eller med personer som köper grossistvis jämfört med personer som bara köper till sina familjer, ser man olika beteenden och de har sannolikt olika behov. Om behoven skiljer sig kraftigt åt behöver man kanske förstå varför. Tillhör de faktiskt olika grupper?

Hannah Clark: Ja. Jag är så glad att du tog upp segmentering. Det är något som ofta förbises när vi försöker skapa ett dataset som vi faktiskt kan fatta beslut utifrån.

Vilka råd skulle du ge om vi går in i en undersökningsprocess och vet att segmentering kommer att vara en viktig faktor, oavsett om undersökningen är kvalitativ eller kvantitativ? Hur tar vi oss an det proaktivt?

Laura Klein: Segmentering är nästan alltid viktigt. Men återigen – herregud, jag kommer att säga det – jag ber om ursäkt, men jag ska vara UX-designer: det beror på. Jag stannar inte där.

Det beror på många olika faktorer. Låt oss till exempel prata om en AI-funktion som jag en gång såg implementeras. Det var en produkt som hjälpte rekryterare att kontakta potentiella arbetssökande.

När man får ett sådant meddelande på en plattform står det ungefär: ”Vi såg ditt CV och trodde att du kanske skulle vara intresserad av X.” Det visar sig att många människor är riktigt dåliga på att skriva sådana mejl. Även personer som arbetar professionellt med det kan vara dåliga. Mejlen är svåra att skriva, särskilt för personer som inte gör det hela tiden.

En rekryterande chef kanske bara letar efter en eller två personer och har inte tänkt igenom hur man kontaktar någon och frågar om personen vill komma in och prata. Företaget bestämde sig därför för att lägga på lite AI-magi för att hjälpa människor skriva bättre kontaktmejl.

Och det fungerade. AI kan bland annat sammanfatta ett ämne och skriva ett bättre mejl. Man kunde göra tonen mer vardaglig eller mer formell. Sammantaget var det verkligen hjälpsamt. AI:n fick med viktig information från platsannonsen, gjorde meddelandet tydligare och fick det att kännas mindre som skräppost. Totalt sett förbättrades resultaten och man fick fler svar.

Men här är problemet. Det fanns en liten grupp användare som verkligen var experter på detta. Det var allt de gjorde. De skrev kontaktmejl hela dagarna. De A/B-testade dem själva och hade företagsstandarder att följa. Föreställ dig en mycket professionell rekryterare som skickar sådana mejl hela dagarna.

De hade team av dataforskare på sin sida som analyserade vilka mejl som fungerade bäst. Gissa vad? AI:n hjälpte dem inte. Den kunde faktiskt störa deras arbetsflöde. De ville definitivt inte att något skulle skriva om en mall som följde företagets standarder, innehöll all juridisk information som krävdes och redan hade A/B-testats.

De ville använda sin egen mall. Och naturligtvis var det de personer som använde produkten mest och som var mest benägna att betala för den. Här har man alltså en stor grupp människor som inte betalar särskilt mycket och en liten grupp som betalar mycket.

Nu måste man besluta hur man ska hantera det. Det självklara svaret är att ge människor möjligheten att använda funktionen, men inte tvinga dem. Om man bara tittar på data och säger att människor i allmänhet fick bättre resultat med AI:n blir det fel. Majoriteten fick bättre resultat med AI:n, men den lilla andel som faktiskt betalade mest fick sämre resultat.

Därför ska man inte tvinga på alla funktionen. Alla behöver inte ha den. Man måste komma ihåg att olika grupper kan ha mycket olika betydelse för företaget utifrån sitt beteende.

Hannah Clark: Det här är ett väldigt bra exempel på att segmentering inte bara handlar om vilka segment man har, utan också om vilken roll de spelar för verksamhetens övergripande värde och produktens strategi. Jag är glad att du tog upp det, eftersom det är något jag önskar att vi alla tog hänsyn till när vi integrerar AI-funktioner.

Laura Klein: Det gäller alla funktioner, men särskilt AI.

Hannah Clark: Det är verkligen något jag har svårt att släppa. Men hur som helst. Eftersom vi börjar närma oss slutet av vår tid vill jag prata lite om hur man kan ha roligt i undersökningsprocessen. Jag tycker att undersökningar ofta framställs som torra eller tidskrävande. Samtidigt finns det så mycket insikt och värde i att prata med människor, och också mycket roligt i det. Vad är det roligaste du har gjort i ett undersökningsprojekt?

Laura Klein: Ibland blir det pyssel och hantverk, vilket jag tycker är roligt. Alla är dock inte som jag och älskar kalkylblad, pivottabeller och data. Jag förstår det. Jag tänker inte försöka övertyga dig om att det är roligt, även om det är roligt för mig. Den kvalitativa sidan kan verkligen vara kreativ.

Om man är en kreativ person är det väldigt spännande att hitta kreativa och intressanta sätt att lösa problem. Om man arbetar med sådant som sker på plats finns det till exempel roliga tjänstedesignövningar för personer som utformar flygplatser. Ibland, eller när det gäller sjukhus vilket faktiskt är ett ännu bättre exempel, sätter man upp ett låtsassjukhus.

Man vill inte gå in på ett riktigt sjukhus och börja störa verksamheten när människor är sjuka. Det skulle vara olämpligt. Men jag har sett människor sätta upp låtsassjukhus för att studera hur människor rör sig. Får vagnar plats? Vilken teknik ska integreras och var ska den placeras? Ska det vara något man bär med sig?

Man låter människor göra saker och det är fascinerande. Jag har följt människor på deras arbetsplatser. Det låter alltid lite obehagligt när jag säger hur mycket jag tycker om att följa människor på jobbet, men det gör jag faktiskt.

Det är roligt att följa människor när de säljer saker eller utför sina arbetsuppgifter och försöka förstå hur de lever sina liv. Jag kanske egentligen borde ha blivit antropolog. Det finns något njutbart i att förstå mer om hur människor gör saker.

Man kan ordna roliga samdesignaktiviteter. Vissa innehåller lego. Sök efter samdesignaktiviteter – de är verkligen trevliga. Man kan låta människor skissa, rita kartor eller arbeta tillsammans med en.

Det finns alla möjliga blandade kvalitativa metoder. De är inte bara roliga; de hjälper en att förstå människors mentala modeller och hur en person tänker kring det hen försöker göra.

Det finns mindre roliga delar också. Användbarhetstester kan ibland vara svåra om det man byggt och varit riktigt entusiastisk över inte fungerar särskilt bra. Jag kände en ingenjör som hade mycket svårt att titta på användbarhetstester eftersom han kallade dem gisslanvideor. Personen såg alltid ut att kämpa och vara skräckslagen, och det var smärtsamt att titta på.

Det kan göra ont att se någon använda något man har skapat när det inte går som man förväntade sig.

Hannah Clark: Men det är ändå en nödvändig smärta.

Laura Klein: Och vet du vad som är det roliga med det? Att rätta problemet och se nästa grupp människor ta sig igenom det utan problem. Det är den roliga delen. Om man inte går igenom det svåra kommer de människor som kämpar fortfarande att finnas där, även om man själv slipper se det, och de kommer inte att köpa ens produkt.

Det roliga är alltså att se problemet, förstå det, få den där aha-upplevelsen och tänka: ”Nu kan jag komma på en riktigt bra idé för hur vi ska lösa det.” Jag tycker att det är fantastiskt. Men jag gillar ju pivottabeller, så var och en får göra som den vill.

Hannah Clark: Personligen tycker jag att det är väldigt intressant att prata med människor och vara som en fluga på väggen. Det är en av anledningarna till att jag tycker så mycket om podden. Men på tal om roligt har det här samtalet varit väldigt roligt för mig. Jag har verkligen tyckt om att prata med dig. Var kan lyssnarna följa dig online?

Laura Klein: Just nu är LinkedIn den enda platsen där man verkligen kan se vad jag gör när jag ibland gör något offentligt online. Jag finns på Blue Sky också, men jag pratar inte särskilt mycket om arbete där. Jag finns på LinkedIn och kommer förhoppningsvis att lansera en kurs på Maven om kvalitativ och kvantitativ data och hur man kombinerar dem.

Om du vill lära dig direkt av mig blir kursen mycket längre än det här och innehåller fler detaljer, övningar och mallar. Jag har skrivit ett par böcker, men de har funnits ett tag. Du får gärna läsa dem. Jag medverkar också ibland i podden What is Wrong with Hiring?

Den handlar om rekrytering inom design, undersökningar och produktarbete.

Hannah Clark: Om du är lika rolig där som i det här samtalet kan jag knappt vänta på att lyssna.

Laura Klein: Jag svär mycket mer. Förlåt.

Hannah Clark: Då är jag med. Jag prenumererar.

Tack så mycket för att du tog dig tid, Laura. Det här har varit otroligt roligt och mycket informativt. Jag ser verkligen fram emot den feedback som lyssnarna kommer att ha om avsnittet.

Laura Klein: Tack så mycket. Det var fantastiskt att vara här.

Hannah Clark: Tack för att du lyssnade. För fler fantastiska insikter, guider och verktygsrecensioner kan du prenumerera på vårt nyhetsbrev på theproductmanager.com/subscribe. Du kan höra fler samtal som detta genom att prenumerera på The CPO Club, oavsett var du brukar lyssna på poddar.