Så använder du AI för att forska som en forskare

Läs transkriptet:

Vi testar att transkribera våra poddar med hjälp av ett program. Ha överseende med eventuella stavfel eftersom boten inte har rätt 100 % av gångerna.

Hannah Clark: Sedan urminnes tider har människor bedrivit forskning på dåliga sätt. Vi behövde inte AI för att ta dåligt beräknade genvägar eller göra breda antaganden baserade på knapphändig data, eller utveckla besvärliga personas formade av antaganden och smärtsamt ohjälpsamma användarintervjuer. Så nu när AI finns här är det ingen överraskning att forskarsamhället oroar sig för att tekniken kan skapa ännu mer kaos i forskningens kvalitet. Men i dagens program utforskar vi sätt som AI faktiskt kan hjälpa till att standardisera och demokratisera god forskning i stor skala.

Min gäst i dag är Cori Widen, chef för användarundersökningar på Photoroom. Om du inte redan känner till Photoroom får företaget mycket uppmärksamhet för de innovativa sätt de använder AI på, och Cori gav mig en fascinerande genomgång av hur allt detta börjar på kulturnivå. Vi pratar om hur företagets tankesätt främjar en entusiasm för att utforska möjligheterna, samt om några praktiska sätt som team kan använda AI för att uppskatta, genomföra och dra nytta av bra forskning. Då sätter vi igång.

Förresten har vi sådana här samtal varje vecka. Om det här låter intressant för dig, varför inte prenumerera? Okej, då sätter vi igång.

Välkommen tillbaka till podden för produktchefer. I dag är jag här med Cori Widen. Hon är chef för användarundersökningar på Photoroom.

Cori, tack så mycket för att du tog dig tid att träffa mig.

Cori Widen: Tack så mycket. Jag är väldigt glad över att vara här.

Hannah Clark: Jag med. Cori har faktiskt arbetat med mig under lång tid, och det här är en av de första gångerna vi faktiskt har fått prata och inte bara kommunicera via e-post. Så det här är väldigt spännande. Det känns som att jag pratar med en gammal vän eller en gammal brevvän.

Cori Widen: Ja. Väldigt spännande. Jag håller med.

Hannah Clark: Vi börjar på det sätt vi alltid gör. Kan du berätta lite om din bakgrund och hur du hamnade där du är nu?

Cori Widen: Ja, absolut. Jag har arbetat inom teknikbranschen i ungefär 13 år.

Under större delen av den tiden arbetade jag faktiskt med produktmarknadsföring, men eftersom forskningsmetoder är en del av arbetet för de flesta inom produktmarknadsföring, eller hur? Som att intervjua användare och sådant. Och vid någon tidpunkt bestämde jag mig helt enkelt och sa: egentligen är det den delen jag tycker bäst om – användarundersökningarna.

Så jag gick över till att arbeta heltid som forskare, först på Lightrix och nu på Photoroom. Jag leder användarundersökningarna på Photoroom.

Hannah Clark: Toppen. I dag ska vi fokusera på forskargodkända sätt att använda AI för forskningsändamål, vilket är en het fråga just nu. Så vi börjar med ett kontroversiellt ämne: att använda AI för kvalitativ analys.

Vilken är din nuvarande metod för att kombinera AI och manuellt arbete på ett sätt som känns bra och som du själv kan godkänna? Och hur har den utvecklats över tid?

Cori Widen: Det är definitivt kontroversiellt. Jag kan säga lite om hur det utvecklades innan jag går in på var jag har landat nu: jag var också tveksam.

Jag tror att hela forskarsamhället var det. Dels för att jag inte litade på att AI skulle göra ett bra jobb, och i början gjorde den verkligen inte det. Det var en helt legitim oro. Den andra saken som jag inte hör människor prata tillräckligt mycket om är att jag älskade mitt jobb. Jag väntade faktiskt inte på att AI skulle komma och säga: låt mig göra det bättre.

Låt mig lösa den här smärtpunkten. Jag tyckte om sådant som kvalitativ analys, alltså processen att göra det själv. Så jag var inte särskilt entusiastisk i början, men det blev tydligt att man antingen fick lista ut hur man skulle använda tekniken eller hamna på efterkälken. När jag började använda AI för kvalitativ analys var min första process att genomföra exakt den manuella process jag alltid hade använt, samtidigt som jag försökte använda AI, och sedan jämföra erfarenheterna och se vad AI gjorde bra, vad den inte gjorde bra och hur den kunde hitta den där balanspunkten för tillförlitlighet.

Det har varit mycket försök och misstag, och jag tror att processen alltid kommer att utvecklas eftersom AI alltid utvecklas. Men just nu kan jag beskriva var jag befinner mig i detta ögonblick. Okej, jag tror att det hjälper att ha ett konkret exempel. Säg att jag analyserar ett strategiskt forskningsprojekt och att det mesta av datan består av data från användarintervjuer.

Det jag gör är att jag har alla transkript inom ett projekt. De lagras i Dovetail, som vi använder, och sedan använder vi ett verktyg som heter Dust för att ställa frågor till AI utifrån alla transkript som finns i Dovetail. Okej, så i princip använder jag AI för att ställa frågor om en uppsättning transkript som jag har för ett projekt.

Jag har mina forskningsfrågor framför mig, och dem har jag tagit fram manuellt. Sedan börjar jag skriva instruktioner till AI:n och ber om citat som hör ihop med våra forskningsfrågor. Om jag till exempel vill veta mer om problem i ett specifikt flöde eller något liknande ber jag AI:n hitta citat från användartranskripten.

Som hör ihop med forskningsfrågan. Det ersätter i praktiken processen att manuellt tagga intervjuer. Jag tror att många forskare använder olika verktyg för att manuellt tagga intervjuer utifrån ämnen kopplade till forskningsfrågorna. Nu använder jag AI för det. Sedan tar jag citaten inom varje ämne och lägger in dem på en anslagstavla i Miro och gör en affinitetsdiagramanalys, vilket alltid har varit min process för att analysera intervjuer.

Det gör jag fortfarande manuellt. Utifrån affinitetsdiagrammet tar jag fram mina insikter för projektet. Det andra sättet jag använder AI på är att jag kör mina insikter genom den och säger: det här är sakerna jag kom fram till. Sedan ber jag AI:n att säga emot mig eller hitta sådant i transkripten som strider mot de insikter jag har lagt fram, så att jag kan se om jag har missat något och kontrollera om det finns skevheter och liknande.

Det är min Frankensteinprocess för manuell analys och AI-analys.

Hannah Clark: Du nämnde att din övergripande uppfattning om AI har förändrats. Jag tror att många av oss har gått igenom en liknande resa, från viss tveksamhet till att inställningen förändrats över tid. Hur har det utvecklats för dig?

Cori Widen: Ja, absolut. I början kändes det som att det fanns ett stort tryck inom företagen att komma på hur man skulle använda AI.

Och det var ett ganska riktningslöst tryck. Det här kommer att göra dig mer effektiv, det kommer att hjälpa dig att göra ett bättre jobb och så vidare. Jag var inte säker på exakt hur jag skulle tillämpa det, och de flesta av mina första försök var inte särskilt bra. Det var inte särskilt bra på att ersätta mig i någon del av forskningsprocessen.

Men trycket försvann inte. Gradvis, när ChatGPT blev bättre på att hantera större mängder data, gav jag efter och började skapa anpassade skript för att göra mycket grundläggande saker, som att sammanfatta en intervju. Det öppnade mitt sinne lite, men jag tror faktiskt att den stora vändpunkten kom ganska nyligen, när jag började på Photoroom. Photoroom är mycket unikt i sitt sätt att arbeta med AI, både AI som riktar sig till användare och AI internt i företaget.

Finns det ett tryck att använda det? Absolut. Men jag skulle beskriva det som ett entusiastiskt tryck. Alla är väldigt entusiastiska över de olika användningsområden de hittar inom sina specifika områden och yrken med hjälp av AI.

Det finns alltså en atmosfär där människor hela tiden delar med sig av vad de har åstadkommit. Människor är väldigt intresserade av hur du använder AI och så vidare. Den miljön förvandlade det från ett ”Åh nej, jag är forskare och måste komma på hur jag ska använda AI” till något som faktiskt är en rolig och intressant del av mitt jobb.

Hannah Clark: Okej. Jag vill gå lite djupare in på kulturen på Photoroom om en stund, för det här är verkligen intressant. Jag tror att det är en stor faktor som kan påverka hur AI används i företag överlag, vilket i sig är en enorm fråga.

Men låt oss prata lite om AI-assistenter, eftersom du nämnde att sätten du har använt AI på har förändrats. Att kunna använda det mer effektivt har varit en riktig förändring, och jag tror att alla nu vet att AI-assistenter är på stark frammarsch. Jag vet att du har byggt några som du har haft stor nytta av i din process. Vilka specifika typer av assistenter har du byggt, och vilka problem har de löst för dig på sistone?

Cori Widen: Okej, två huvudsakliga kommer jag att tänka på. Den ena heter ”Mining User Interviews”, vilket inte är någon särskilt kreativ titel, men det är precis vad den gör. I princip lagras varje användarintervju som genomförs på Photoroom i Dovetail, och sedan har vi transkripten via API:t och kan ställa frågor. Det är alltså den ena.

Den har löst olika problem för mig och Becky, som är min medforskare, samt för andra intressenter. För oss forskare är den en stor del av analysprocessen. Det är så vi hittar citat i stället för att tagga saker när vi analyserar ett projekt. För intressenter är det ett utmärkt sätt att, utan att gå via oss och be oss leta fram rapporter och allt sådant, söka igenom alla intervjuer som har genomförts hittills.

Man kan i princip fråga vad som helst om användare eller konkurrenters användare. ”Ge mig en lista över alla problem människor har haft med AI-bakgrunder” eller någon funktion i Photoroom. Det sparar tid åt oss och för intressenterna närmare användaren genom att de själva söker efter informationen och interagerar med den.

Det var den ena. Den andra är nyare och är en generator för intervjuguider. Jag vet att vi ska prata om den senare, men många på Photoroom genomför användarintervjuer. Det finns ofta begränsat med tid för att förbereda en bra intervjuguide inför intervjuerna, och även begränsad kunskap om bästa praxis, till exempel hur man ställer frågor till användare för att få fram de insikter man vill ha.

I intervjuguidegeneratorn anger man vad man vill lära sig, vilka användare man intervjuar och vad man vill lära sig av dem. Sedan skapar den en intervjuguide, till stor del enligt bästa praxis. Effekten har blivit att vem som helst, oavsett hur mycket kunskap man har, kan skapa en intervjuguide som inte ställer ledande frågor och inte ber användare förutsäga sitt framtida beteende eller liknande.

Hannah Clark: Det är verkligen kraftfullt, för jag ser en trend där AI inte bara ökar produktiviteten hos individer, utan också breddar individers kompetens genom att kunna överföra kunskap och sådant. Det är ett så häftigt sätt att använda tekniken. Det är verkligen intressant att höra ett mer nyanserat perspektiv direkt från dig.

Okej, låt oss prata om hur man skriver instruktioner till AI. Det är en annan stor fråga. Alla försöker bli bättre på det, och jag vet att alla pratar om att man bara ska ge den mycket sammanhang, men det är lite mer nyanserat än så.

Vilka specifika tekniker har du upptäckt som verkligen har förbättrat kvaliteten på resultaten när du analyserar användarundersökningar?

Cori Widen: För det första försöker jag, precis som alla andra, fortfarande förstå det här. Ibland sliter jag mig i håret och tänker: varför förstår den mig inte?

Men det finns några saker som har dykt upp som jag tycker är särskilt användbara vid analys. För det första ställer jag varje fråga till AI:n på minst två eller tre olika sätt. Den är inte mänsklig, och det är omöjligt att veta hur den tolkar min fråga. Jag upptäcker ofta att jag får fram olika användarcitat eller olika transkript när jag formulerar frågan lite annorlunda.

Särskilt när jag analyserar ett projekt och vill vara säker på att jag hittar varje relevant punkt inom ett visst ämne använder jag flera olika instruktioner som är formulerade på olika sätt. Jag brukar också kalla det att tjata på AI:n, men jag ber alltid om fler exempel. Även om jag alltid ber om en uttömmande lista över citat eller exempel är den aldrig faktiskt uttömmande.

Det finns alltid fler. Så jag ber alltid om fler. En annan sak jag har lärt mig är att jag, när jag pratar med en människa, kan ställa fyra eller fem frågor på en gång och bli väldigt entusiastisk över ett ämne. Det fungerar inte särskilt bra med AI. Jag försöker därför verkligen ställa instruktioner som bara innehåller en fråga.

Det är intressant eftersom du nämnde att många pratar om att ge den så mycket sammanhang som möjligt. Men utifrån mina egna erfarenheter av att skriva instruktioner tycker jag att det finns något sådant som för mycket sammanhang. Den börjar skapa en hierarki och prioritera vissa saker du säger samtidigt som den ignorerar andra.

Så jag försöker hitta den där balanspunkten, vilket för mig verkar innebära allt mindre sammanhang.

Hannah Clark: Intressant. Det beror också på var man använder sammanhanget. Det här är bra att veta, för det är första gången jag hör någon säga att de inte använder allt sammanhang.

På tal om missade nyanser: en av de saker du nämnde tidigare är att AI ibland missar nyanser i data eller presenterar begränsad data som en trend. Det finns vissa sådana saker som de flesta forskare kanske skulle upptäcka. Som du sa överförs kompetens och kunskap inte alltid på ett tillförlitligt sätt till andra människor.

Hur validerar du AI:ns analys och ser till att du inte missar viktiga avvikelser? Och ännu viktigare: om du delar några av dessa färdigheter med andra intressenter, hur ser du till att kunskapsöverföringen också följer med?

Cori Widen: Ja, absolut. Det här är verkligen viktiga frågor.

När jag analyserar ett projekt ber jag sällan AI:n om insikter. Jag ber den hitta relevanta saker åt mig, och sedan använder jag min mänskliga förmåga för att formulera de faktiska insikterna. Men assistenten som söker igenom användarintervjuer används ofta för sådant som ligger utanför strategiska projekt.

Vi ställer frågor till den om användare: Vad har användare svårast med när det gäller X, eller vad det nu kan vara. Jag tycker att det här är mycket utmanande, och jag har två regler som jag alltid följer. För det första ber jag AI:n att hänvisa till varje transkript som den använder för att skapa en insikt när jag ber den om en sådan.

Ibland hänvisar den till två transkript av hundratals. Då kan jag gå in i transkripten och kontrollera. Jag kan använda mitt mänskliga omdöme och avgöra om det faktiskt stämmer, eftersom AI:n har visat varifrån den hämtade insikten. Den andra saken är att jag alltid ber om avvikande exempel.

Om den ger mig en insikt säger jag: Okej, ge mig nu så många exempel som möjligt på användare som faktiskt går emot den här insikten. Det hjälper mig att titta på all data och sedan dra min egen slutsats på ett mer nyanserat sätt. När det gäller intressenter som använder AI-agenten kan jag säga att vi skapade en guide för hur AI-agenten ska användas i Notion, som alla har tillgång till.

Sådana resurser använder vissa människor och andra inte. Det är alltså något jag fortfarande försöker förstå. Om vi har något som ska göra användardata tillgänglig för alla på företaget, hur ser vi då till att alla är införstådda?

Jag har ännu inget exakt svar.

Hannah Clark: Ja. Jag tror att det här är en pågående fråga, eftersom det visar värdet av att fortfarande ha en mänsklig övervakare oavsett vad vi använder AI till. Man måste fortfarande vara expert inom området för att kunna kontrollera arbetet och se till att det behandlas mer som en medarbetare som man leder, snarare än som någon med samma kompetens som en själv.

Jag tror att många stöter på just den här frågan: hur ser vi till att vår interna kunskap är samordnad med den som försöker använda AI för det här ändamålet?

Nu när vi har pratat så mycket om företagets värderingar och arbetssätt kan vi gå direkt in på några av Photorooms värderingar som har gjort det möjligt för och stärkt dig i att arbeta så här med AI. Låt oss prata om Photorooms värderingar när det gäller användningen av AI.

Du har betonat att kulturen på Photoroom är en viktig drivkraft bakom hur du använder och engagerar dig i tekniken. Vad innebär det att demokratisera forskning? Och hur har det förändrat hur intressenter interagerar med och värderar resultaten från er användarundersökning?

Cori Widen: Absolut. Det som tilltalade mig mest med Photoroom i början var hur användarcentrerade de verkligen var. Ledningen lade tid på att intervjua användare. Under intervjuprocessen insåg jag att det i princip var en förväntan att människor på Photoroom skulle prata med användare och titta på kvalitativ data utöver kvantitativ data.

Det är inte alla företag som gör så. De använde sina interaktioner med användare och sin exponering för kvalitativ data i sitt beslutsfattande. Det var etablerat långt innan jag kom till Photoroom. Jag var lite nervös, eftersom min inställning till demokratisering alltid hade legat i andra änden av spektrumet: forskning bör utföras av forskare.

Det är bra om produktchefer, designers och andra pratar med användare, men jag såg inte fullständig demokratisering som den bästa vägen framåt. Jag fick verkligen lära om på Photoroom. Jag bestämde mig för att vara öppen för att prova något nytt. Det jag har sett och lärt mig är att människor i ett företag där man interagerar med användare och förväntas ta kvalitativ data i beaktande helt enkelt värderar användarundersökningar högre och har större sannolikhet att använda insikterna.

Det här är en smärtpunkt som jag är säker på att du ofta hör från användarforskare: de försöker hela tiden föra användarnas talan och argumentera för sina resultat utifrån användarna.

På Photoroom är alla däremot mycket hungriga på de här insikterna. Den stora rädslan hos forskare i en miljö där demokratisering är så omfattande är att det inte ska göras på rätt sätt. Det var också en av mina farhågor, eftersom det krävs faktiska forskningsfärdigheter. Men det jag har upptäckt är att människor som regelbundet interagerar med användare faktiskt vill lära sig bästa praxis.

Alla vill göra en bra intervju när de intervjuar användare regelbundet. Alla vill att deras användbarhetstester ska vara korrekta. En av de fina sakerna med vårt arbete inom användarundersökningar är att vi får hjälpa människor att utveckla de färdigheterna där det finns luckor.

Hannah Clark: Jag tror att det är en av de sakerna som gäller särskilt när det handlar om inställningen till bästa praxis inom forskning. Kanske är det bara jag, men när man väl får en känsla för hur mycket skicklighet och nyanser som krävs för att genomföra effektiva användarundersökningar och användarintervjuer är det lätt att tänka: oj, du visste inte hur mycket du inte visste.

Cori Widen: Ja, jag håller helt med.

Hannah Clark: Vi hade ett fantastiskt avsnitt med Steve Portigal för ett par år sedan om att genomföra användarintervjuer. Jag hade aldrig gjort sådana intervjuer före det, bortsett från att intervjua människor i podden, och på bara 20 minuter blev det så tydligt hur många saker – till och med ens eget beteende – som kan påverka resultatet av en intervju.

Så jag tycker att det är häftigt att det finns en sådan vilja att överföra kunskap och hjälpa människor att bli bättre på att prata med användare. Det är väldigt intressant för mig.

Cori Widen: Det är roligt att du säger det, eftersom Steve skrev en bok som heter ”Interviewing Users”.

Han skrev bokstavligen en bok om det, och det är en bok som jag har gett till intressenterna. Det har hänt mer än en gång att människor säger: Det finns en hel bok om det? Och svaret är: Ja, absolut. Det finns så mycket att lära sig om det.

Hannah Clark: Ja. Och det är så häftigt, för som du säger försöker alla företag hitta sätt att få in verklig feedback från sina användare och förstå vad de verkligen vill ha i produkterna. Man behöver tillräckligt mycket feedback och dessutom feedback av hög kvalitet för att kunna använda den effektivt. Jag är verkligen nyfiken på några av de sätt AI hjälper till att skapa stöd för forskare och få människor att engagera sig. Det är verkligen häftigt. Jag är uppenbarligen mycket positiv till forskare.

Men om vi blickar framåt, hur tror du att användarundersökningar kommer att fortsätta dra nytta av AI? Ser du några andra funktioner runt hörnet som vi ännu inte riktigt har nått fram till?

Cori Widen: Jag har inte tillräcklig teknisk kunskap för att säga hur bra tekniken kommer att bli eller när, men när jag tänker på hur en forskares roll kommer att utvecklas i takt med att AI utvecklas och används mer, är en sak jag redan har märkt att jag har mycket mer tid att samarbeta med intressenter eftersom jag blir så mycket effektivare när jag använder AI i processen.

Om jag skulle göra en lite lös förutsägelse är det att forskarrollen förändras från att bara handla om att genomföra forskning och dela insikter. Man kommer fortfarande att genomföra forskning när det behövs, men lägga betydligt mer tid tillsammans med intressenter på sådant som brainstorming och att arbeta i lösningsutrymmet.

Det beror på att vi kommer att ha tid att göra det och att vi snabbare kommer att kunna bidra med trovärdighet och information.

Hannah Clark: Och just nu, för forskare som precis håller på att införa AI i sitt arbetsflöde, har du förstås delat många mycket praktiska tips som jag tycker är lätta att börja använda direkt. Har du några andra rekommendationer när det gäller en bra startpunkt för dem av oss som arbetar utan en handbok för bästa praxis?

Cori Widen: Jag tror ärligt talat att det bästa man kan göra först är att ändra sitt tankesätt. Acceptera helt enkelt att det här händer.

Jag tror att det är svårt, men när man väl gör det säger många att det är effektivt att börja använda AI för små uppgifter. Jag tycker tvärtom. Jag tror att en bra startpunkt är att börja använda AI för sin kvalitativa analys.

Ta reda på var den kan hjälpa dig i den mest omfattande och tidskrävande delen av arbetet. Min rekommendation bygger definitivt på min egen process: försök använda AI för att ersätta manuell taggning och plocka fram delar av din användardata – oavsett om det handlar om användbarhetstester, intervjuer eller något annat – för att kategorisera informationen och göra analysen därifrån.

Anledningen är att jag tror att man måste göra något som verkligen påverkar arbetsflödet för att övergå till att bli någon som är entusiastisk över att använda AI i forskning. Den tid och energi man sparar på det sättet är ganska enorm.

Hannah Clark: Som avslutning: vilken har varit din mest överraskande upptäckt när du har använt AI för dina egna ändamål? Vilket har varit ditt genombrott?

Cori Widen: Två saker. Mitt genombrott, som kanske var mer uppenbart för andra, var att inse hur jag som människa fortfarande kunde ha en betydelsefull roll i processen. Att använda AI innebär inte att man outsourcar allt till AI.

Det handlar om att förstå vad jag är bäst på och vad AI är bäst på, och sedan kombinera det för att få till den bästa typen av kvalitativ analys. Det var den ena saken. Den andra var ett verkligt ögonblick för mig när jag fick feedback från någon på Photoroom. Personen berättade att när de anställde den första forskaren, alltså mig, var den största rädslan att forskning är känd för att vara långsam.

De tänkte: den här personen kommer att komma hit och ge oss insikterna så långsamt att vi inte kommer att kunna använda dem. Sedan berättade personen för mig: Det visar sig att du är ganska snabb. Jag insåg att anledningen till att jag är snabb är att jag har omfamnat AI i de här avgörande delarna av forskningsprocessen.

Jag skulle inte vara snabb utan AI. Att förstå det och inse att det gör mig mer värdefull i teamet var definitivt ett aha-ögonblick för mig.

Hannah Clark: Det är verkligen häftigt. Det måste kännas bra att känna att du har ett ess i rockärmen nu.

Tack så mycket för att du var med oss, Cori. Jag älskar alltid samtal om forskning. Jag lär mig så mycket, och i dag har det varit så mycket kunskap som har bearbetats under samma 25 minuter. Tack så mycket för allt detta. Var kan lyssnarna följa ditt arbete på nätet?

Cori Widen: Jag är inte särskilt aktiv på nätet. Men jag kopplar alltid gärna ihop mig med andra forskare på LinkedIn, så hör gärna av dig.

Hannah Clark: Toppen. Tack så mycket för att du var här.

Cori Widen: Tack.

Hannah Clark: Tack för att du lyssnade. För fler bra insikter, guider och verktygsrecensioner kan du prenumerera på vårt nyhetsbrev på theproductmanager.com/subscribe. Du kan höra fler samtal som detta genom att prenumerera på The Product Manager där du får dina poddar.