Slik bruker du KI til å forske som en forsker

Les transkripsjonen:

Vi prøver ut å transkribere podkastene våre ved hjelp av et program. Tilgi eventuelle skrivefeil, siden roboten ikke er korrekt 100 % av tiden.

Hannah Clark: I uminnelige tider har mennesker gjennomført undersøkelser på en dårlig måte. Vi trengte ikke KI for å ta dårlig beregnede snarveier, gjøre brede antakelser basert på sparsomme data eller utvikle klønete personaser formet av antakelser og smertefullt lite nyttige brukerintervjuer. Nå som KI er her, er det derfor ikke overraskende at forskningsmiljøet er bekymret for at teknologien kan skape enda større kaos i kvaliteten på undersøkelser. I dagens episode utforsker vi imidlertid hvordan KI faktisk kan bidra til å standardisere og demokratisere gode forskningsmetoder i stor skala.

Dagens gjest er Cori Widen, leder for brukerundersøkelser hos Photoroom. Hvis du ikke allerede kjenner Photoroom, får selskapet mye oppmerksomhet for de innovative måtene de bruker KI på, og Cori ga meg en fascinerende gjennomgang av hvordan alt dette begynner på kulturnivå. Vi snakker om hvordan selskapets tankesett skaper entusiasme for å utforske mulighetene, samt noen praktiske måter team kan bruke KI til å verdsette, gjennomføre og ta i bruk god forskning på. La oss sette i gang.

Forresten har vi slike samtaler hver uke. Hvis dette høres interessant ut, hvorfor ikke abonnere? Greit, la oss sette i gang.

Velkommen tilbake til podkasten for produktledere. I dag har jeg med meg Cori Widen. Hun er leder for brukerundersøkelser hos Photoroom.

Cori, tusen takk for at du tok deg tid til å møte meg.

Cori Widen: Tusen takk. Jeg er veldig glad for å være her.

Hannah Clark: Jeg også. Cori har faktisk jobbet sammen med meg lenge, og dette er en av de første gangene vi faktisk har fått snakke sammen og ikke bare kommunisert via e-post. Dette er derfor veldig spennende. Det føles som om jeg snakker med en gammel venn eller en gammel brevvenn.

Cori Widen: Ja. Veldig spennende. Enig.

Hannah Clark: Vi begynner slik vi alltid gjør. Kan du fortelle litt om bakgrunnen din og hvordan du kom dit du er nå?

Cori Widen: Ja, selvfølgelig. Jeg har vært i teknologibransjen i omtrent 13 år.

Det meste av tiden jobbet jeg faktisk med produktmarkedsføring, men siden metoder for brukerundersøkelser er en del av jobben innen produktmarkedsføring, var dette også en del av arbeidsoppgavene mine, ikke sant? Som å intervjue brukere og lignende. På et tidspunkt bestemte jeg meg for å si: Faktisk er det denne delen jeg liker best – brukerundersøkelser.

Så jeg gikk over til å være heltidsforsker, først hos Lightrix og nå hos Photoroom. Jeg leder brukerundersøkelser hos Photoroom.

Hannah Clark: Flott. I dag skal vi fokusere på forskergodkjente måter å bruke KI til forskningsformål på, noe som er et hett tema akkurat nå. Vi begynner derfor med et kontroversielt tema: bruk av KI til kvalitativ analyse.

Hva er den nåværende metoden din for å kombinere KI og manuelt arbeid på en måte du er komfortabel med og kan sette ditt eget godkjentstempel på? Og hvordan har dette utviklet seg over tid?

Cori Widen: Det er definitivt kontroversielt, og jeg vil si litt om hvordan det utviklet seg før jeg forteller hvor jeg har landet nå. Jeg var også motvillig.

Jeg tror hele forskningsmiljøet var det. For det første stolte jeg ikke på at KI ville gjøre en god jobb, og i begynnelsen gjorde den virkelig ikke det. Det var en helt legitim bekymring. Den andre tingen jeg ikke hører folk snakke nok om, er at jeg elsket jobben min. Jeg ventet faktisk ikke på at KI skulle komme og si: La meg gjøre den bedre.

La meg løse dette problemet. Jeg likte ting som kvalitativ analyse og prosessen med å gjøre det selv. Derfor var jeg ikke særlig begeistret i begynnelsen, men det ble tydelig at man måtte finne ut hvordan man skulle bruke teknologien, ellers ville man bli hengende etter. Da jeg begynte å bruke KI til kvalitativ analyse, var den første prosessen min å gjennomføre nøyaktig den manuelle prosessen jeg alltid hadde brukt, samtidig som jeg prøvde å ta i bruk KI. Jeg sammenlignet erfaringene og så på hva KI gjorde bra, hva den ikke gjorde bra, og hvordan den kunne finne balansepunktet når det gjaldt pålitelighet.

Det har vært mye prøving og feiling, og jeg tror denne prosessen alltid vil være i utvikling fordi KI alltid er i utvikling. Men akkurat nå kan jeg beskrive hvor jeg befinner meg. Jeg tror det hjelper å ha et konkret eksempel. La oss si at jeg analyserer et strategisk forskningsprosjekt, og at det meste av datagrunnlaget består av data fra brukerintervjuer.

Det jeg gjør, er å samle alle transkripsjonene i et prosjekt. De lagres i Dovetail, og deretter bruker vi et verktøy som heter Dust til å stille spørsmål til KI basert på alle transkripsjonene i Dovetail. I praksis bruker jeg altså KI til å stille spørsmål om et sett transkripsjoner jeg har for et prosjekt.

Jeg har forskningsspørsmålene mine foran meg, og dem har jeg laget manuelt. Jeg begynner å skrive spørsmål til KI og ber om sitater knyttet til forskningsspørsmålene våre. Hvis jeg for eksempel vil vite mer om problemer i en bestemt arbeidsflyt, ber jeg KI finne sitater fra brukertranskripsjonene.

Det erstatter i praksis prosessen med å merke intervjuer manuelt. Mange forskere bruker ulike verktøy til å merke intervjuer manuelt basert på temaer i tråd med forskningsspørsmålene. Nå bruker jeg KI til dette. Deretter tar jeg sitatene for hvert tema, legger dem inn på et Miro-brett og gjennomfører en affinitetsdiagramanalyse, som alltid har vært min metode for å analysere intervjuer.

Dette gjør jeg fortsatt manuelt. Basert på affinitetsdiagrammet utvikler jeg innsiktene for prosjektet. Et annet sted jeg bruker KI, er til å gå gjennom innsiktene mine. Jeg sier: Dette er det jeg kom frem til. Be KI om å være uenig med meg eller finne ting i transkripsjonene som strider mot innsiktene jeg har presentert. På den måten kan jeg se om jeg har oversett noe og kontrollere for skjevheter.

Det er min Frankenstein-prosess for å kombinere manuell analyse og KI.

Hannah Clark: Du nevnte at den generelle oppfatningen din av KI har endret seg. Mange av oss har gått gjennom en reise fra litt skepsis til at synet har utviklet seg over tid. Hvordan har dette utviklet seg for deg?

Cori Widen: Ja, absolutt. I begynnelsen følte jeg at det var mye press i selskapene for å finne ut hvordan man skulle ta i bruk KI.

Presset var litt uten retning. Dette kommer til å gjøre deg mer effektiv, hjelpe deg med å gjøre en bedre jobb og så videre. Jeg var ikke sikker på hvordan jeg skulle bruke det, og de fleste av de første forsøkene mine var ikke særlig gode. KI var ikke særlig god til å erstatte meg i noen del av forskningsprosessen.

Presset forsvant imidlertid ikke. Etter hvert som ChatGPT ble bedre til å håndtere større datamengder, ga jeg etter og begynte å lage egendefinerte skript for å gjøre helt grunnleggende ting, som å oppsummere et intervju. Det åpnet tankene mine litt, men jeg tror det store vendepunktet kom relativt nylig, da jeg begynte hos Photoroom. Photoroom har en helt unik tilnærming til KI, både til KI som brukerne møter og til hvordan selskapet bruker teknologien internt.

Er det press for å ta det i bruk? Ja. Men jeg vil beskrive presset som entusiastisk press. Alle er veldig begeistret for de ulike bruksområdene de finner innenfor sitt eget fagfelt og yrke.

Det finnes derfor en kultur der folk hele tiden deler det de har oppnådd. Folk er svært interessert i hvordan du bruker KI. Dette miljøet gjorde at KI gikk fra å være noe jeg tenkte «Å nei, jeg er forsker og må finne ut hvordan jeg skal bruke KI» til å bli en morsom og interessant del av jobben min.

Hannah Clark: Kult. Jeg vil gjerne gå litt dypere inn i kulturen hos Photoroom senere, fordi dette er veldig interessant. Jeg tror dette er en viktig faktor som påvirker hvor godt selskaper tar i bruk KI generelt, og det er et stort tema i seg selv.

La oss snakke litt om KI-assistenter. Du nevnte at måten du bruker KI på har endret seg, og at det å kunne bruke teknologien mer effektivt har vært en stor forandring. Jeg tror alle vet at KI-assistenter er i vinden nå, og jeg vet at du har bygget noen som har vært svært nyttige i prosessen din. Hvilke typer assistenter har du bygget, og hvilke problemer har de løst for deg i det siste?

Cori Widen: To hovedtyper dukker opp. Den ene heter «Mining User Interviews», som ikke er en særlig kreativ tittel, men det er akkurat det den gjør. I praksis lagres alle brukerintervjuer som gjennomføres hos Photoroom i Dovetail. Vi henter transkripsjonene via API-et og kan stille spørsmål. Det er slik assistenten brukes.

Den har løst ulike problemer for meg, Becky, som er medforsker, og andre interessenter. For oss forskere er den en stor del av analyseprosessen. Det er slik vi finner sitater i stedet for å merke ting manuelt når vi analyserer et prosjekt. For interessenter er det en flott måte å undersøke alle intervjuene som er gjennomført til nå uten å gå via oss eller få oss til å lete frem rapporter.

De kan i praksis spørre om hva som helst om brukere eller konkurrentenes brukere. De kan for eksempel be om en liste over alle utfordringene folk har hatt med KI-bakgrunner eller en funksjon i Photoroom. Det sparer oss for tid og bringer samtidig interessentene nærmere brukerne ved at de selv leter etter informasjonen og samhandler med den.

Den andre er nyere og er en generator for intervjuguider. Mange hos Photoroom gjennomfører brukerintervjuer, og det er begrenset tid tilgjengelig til å forberede en god intervjuguide. Det finnes også mye kunnskap om beste praksis, for eksempel hvordan man stiller brukere spørsmål for å få frem innsiktene man ønsker.

I intervjuguidegeneratoren er inndataene hva du ønsker å lære, hvem brukerne du intervjuer er, og hva du vil lære av dem. Deretter genererer den en intervjuguide, hovedsakelig basert på beste praksis. Resultatet er at alle, uansett kunnskapsnivå, kan generere en intervjuguide som ikke stiller ledende spørsmål eller ber brukere forutsi fremtidig atferd.

Hannah Clark: Det er virkelig kraftfullt, for jeg ser en trend der KI ikke bare øker produktiviteten til enkeltpersoner, men også utvider ferdighetene deres ved å overføre kunnskap og lignende. Det er en veldig spennende måte å bruke teknologien på. Det er interessant å høre en mer nyansert tilnærming direkte fra deg.

La oss snakke om instruksjonsutforming. Dette er et annet stort tema. Alle prøver å bli bedre på det, og jeg vet at alle snakker om å gi KI mye kontekst, men det er litt mer nyansert enn som så.

Hvilke konkrete teknikker har du oppdaget som virkelig har forbedret kvaliteten på resultatene du får når du analyserer brukerundersøkelser?

Cori Widen: Først og fremst prøver jeg, akkurat som alle andre, fortsatt å finne ut av dette. Noen ganger river jeg meg i håret og tenker: Hvorfor forstår den meg ikke?

Det er likevel noen ting som har vist seg å være svært nyttige, spesielt ved analyse. For det første stiller jeg alle spørsmål til KI på minst to eller tre forskjellige måter. KI er ikke et menneske, og det er umulig å vite hvordan den tolker spørsmålet mitt. Jeg opplever ofte at jeg får ulike brukersitater eller ulike transkripsjoner når jeg stiller spørsmålet på litt forskjellige måter.

Når jeg analyserer et prosjekt og vil være sikker på at jeg finner alle relevante punkter om et bestemt tema, bruker jeg derfor flere instruksjoner som er formulert forskjellig hver gang. Jeg pleier også å mase på KI og spørre om den kan finne flere eksempler. Selv om jeg alltid ber om en uttømmende liste over sitater eller eksempler, er listen aldri faktisk uttømmende.

Det finnes alltid mer. Derfor spør jeg alltid etter mer. En annen ting jeg har lært, er at jeg som menneske kan stille fire eller fem spørsmål samtidig, bli engasjert i et tema og likevel få gode svar. Det fungerer ikke like godt med KI. Jeg prøver derfor hardt å stille spørsmål som bare inneholder én problemstilling.

Det er interessant, fordi du nevnte at mange snakker om å gi KI så mye kontekst som mulig. Basert på mine egne erfaringer med instruksjoner føler jeg imidlertid at det finnes noe som heter for mye kontekst. KI begynner å utvikle et hierarki og prioritere tingene du sier, samtidig som den ignorerer andre ting.

Jeg prøver derfor å finne balansepunktet, og for meg ser det ut til å innebære stadig mindre kontekst.

Hannah Clark: Interessant. Det avhenger også av hvor du bruker konteksten. Dette er nyttig å vite, for det er første gang jeg har hørt noen si at de ikke bruker all konteksten.

Når vi snakker om manglende nyanser, nevnte du tidligere at KI noen ganger overser nyanser i data eller presenterer begrensede data som en trend. Dette er ting mange forskere kanskje ville oppdaget. Som du sa, kommer ikke ferdigheter og kunnskap alltid med når de overføres til andre.

Hvordan validerer du KI-analysen og sørger for at du ikke går glipp av viktige avvik? Og enda viktigere: Hvis du deler noen av disse ferdighetene med andre interessenter, hvordan sørger du for at kunnskapsoverføringen også videreføres?

Cori Widen: Ja, dette er virkelig viktige spørsmål.

Når jeg analyserer et prosjekt, ber jeg sjelden KI om innsikter. Jeg ber den finne relevante ting, og deretter bruker jeg mine menneskelige vurderinger til å utvikle selve innsiktene. Assistenten for å undersøke brukerintervjuer som vi snakket om tidligere, brukes imidlertid ofte til ting som ligger utenfor strategiske prosjekter.

Vi stiller den spørsmål om brukere, for eksempel hva brukere har størst problemer med når det gjelder noe bestemt. Jeg tror først og fremst at dette er svært utfordrende, og jeg har to regler jeg alltid følger. Den første er at når jeg ber KI om en innsikt, ber jeg den sitere hver eneste transkripsjon den bruker for å lage innsikten.

Noen ganger viser den bare til to transkripsjoner av flere hundre. Da kan jeg gå inn i transkripsjonene og se at dette faktisk ikke stemmer. Jeg kan bruke menneskelig dømmekraft til å vurdere det, fordi KI har fortalt meg hvor innsikten kommer fra. Den andre tingen er at jeg alltid ber om avvik.

Hvis den gir meg en innsikt, sier jeg: Greit, gi meg nå så mange eksempler som mulig på brukere som faktisk er i strid med denne innsikten. Det hjelper meg å se på alle dataene og trekke min egen konklusjon på en mer nyansert måte. Når det gjelder interessenter som bruker KI-agenten, laget vi en veiledning for bruk av KI-agenten i Notion, som alle har tilgang til.

Slike ressurser tror jeg noen bruker og andre ikke bruker. Dette er derfor noe jeg fortsatt prøver å finne ut av. Når vi har noe som skal gjøre brukerdata tilgjengelig for alle i selskapet, hvordan sørger vi for at alle er på samme linje?

Jeg har ikke et nøyaktig svar ennå.

Hannah Clark: Dette er nok en pågående prosess, for det viser verdien av fortsatt å ha en menneskelig overordnet uansett hva vi bruker KI til. Du må fortsatt være ekspert på området for å kontrollere arbeidet og sørge for at det blir behandlet mer som en medarbeider du leder, enn som noen med samme ferdighetsnivå som deg.

Jeg tror dette er en utfordring mange møter: Hvordan sørger vi for at den interne kunnskapen vår er på linje med den som prøver å bruke KI til dette formålet?

Nå som vi har snakket så mye om verdiene og hvordan selskapet fungerer, kan vi gå rett over til noen av verdiene hos Photoroom som har gjort det mulig for deg å jobbe på denne måten med KI. La oss snakke om Photorooms verdier når det gjelder bruk av KI.

Du har fremhevet at kulturen hos Photoroom er en viktig drivkraft bak hvordan du har tatt i bruk og engasjert deg i teknologien. Hva betyr det å demokratisere forskning? Og hvordan har det endret måten interessenter samhandler med og verdsetter funnene fra brukerundersøkelsene dine på?

Cori Widen: Det som appellerte mest til meg ved Photoroom i begynnelsen, var hvor brukerorienterte de faktisk var. Ledelsen brukte tid på å intervjue brukere. I løpet av intervjuprosessen forsto jeg at det var en forventning om at folk hos Photoroom skulle snakke med brukere og se på kvalitative data i tillegg til kvantitative data.

Det gjelder ikke alle selskaper. I tillegg bruker de samhandlingen med brukere og eksponeringen for kvalitative data i beslutningsprosessen. Dette var etablert lenge før jeg begynte i Photoroom. Jeg var litt nervøs, for jeg må innrømme at min tilnærming til demokratisering alltid hadde ligget i den andre enden av skalaen: Forskning bør gjennomføres av forskere.

Det er flott hvis produktledere, designere og andre snakker med brukere, men jeg så ikke full demokratisering som den beste veien videre. Jeg lærte virkelig mye hos Photoroom. Jeg var åpen for å prøve noe nytt. Det jeg har sett og lært, er at mennesker i et selskap der ansatte samhandler med brukere og forventes å ta hensyn til kvalitative data, verdsetter brukerundersøkelser mer og har større sannsynlighet for å bruke innsiktene.

Dette er et problem jeg er sikker på at du ofte hører fra brukerforskere: De prøver hele tiden å tale brukerens og funnenes sak. Hos Photoroom er kulturen slik at alle er svært ivrige etter å få disse innsiktene.

Jeg tror den store frykten til forskere i et miljø med omfattende demokratisering er at det ikke blir gjort riktig. Det var også en av mine bekymringer, fordi det kreves faktiske forskningsferdigheter. Det jeg også har oppdaget, er at mennesker som jevnlig samhandler med brukere, faktisk ønsker å lære beste praksis.

Alle vil gjennomføre gode intervjuer når de intervjuer brukere regelmessig, og alle vil at brukertestingen skal være nøyaktig. En av de spennende tingene med jobben vår innen brukerundersøkelser er at vi kan hjelpe folk med å utvikle disse ferdighetene når det finnes hull.

Hannah Clark: Jeg tror dette er en av de tingene som gjelder spesielt når det kommer til holdningen til beste praksis innen forskning. Kanskje det bare gjelder meg, men når man forstår hvor mye ferdigheter og nyanser som kreves for å gjennomføre effektiv brukerforskning og gode brukerintervjuer, tenker man: Du visste ikke hvor mye du ikke visste.

Cori Widen: Ja, det er jeg helt enig i.

Hannah Clark: Vi hadde en flott episode med Steve Portigal for et par år siden om gjennomføring av brukerintervjuer. Jeg hadde aldri gjort slike intervjuer før, bortsett fra intervjuer til podkasten, og på bare 20 minutter var det utrolig opplysende å se hvor mye selv atferden din kan påvirke resultatet av et intervju.

Jeg synes derfor det er veldig interessant at det finnes et slikt ønske om å overføre kunnskap og gjøre folk bedre til å snakke med brukere.

Cori Widen: Det er morsomt at du sier det, for Steve skrev en bok som heter «Intervjuing av brukere».

Han skrev bokstavelig talt en bok om dette. Det er en bok jeg har gitt til interessentene, og det har skjedd mer enn én gang. Folk sier: Det finnes en hel bok om dette? Og svaret er: Ja, det er så mye å vite.

Hannah Clark: Det er en flott ting, for som du sier prøver alle selskaper å få inn reelle tilbakemeldinger fra brukerne og forstå hva de faktisk ønsker i produktene. Du trenger nok tilbakemeldinger, men også tilbakemeldinger av høy kvalitet for å kunne bruke dem effektivt. Jeg er veldig spent på noen av måtene KI bidrar til å skape støtte for forskere og hjelpe folk med å løfte denne saken. Jeg er tydeligvis svært positiv til forskere.

Når vi ser fremover, hvordan tror du ellers at brukerforskning vil fortsette å dra nytte av KI? Ser du andre muligheter som ligger rett rundt hjørnet, men som vi ennå ikke er helt fremme ved?

Cori Widen: Jeg har ikke nok teknologisk kunnskap til å si hvor god teknologien vil bli eller når, men når jeg tenker på hvordan forskerrollen vil utvikle seg etter hvert som KI utvikler seg og vi tar den mer i bruk, har jeg allerede oppdaget at jeg har mye mer tid til å samarbeide med interessenter fordi jeg blir så mye mer effektiv når jeg bruker KI i prosessen.

Hvis jeg skulle komme med én løs spådom, ville det være at forskerrollen endres fra bare å handle om å gjennomføre forskning og dele innsikter – og gjennomføre forskning når det er nødvendig – til å bruke mye mer tid sammen med interessenter på ting som idémyldring og arbeid i løsningsrommet.

Vi vil ha tid til å gjøre dette, og vi vil ha troverdigheten og informasjonen som skal til for å bidra raskere.

Hannah Clark: Hva med forskere som akkurat nå innlemmer KI i arbeidsflyten sin? Du har delt mange praktiske tips, og jeg liker hvor tilgjengelige og enkle de er å ta i bruk. Har du andre anbefalinger til et godt utgangspunkt for oss som jobber uten en håndbok for beste praksis?

Cori Widen: Jeg tror helt ærlig at det beste man kan gjøre, er å endre tankesett først. Bare aksepter at dette skjer.

Jeg tror det er vanskelig, men når du først gjør det, tror jeg mange sier at det er effektivt å begynne å bruke KI til små oppgaver. Jeg mener det motsatte. Et godt sted å begynne er å bruke KI til den kvalitative analysen.

Finn ut hvor den kan hjelpe deg i den mest omfattende og tidkrevende delen av jobben. Anbefalingen min bygger på min egen prosess: Prøv å bruke KI til å erstatte manuell merking, hente frem stedene i brukerdataene dine – enten det er brukervennlighetstester, intervjuer eller noe annet – kategorisere informasjonen og gjennomføre analysen derfra.

Grunnen er at du må gjøre noe som faktisk påvirker arbeidsflyten din for å gå over til å bli en som er begeistret for å bruke KI i forskning. Mengden tid og energi du sparer på dette, er betydelig.

Hannah Clark: Til slutt: Hva har vært den mest overraskende oppdagelsen din etter at du begynte å bruke KI til dine egne formål? Hva har vært gjennombruddsøyeblikket for deg?

Cori Widen: To ting. Gjennombruddsøyeblikket for meg, som kanskje var mer åpenbart for andre, var å forstå hvor stor og meningsfull rolle jeg som menneske fortsatt kunne ha i denne prosessen. Å bruke KI betyr ikke å sette bort alt til KI.

Det handler om å forstå hva jeg er best på, hva KI er best på, og sette dette sammen for å få best mulig kvalitativ analyse. Det var én ting. Det andre var et virkelig øyeblikk for meg da jeg fikk tilbakemelding fra noen hos Photoroom. Personen fortalte at da de ansatte den første forskeren, altså meg, var den største bekymringen at forskning er kjent for å gå sakte.

De tenkte: Denne personen kommer til å gi oss innsikter så sakte at vi ikke vil kunne bruke dem. Personen sa til meg: Det viser seg at du er ganske rask. Jeg innså at grunnen til at jeg er rask, er at jeg har tatt i bruk KI i avgjørende deler av forskningsprosessen.

Jeg ville ikke vært rask uten KI. Å forstå at dette gjør meg mer verdifull for teamet, var definitivt et aha-øyeblikk.

Hannah Clark: Det er veldig kult. Det må føles godt å vite at du har et ess i ermet.

Tusen takk for at du ble med oss, Cori. Jeg elsker alltid samtaler om forskning. Jeg lærer så mye, og i dag har vi fått fordøyd utrolig mye kunnskap på de samme 25 minuttene. Tusen takk for alt dette. Hvor kan lytterne følge arbeidet ditt på nettet?

Cori Widen: Jeg er ikke så aktiv på nettet, men jeg kobler alltid gjerne med andre forskere på LinkedIn, så det er bare å ta kontakt.

Hannah Clark: Flott. Tusen takk for at du ble med.

Cori Widen: Takk.

Hannah Clark: Takk for at du lyttet. Hvis du vil ha flere gode innsikter, veiledninger og verktøyanmeldelser, kan du abonnere på nyhetsbrevet vårt på theproductmanager.com/subscribe. Du kan høre flere samtaler som denne ved å abonnere på The Product Manager der du vanligvis hører på podkaster.