Slik reduserer du skjevheter i NLP-modeller for bedre tekstanalyse (med Dan Erickson fra Viable)

Michael Luchen

Naturlig språkbehandling kan være et utrolig kraftig verktøy. Det kan brukes til å analysere tusenvis av datapunkter og gi raske, pålitelige innsikter. Men er det en risiko for at skjevheter sniker seg inn i disse resultatene? Hvordan kan vi vite med sikkerhet at resultatene er så objektive som mulig? Fortsett å lytte, for i dag skal vi gå i dybden på naturlig språkbehandling – et kraftig verktøy som vil bidra til fremtidens produktledelse.

Dette er podkasten Product Manager, stemmene til fellesskapet som skriver læreboken for produktledelse, -utvikling og -strategi. Vi sponser av Crema, et digitalt produktbyrå som hjelper enkeltpersoner og selskaper med å lykkes gjennom kreativitet, teknologi og kultur. Finn ut mer på crema.us.

Fortsett å lytte for praktiske og autentiske innsikter som kan hjelpe deg med å lykkes i produktledelsens verden.

Greit. I dag har vi med oss Dan Erickson for å snakke om temaet skjevhet innen naturlig språkbehandling, eller NLP. Dan er administrerende direktør og grunnlegger av Viable. Viable hjelper selskaper med å lære av kundene sine ved å samle tilbakemeldinger fra kunder på tvers av kanaler, identifisere temaer og analysere tilbakemeldingene for å produsere konkrete innsikter og anbefalinger.

Viable støtter mange kanaler: arbeidssaker, livechat, sosiale medier, undersøkelser, produkt- og appanmeldelser samt samtaletranskripsjoner. Dan og teamet hans har også hentet inn totalt 9 millioner dollar fra Craft Ventures, Javelin Venture Partners, Streamlined Ventures, Meyers Capital, mange fantastiske engleinvestorer og enkeltstående generalpartnere.

Hei, Dan! Velkommen til programmet.

Dan Erickson

Takk for at jeg fikk komme, Michael. Det er flott å være her.

Michael Luchen

Det er flott å ha deg her.

Og til publikumet vårt: Jeg er nysgjerrig – for å bare begynne et sted og åpne samtalen, kan du fortelle litt om bakgrunnen din og hvordan du kom dit du er i dag?

Dan Erickson

Ja, absolutt. Bakgrunnen min er faktisk innen ingeniørfag.

Jeg har jobbet i oppstartsbedrifter på ingeniørsiden i omtrent 15 år nå. Jeg har hovedsakelig vært opptatt av den tidlige fasen, men også av vekst. I begynnelsen av karrieren var jeg svært fokusert på å hjelpe selskaper i tidlig fase med å bygge sitt aller første produkt og virkelig forstå den første fasen med produkt–markeds-tilpasning.

Deretter gikk jeg over til noen selskaper i sterkere vekst, som Yammer og Eaze. Jeg var teknologidirektør i Eaze. Jeg var CTO i et selskap som het Getable, som jobbet med utleie innen bygg og anlegg. Og for bare et par år siden grunnla jeg Viable for å hjelpe selskaper med å virkelig forstå og komme i kontakt med kundene sine.

Michael Luchen

Hvordan kom du frem til ideen om Viable, og behovet for selskapet?

Dan Erickson

Vi kom egentlig frem til dagens Viable gjennom en litt kronglete vei. Vi fulgte markedet. Da vi startet selskapet, kalte vi oss Viable Fit. Vi var faktisk opptatt av å hjelpe selskaper i tidlig fase med å finne produkt–markeds-tilpasning ved hjelp av rammeverket for produkt–markeds-tilpasning fra Superhuman.

Vi hadde en prototype av dette som brukte NLP til å hjelpe dem med å forstå svarene de fikk i undersøkelsen Superhuman hadde laget. Men vi innså raskt at den største verdien vi skapte, lå i analyselaget – ikke nødvendigvis i innsamlingen av tilbakemeldinger eller målingen av produkt–markeds-tilpasning.

Derfor beveget vi oss oppover i markedet, bort fra oppstartsbedrifter i tidlig fase og mot selskaper i sterk vekst og større virksomheter som får inn enorme mengder data, men som ikke har noen måte å analysere den på akkurat nå.

Michael Luchen

Fascinerende – særlig med tanke på hvor dere startet, og hvor dere senere dreide når det gjelder markedssegmenter.

Dan Erickson

Det handlet ganske enkelt om å lytte til markedet.

Michael Luchen

Før vi går dypere inn i Viable, er jeg nysgjerrig på vegne av publikumet vårt. Alle lytter: Kan du forklare litt hva naturlig språkbehandling, eller NLP, er på et overordnet nivå?

Dan Erickson

Ja, absolutt. Naturlig språkbehandling er i bunn og grunn en måte å hjelpe en datamaskin med å forstå menneskelig språk på.

I begynnelsen ble det brukt til ganske enkle ting, som å hente ut nøkkeluttrykk fra tekster eller utføre følelsesanalyse av bestemte temaer i en tekst. NLP har eksistert i flere tiår, men de siste årene har vi sett en enorm renessanse innen NLP, særlig rundt transformermodeller og store språkmodeller. Disse har muliggjort en langt dypere forståelse av menneskelig språk i kontekst.

I stedet for bare å kunne hente ut nøkkeluttrykk eller fortelle deg at noe uttrykker en positiv eller negativ følelse, kan man faktisk begynne å forstå hva du mener. Man kan også begynne å forstå likhetene mellom ulike temaer.

I stedet for å hente ut «tastatursnarveier», «tastaturkommandoer» og «hurtigtaster» som tre separate ideer, begynner NLP å gjøre det mulig å forstå at disse tre tingene faktisk er det samme. Det skyldes dybden i forståelsen som de nye NLP-modellene har.

På et overordnet nivå handler NLP altså om å forstå menneskelig språk på en måte som datamaskiner kan bruke til å hente ut de riktige tingene.

Michael Luchen

Hvordan bruker Viable NLP?

Dan Erickson

Helt sentralt i produktet vårt ligger analyseverktøyet for kvalitative data. Det består av en kombinasjon av interne og tredjepartsmodeller, inkludert GPT-3.

GPT-3 gir på en måte grunnlaget for det vi bygger her. Men vi har faktisk bygget opp en rekke tilpassede modeller oppå dette, i tillegg til noen finjusterte GPT-3-modeller. Vi har jobbet tett med OpenAI og folkene der for å få dette til. Vi bruker NLP og naturlig språkgenerering, eller NLG, i et bredt spekter av funksjonene våre.

Én av dem er temaanalyse. Det innebærer å ta inn et stort datagrunnlag fra mange ulike kilder og gruppere tingene i temaer. Da kan vi identifisere ting som: Hva er de vanligste klagene? Hva er de vanligste komplimentene? Eller hvilke spørsmål blir stilt oftest?

Hver av disse tingene ender opp som en klynge, som vi kaller et tema. Vi utfører altså temaanalyse. Vi grupperer ikke bare tingene, men går også inn i dem og oppsummerer klyngen, slik at du forstår nøyaktig hva folk snakker om i denne tekstklyngen.

Et godt eksempel kan være at du bygger en spillkontroller, og at folk skriver på Reddit at den venstre styrespaken ikke fungerer særlig bra. Du har kanskje tusenvis av kommentarer i denne subreddit-en, men bare rundt hundre av dem handler om den venstre styrespaken.

Det ville tatt deg flere timer å gå gjennom alt og manuelt sortere det i ulike grupper. Vi kan gjøre det på minutter og deretter oppsummere alle de hundre kommentarene om den venstre styrespaken, slik at du kan sende dette videre til maskinvareteamet ditt, som da vet nøyaktig hvor de skal begynne.

Vi bruker det også til uttrekking av temaer – for eksempel hvilke funksjoner eller produkter folk snakker om. Deretter utfører vi oppsummering av temaanalysen, og det er her den naturlige språkgenereringen kommer inn. Det er her vi genererer tekst som faktisk kan leses av mennesker.

Den gjennomsnittlige rapporten vår har faktisk over 30 avsnitt med skrevet analyse, skrevet av datasystemet vårt og ikke av mennesker. Vi bruker det også til åpne spørsmål og svar, der du kan skrive inn et spørsmål på vanlig norsk. Vi søker deretter gjennom dataene dine, finner alt som kan besvare spørsmålet, og kjører det gjennom en serie analysemodeller for å besvare spørsmålet for deg.

Michael Luchen

Veldig fascinerende.

Jeg er nysgjerrig når jeg hører deg snakke om dette, og samtidig kjenner litt til historien til Viable som selskap. Dette er en ganske høyteknologisk produktløsning.

Da dere bygget dette og prøvde å finne produkt–markeds-tilpasningen, var det slik at dere så teknologien og tenkte at det fantes en mulighet til å bruke den på et produkt for å løse et problem?

Eller startet det med at dere så et problem og ville finne en teknologi – og at NLP tilfeldigvis var kommet langt nok til at det kunne løse problemet?

Dan Erickson

Det startet faktisk med det siste. Vi ønsket å løse et reelt problem. Opprinnelig handlet problemet om å hjelpe selskaper med å finne produkt–markeds-tilpasning ved hjelp av Superhumans prosess. Den går i hovedsak ut på å sende ut en undersøkelse, samle inn svarene, lese hvert eneste svar, gruppere dem i funksjoner eller smertepunkter og bruke dette til å styre veikartet ditt.

Det folk slet med i denne prosessen, var å ha tid til faktisk å lese hvert svar og kategorisere det riktig. Men vi innså raskt at NLP kunne hjelpe oss med dette, og at teknologien kunne konkurrere med mennesker på akkurat denne oppgaven. Vi begynte derfor med et ganske enkelt NLP-system, hovedsakelig for uttrekking av temaer, med litt følelsesanalyse rundt det for å hjelpe deg med å forstå hva du burde bygge, og hvor.

Men vi oppdaget raskt at folk virkelig likte analysesiden. Derfor bestemte vi oss for å satse mer på den og beveget oss bort fra det opprinnelige problemet vi prøvde å løse.

Samtidig gikk vi mot et annet problem som vi oppdaget underveis. Vi begynte tidlig å samarbeide med selskaper som allerede hadde produkt–markeds-tilpasning. De snakket om å hente inn andre typer data enn bare undersøkelsen vi sendte ut. Derfor begynte vi å bygge et mer generalisert system, og i juni 2020 fikk vi tilgang til GPT-3.

Det hjalp oss med å innse at dette faktisk kunne automatiseres. Ikke bare for én enkelt undersøkelse, men for bokstavelig talt hver eneste tekstbit et selskap samler inn.

Michael Luchen

Så når dere samler inn denne teksten, kan det potensielt oppstå skjevheter.

Temaet vårt handler om skjevhet i NLP og hvordan man håndterer dette. Før vi går inn i detaljene: Hvordan kan skjevhet potensielt introduseres i NLP når man bruker det i produktet sitt?

Dan Erickson

Absolutt. Som standard har faktisk alle språkmodeller en viss innebygd skjevhet, fordi de er trent på tekst som en gang ble skrevet av mennesker.

Mennesker er i utgangspunktet skjeve. Vi er ikke fullt ut rasjonelle vesener. Fordi vi har dette datakorpuset som modellene trenes på, og det er svært menneskelig, kommer vi til å introdusere menneskelige skjevheter i NLP-modellene.

Selskapene som leverer disse modellene, gjør imidlertid svært mye arbeid for å redusere skjevheten så mye som mulig. Jeg mener faktisk at OpenAI ligger helt i front på dette området. De har egne team i OpenAI som arbeider spesifikt med skjevhetsproblemet.

Hvis du bare bruker noe som GPT-3 rett ut av boksen, kan du få den til å produsere ganske tvilsomme ting. Men du kan blant annet forsøke å løse noe av dette ved å finjustere modellen og trene den på et spesifikt bruksområde. Jo mer spesifikt bruksområde du kan definere, desto bedre vil det fungere.

Som jeg sa, har alle NLP-modeller iboende skjevheter. Du må derfor arbeide målrettet for å sikre at du trener modellen på en måte som reduserer dette mest mulig.

Michael Luchen

Hvordan arbeider dere i Viable med å redusere denne skjevheten i forkant? Er det i det hele tatt mulig?

Dan Erickson

Som jeg nevnte tidligere, er det viktigste vi gjør, at vi trener mange modeller selv med datasett vi har kuratert på egen hånd. Det hjelper oss med å komme frem til et svært spesifikt bruksområde. I stedet for å bruke den store, generelle formen av modellen bruker vi altså noe som er trent til å gjøre én bestemt ting.

Når du gjør noe mer spesifikt, er det lettere å unngå skjevhet. Vi gjør dette både med GPT-3, ved hjelp av finjusteringsendepunktet deres, og med alle de interne modellene vi har utviklet.

Deretter sammenligner vi alle modellene med vår egen menneskelige vurdering av skjevhet. Vi har faktisk mennesker med i prosessen når vi trener, slik at vi kan forstå om modellen ser ut til å være skjev i favør av noe eller mot noe. Derfra kan vi legge til mer treningsdata for å veie opp for skjevhetene.

Michael Luchen

Er det noen hensyn dere må ta når det gjelder kundenes datasett som dere analyserer?

Dan Erickson

Datasettet vi analyserer, bruker vi faktisk ikke til trening. Vi har vanligvis våre egne datasett som vi har bygget opp.

Noen ganger bruker vi anonymiserte versjoner med tillatelse og lignende. Men stort sett bruker vi ikke kundedata til trening. Vi analyserer kundedataene med forhåndstrente modeller som vi har kontrollert for å sikre at skjevheten er redusert.

Så nei, vi trener i hovedsak ikke på selve kundedataene. Vi analyserer dem ved hjelp av modeller som vi allerede har vurdert med tanke på skjevhetsproblemer.

Michael Luchen

Et av temaene som kommer frem for meg, er den kontinuerlige investeringen i å forbedre modellene, særlig med utgangspunkt i grunnmodellene som GPT-3 eller OpenAI tilbyr.

Når det gjelder produktets veikart, har dere egne perioder for slik forbedring? Hvordan arbeider dere med forbedringsarbeidet når dere skal prioritere det i produktveikartet?

Dan Erickson

Forbedring finnes i veikartet vårt som et eget spor. Vi har funksjoner for virksomhetskunder som skal legges til, integrasjoner vi bygger, og modellforbedring som pågår. Vi gjør også en rekke andre ting.

Modellforbedring er definitivt noe vi arbeider kontinuerlig med. Jeg kan faktisk ikke huske en uke som har gått uten at vi har utført en eller annen form for ny trening.

Vi har over et dusin modeller internt som vi arbeider med. Jeg sier ikke at vi trener alle modellene hele tiden, men minst én av dem blir omarbeidet eller trent på nytt hver eneste uke.

Michael Luchen

Hvor mye av tiden til teamet ditt vil du si går med til dette?

Dan Erickson

Jeg vil si at omtrent 20 prosent av tiden til NLP-teamet går med til denne kontinuerlige forbedringen og treningen på nytt.

Michael Luchen

Veldig interessant. Når vi ser på potensialet for skjevhet i NLP, hvordan kan bruk av NLP redusere potensiell skjevhet sammenlignet med tradisjonelle, manuelle prosesser?

Dan Erickson

Når vi snakker om skjevhet i NLP, er det viktig også å tenke på skjevheten som finnes i prosessen NLP skal erstatte.

Produktledere som prøver å forstå hva kundene klager på, er for eksempel ofte avhengige av anekdoter fra den supportmedarbeideren, selgeren eller andre de tilfeldigvis var i kontakt med på det tidspunktet. Som produktleder har du sikkert gått til en supportmedarbeider eller selger og spurt: «Hva er de største problemene vi bør ta tak i akkurat nå?»

De kommer til å si noe på stående fot, noe som vanligvis er riktig. Men det er vanligvis ikke fullstendig. De har ofte en skjevhet mot det som nylig har skjedd, og en skjevhet i favør av de mest høylytte kundene i stedet for flertallet.

Det er lett for mennesker å bli distrahert av én bestemt ting som nærmest blir et hjertebarn. NLP lider ikke under akkurat denne formen for skjevhet. Det gjør at du i stedet for å ha det begrensede perspektivet som anekdotene gir, kan bruke NLP til å utvide perspektivet og se mer av dataene.

Vi produserer for eksempel over 30 temaer i gjennomsnitt. Dette tallet øker faktisk etter hvert som vi trener modellene på nytt. Den siste rapporten vi laget, inneholdt over 300 temaer som vi identifiserte. Mennesker vil ikke klare dette detaljnivået eller den samme fullstendigheten i analysen.

Når jeg går gjennom tilbakemeldingene manuelt, vil jeg sannsynligvis plassere hver tilbakemelding i kanskje ett eller to temaer. Men vanligvis ser vi at det faktisk finnes tre til fem temaer i de fleste tilbakemeldingene.

Folk registrerer bare temaet som oppleves som hovedproblemet. Resultatet blir et langt mindre komplett bilde når man behandler ting manuelt enn når man bruker noe som NLP.

Michael Luchen

Interessant. Trengs det alltid menneskelig gjennomgang eller menneskelige bidrag på et eller annet nivå for å redusere potensiell skjevhet?

Dan Erickson

Ja. Selv om vi alltid bør forsøke å redusere skjevheten i disse systemene, særlig i store språkmodeller som er trent på terabyte med menneskelig språk, må vi heller ikke miste de konkrete forbedringene disse systemene kan gi allerede i dag av syne.

Det betyr egentlig at vi bør ha mennesker med i prosessen. Modellene kan gjøre mye av grunnarbeidet for deg, men du vil alltid trenge noen som går gjennom resultatene og kontrollerer at ting er bra.

Vi forsøker å gjøre mest mulig av dette gjennom modelltreningen og den interne gjennomgangen vår. Men vi gir også kundene våre mulighet til å gi oss tilbakemeldinger, slik at de kan bidra til arbeidet med å trene modellene på nytt. Det finnes en tommel opp- og en tommel ned-funksjon ved nesten all analysen vi gjør. Dermed kan kundene fortelle oss om resultatene er gode eller dårlige, og om funksjonen virker eller ikke.

Michael Luchen

Interessant. Kan dere, basert på dette, hente inn mer detaljerte tilbakemeldinger fra kundene enn bare tommel opp eller tommel ned, slik at dere kan finne ut hvordan modellene bør justeres?

Dan Erickson

Dette er ikke implementert ennå. Men når man trykker på tommel ned, kommer det snart opp et tekstfelt. Da sender vi all teksten tilbake til Viable, til vår egen forekomst av systemet.

Dermed kan vi identifisere alle temaene i denne tilbakemeldingen og forsøke å ta tak i dem.

Michael Luchen

Det er flott. Jeg er veldig nysgjerrig. Jeg tenker alltid på fremtidens produktutvikling. Hvordan ser fremtiden for NLP ut fra ditt ståsted i dag? Og hvordan kan dette forme fremtidens produktledelse? Du har tidligere snakket om at dette oppsto gjennom ekspertisen din og arbeidet med å finne produkt–markeds-tilpasning.

Hvordan møtes disse verdenene?

Dan Erickson

NLP befinner seg, som jeg sa tidligere, midt i en renessanse. Ting går virkelig fremover. Det ser vi med multimodale modeller, som DALL-E 2, der du kan skrive inn en beskrivelse av et bilde du ønsker å generere.

Modellen lager så et bilde på den andre siden. Du kan for eksempel skrive inn «en and i en tekopp», og den lager faktisk et bilde av dette. Det er fantastisk å se. Men den større utviklingen innen NLP går mot større modeller med en dypere forståelse.

GPT-4 kommer sannsynligvis en gang i løpet av de neste månedene eller det neste året, eller når det nå blir. Den vil trolig ha betydelige oppgraderinger sammenlignet med GPT-3. Vi ser også modeller som PaLM fra Google, samt en rekke andre modeller fra selskaper som Microsoft og Facebook.

Alle disse modellene blir større, men de gjør det også mulig å ta inn mer kontekst. Akkurat nå er vi begrenset av hvor mye tekst GPT-3 kan analysere på én gang. Det er omtrent 2 000 til 4 000 symboler, noe som tilsvarer rundt 4 000 ord.

I fremtiden tror jeg vi vil få langt større kontekstvinduer. Vi vil kunne behandle titusenvis av ord i stedet for bare noen få tusen. Det vil i stor grad øke modellens evne til å knytte sammen stadig fjernere konsepter.

Michael Luchen

Hvis jeg er produktleder og ser en mulighet til å integrere en NLP-modell i produktet mitt, for eksempel GPT-3 eller kanskje GPT-4 senere i år, hvor begynner jeg? Bør jeg spørre utviklerne mine? Er dette en enorm implementering og et stort prosjekt, slik at vi kanskje bør vente noen år før vi vurderer det?

Hvordan bør produktledere som lytter, gå frem?

Dan Erickson

Jeg mener det første stedet å begynne, er noe jeg har begynt å kalle naturlige språkgrensesnitt. Du har kommandolinjegrensesnitt og grafiske brukergrensesnitt.

Dette er ulike måter å samhandle med systemet på. Naturlige språkgrensesnitt, som spørsmåls- og svarsystemet vårt, GPT-3, GitHub Copilot eller lignende, lar deg skrive inn kommandoer, og systemet utfører handlingen.

Jeg tror det er der vi kommer til å se mest innovasjon fremover, og det er sannsynligvis det enkleste nesten alle produkter kan legge til i produktet sitt. Det vil gjøre det mulig å samhandle mer naturlig med produktet. I stedet for å tvinge brukerne gjennom en veiviser og et modalt vindu et eller annet sted, kan du la dem stille spørsmål.

Systemet kan samhandles med på vanlig språk, i stedet for å tvinge brukerne til å gjette og klikke. Denne siden av saken er faktisk ganske enkel å implementere direkte med noe som GPT-3.

Jeg anbefaler derfor å leke litt med det. Gå inn på lekeplassen i GPT-3 hos OpenAI og test hva den kan gjøre, og hvordan den kan hjelpe produktet ditt.

Michael Luchen

Supert. Før vi avslutter, vil jeg gjerne stille noen personlige spørsmål i hurtigrunden, hvis det er greit.

Dan Erickson

Ja, det høres flott ut.

Michael Luchen

Hvilken av dine personlige vaner har bidratt mest til suksessen din?

Dan Erickson

For min del handler det om å få åtte timers søvn. Det er vanskelig å få til som gründer. Men jeg opplever at søvn er grunnlaget for alle de andre tingene. Når du får for lite søvn, presterer du ikke like godt.

Du begynner kanskje å hoppe over måltider. Du trener kanskje ikke den dagen. For meg er søvn derfor den ene vanen som ikke kan ofres til fordel for andre ting.

Det betyr ikke at jeg aldri har perioder med høyt arbeidspress eller jobber til langt på natt, men stort sett prøver jeg å være konsekvent med dette.

Michael Luchen

Hva er favorittverktøyet du bruker regelmessig?

Dan Erickson

Akkurat nå er det definitivt GitHub Copilot. Jeg bruker Visual Studio Code til all utviklingen min. Vi er et lite team, rundt ti personer i Viable akkurat nå.

Så jeg programmerer fortsatt litt. Det har vært fantastisk å arbeide med. GitHub Copilot er i bunn og grunn NLP for kode i stedet for engelsk. Du begynner bare å skrive kode i redigeringsprogrammet, og systemet prøver å forstå hva du gjør og skriver mer kode for deg.

Det er som en kunstig intelligens-basert programmeringspartner. Nå har det kommet så langt at omtrent 50 prosent av koden jeg skriver, faktisk blir skrevet av GitHub Copilot.

Michael Luchen

Det er utrolig.

Til slutt: Hvilket råd vil du gi til en person som befinner seg i begynnelsen av produktreisen sin?

Dan Erickson

Ikke sett deg fast i et spor. Det jeg mener, er at du kommer til å få en idé, og den ideen kommer til å være veldig god. Men den er kanskje ikke det som faktisk kommer til å føre selskapet ditt til suksess. Den opprinnelige ideen er vanligvis annerledes enn stedet du ender opp senere.

Det er viktig å fortsette å lytte til brukerne dine og la dem trekke deg i riktig retning, i stedet for å bare stole på din egen intuisjon.

Michael Luchen

Det var veldig godt sagt, og en flott måte å avslutte på.

Tusen takk for at du ble med i dag, Dan. Jeg har lært mye om NLP og har fått flere ting jeg skal ta med tilbake til produktene jeg har arbeidet med.

Dan Erickson

Flott. Takk for at jeg fikk komme. Det var virkelig flott å være her.

Michael Luchen

Du kan finne mer informasjon om Dan på LinkedIn, og du kan også lære mer om selskapet hans, Viable, på askviable.com.

Og tusen takk for at du ble med, Dan.

Takk til alle som lyttet. Husk å legge igjen en anmeldelse av podkasten og fortelle oss hva du synes. Hvis du ikke allerede har gjort det, må du gjerne følge og bli med i fellesskapet vårt på theproductmanager.com

Takk igjen, og ha en fin dag!