Produkttestning (med Erin Hess från Crema)

Michael Luchen

Det talas mycket om att bygga produkter, men hur är det med att testa dem? Vilka metoder, förhållningssätt och discipliner krävs för att säkerställa att en produkt testas grundligt och verkligen stöder de användare den byggdes för? I dagens program har vi med oss en expert inom testteknik för att på djupet undersöka vad denna kritiska roll innebär i ett produktteam, hur testingenjörer samarbetar med produktchefer och varför de kan vara viktiga företrädare för empati i produktteamet. Lyssna vidare.

Det här är podcasten The CPO Club – rösterna från den gemenskap som skriver handboken för produktledning, utveckling och strategi. Vi sponsras av Crema, en digital produktbyrå som hjälper individer och företag att utvecklas genom kreativitet, teknik och kultur. Läs mer på crema.us. Fortsätt lyssna för praktiska och autentiska insikter som hjälper dig att lyckas inom produktledning.

Hej allihop. I dag är jag mycket glad över att välkomna Erin Hess till programmet. Jag har haft nöjet att lära känna Erin sedan hon nyligen började i vårt team på Crema som senior testingenjör. Erin har en unik kombination av kreativa och tekniska färdigheter, som hon har utvecklat under mer än tolv års erfarenhet i flera olika roller inom programvaruutveckling och teknik.

Hon började sin karriär som kundsupportrepresentant och blev senare en självlärd programmerare som utvecklade en passion för programvarutestning. Som användarföreträdare i grunden är några av Erins främsta styrkor empati, visualisering samt förmågan att förutse beteenden och kommunikation. Erin tycker om att skapa processkartor och föreställa sig var problem kan uppstå. Genom att sätta sig in i andras situationer, betrakta problem ur flera perspektiv och se de långsiktiga konsekvenserna och fördelarna av dagens beslut har Erin kunnat göra skillnad i alla team och produkter hon anslutit till.

Erin hjälper också organisationer att införa inkluderande designmetoder genom att skapa medvetenhet om universella användbarhetshinder och sprida denna kunskap. Hon verkar för tillgänglighet och bidrar kontinuerligt med resurser till de växande testgemenskaperna på nätet.

Hej Erin. Välkommen till programmet.

Erin Hess

Tack så mycket för den fina presentationen, Michael. Jag är glad att vara här.

Michael Luchen

Jag måste säga att jag personligen verkligen ser fram emot det här samtalet. Jag tycker att samarbetet mellan testingenjören och produktchefen ofta kan skapa några av de bästa resultaten, men ändå talas det inte särskilt mycket om det.

Är du redo att sätta i gång?

Erin Hess

Absolut.

Michael Luchen

Då kör vi.

Jag vill börja på en övergripande nivå för de lyssnare som kanske försöker förstå rollen och inte har någon testingenjör i sitt team. Vilka är några av dina favoritaktiviteter som testingenjör?

Erin Hess

Det finns många, och det här är verkligen ett ämne jag skulle kunna prata länge om. En av mina absoluta favoritaktiviteter är att bygga relationer och lära känna de team jag arbetar med – utvecklare, designers, produktchefer, andra ingenjörer, kundsupport och ibland även marknadsföring.

I unika projekt tycker jag också om att lära känna resurserna på kundsidan. Jag har hittat en nisch inom att skriva teknisk dokumentation, så jag uppskattar att få tid och utrymme att ge rätt mängd detaljer och beskrivningar tillsammans med användbara visuella hjälpmedel.

Om jag kan vara kreativ och lägga till en bild av en katt framför en dator, så gör jag det. Jag tycker också om att lära mig nya verktyg och samarbeta med andra ingenjörer.

Michael Luchen

Hur arbetar du med att bygga relationer i teamen, särskilt utifrån det perspektiv som en testingenjör behöver ha?

Erin Hess

Jag är mycket öppensinnad och vet att alla är lite olika. Jag kommer inte att ha samma typ av samtal med en designer som med en utvecklare, och samma sak gäller produktägaren. Därför försöker jag skapa så mycket utrymme och empati för teamet som möjligt.

Michael Luchen

Hur hittar du balansen mellan att skapa det utrymmet och visa empati, särskilt när alla har olika färdigheter och discipliner att bidra med i ett produktteam?

Erin Hess

För mig har det handlat om tålamod och övning. Jag försöker lära mig och ge både mig själv och teamet återblickar på hur vi fungerade tillsammans, hur vi tog hand om varandra under sprinten och vad som kan ha varit svårt – inte bara i själva arbetet, utan också som människor. Det är viktigt att ge dem utrymme att prata med mig om sådana saker.

Michael Luchen

Vilka är de typiska aktiviteterna för en testingenjör i ett produktteam? Det handlar naturligtvis inte bara om att säga att något kan lanseras.

Erin Hess

Nej, verkligen inte. Jag sitter inte bara med en stämpel där det står godkänt eller underkänt. Det handlar om många nyanser och mycket relationsbyggande, mer än man kanske tror i en teknisk roll. Man arbetar och samarbetar med olika delar av teamet, till exempel genom att para ihop sig med utvecklaren för att bli bättre på att skapa och granska kodändringar.

Man samarbetar med produktchefen för att få rätt detaljnivå i acceptanskriterierna och fastställa standarden och förväntningarna för dem. Alla användarberättelser och funktioner måste granskas – inte bara av designers och utvecklare, utan även av intressenter. Som testingenjör är du en del av allt detta. Du måste hålla kontakten med alla, annars missar du något, och då ökar risken att produkten inte uppfyller kraven.

Michael Luchen

Det knyter an till det du sade om teknisk dokumentation, eftersom den hjälper till att samla all kontext.

Erin Hess

Jag använder också dokumentationen som en andra hjärna. Jag förväntar mig inte att komma ihåg allt, men jag vet att min dokumentation är bra, så jag kan gå tillbaka till den när jag behöver det, och andra kan också använda den.

Michael Luchen

Du håller alltså dokumentationen offentligt tillgänglig för produktteamet?

Erin Hess

Ja. Den finns där ute. Den är inte dold, låst eller bakom någon konstig betalvägg. Teamet kan använda den, och när jag skapar något delar jag det definitivt.

Michael Luchen

Det är verkligen bra. Transparens i dokumentationen är något som produktteam bör sträva efter, inte bara inom testteknik utan inom alla discipliner som utgör ett produktteam. Kontexten och kommunikationen är det som hjälper rollerna att fungera.

För dem som är nya inom testteknik: när är den bästa tidpunkten för testingenjören att börja samarbeta med teamet? Efter att produktarbetet har startat, mot slutet eller någon annan gång?

Erin Hess

Jag har lärt mig att ju tidigare du tar in testingenjören, desto bättre. Vissa företag ser testingenjören som någon som bara fyller i uppgifter, skriver ett test och markerar godkänt eller underkänt. Men om du vill ha bra testingenjörer som bidrar med mer än själva testförmågan bör du ta in dem redan före projektstarten och under den inledande kontextveckan.

Då kan de börja föreställa sig mycket redan från början och bidra till att påverka design för testbarhet, utveckling och tillgänglighetstestning i stället för att behandla den som något man tänker på i efterhand.

Michael Luchen

Jag håller helt med. Om ett team startar utan en testingenjör ser jag det som en stor risk, eftersom den kontext som samlas in från alla perspektiv är avgörande för att säkerställa en kvalitetstestad produkt som uppfyller användarnas behov.

Vad bör en testingenjör tänka på under en sprint?

Erin Hess

Du vet inte det du inte vet, så var inte rädd för att vända dig till teamet när du har en fråga eller oro, oavsett hur allvarlig den känns. En liten oro kan utvecklas till en betydande förbättring. Att säga till tidigt kan också minska risken och kostnaden för att åtgärda ett problem.

Det finns inget ”jag” i produktutveckling. Du är en del av teamet och gör inte teamet någon tjänst genom att tiga när du har svårt med något. Det värsta du kan göra är att vänta till slutet av sprinten och meddela att du inte kan utföra uppgiften. Säg till.

Michael Luchen

Det är avgörande, särskilt från produktledningsperspektivet, eftersom det hjälper oss att upptäcka stora risker tidigt i sprinten och vid behov ändra sprintens riktning.

Hur kan testingenjörer, designers och utvecklare samarbeta på bästa sätt?

Erin Hess

Det är mycket värdefullt om designers och utvecklare samarbetar med testingenjörer under designen och utvecklingen av användarberättelserna när det är möjligt. Tidigt samarbete ger mer information för att förbereda testscenarier, testfiler och automatiseringsskript.

Jag förbättrar just nu våra acceptanskriterier och krav genom att inkludera Gherkin, så att en stor del av arbetet redan är gjort när vi är redo för automatisering.

Michael Luchen

Vad är ett testscenario? Är det att gå igenom de acceptanskriterier som produktchefen skriver, eller är det mer detaljerat?

Erin Hess

Det är både och. Man utgår från acceptanskriterierna som teamet och produktchefen har förbättrat och beskriver sedan vilken typ av användare som använder vilken typ av enhet, vad användaren gör, vilket resultat som förväntas, vilka risker som finns och vad man kan försöka göra för att belasta systemet. Det handlar om att ta fram olika kompletta flöden som en användare potentiellt kan genomföra under testet.

Michael Luchen

När en produkt distribueras kan den användas i många miljöer: olika webbläsare, skärmupplösningar och enheter. Hur avgör du var du ska fokusera insatserna?

Erin Hess

Det går att överdriva testningen. För att begränsa omfattningen krävs tid, övning och eftertanke. Man behöver förstå vilken typ av projekt det är – en webbapp, en inbyggd app eller kanske något som bara körs på iPhone.

Sedan sorterar man bort sådant som inte behöver testas och bygger upp en testmatris: vilken enhet och webbläsare behövs för vilken typ av användare.

Michael Luchen

Tittar du regelbundet på statistik över webbläsar- och enhetsanvändning?

Erin Hess

Ja, det finns många resurser som hjälper testingenjörer att förstå vilka kombinationer som är mest praktiska att testa. Man undersöker vilka webbläsare och versioner som används och hur många som använder en viss applikation, produkt eller tjänst. Därefter prioriterar man exempelvis Safari och Chrome på iOS och Android och lägger till alternativ med lägre risk om tiden tillåter.

Michael Luchen

Kan användartester och undersökningar också påverka vad man testar?

Erin Hess

Jag har inte arbetat särskilt mycket med användarundersökningar, men jag tycker om att fylla i dem och ge återkoppling. Jag tar hänsyn till den förväntade användarupplevelsen för den aktuella typen av applikation och utgår sedan från det.

Michael Luchen

Du nämnde att du skriver automatiseringsskript. Vilket värde har automatisering, och när bör den införas?

Erin Hess

Det beror på situationen. Om projektet är långsiktigt, pågående och har ett stabilt team kan automatisering vara mycket användbar. Man kan börja med manuella tester och rangordna dem utifrån risk och funktion. Därefter väljer man ett automatiseringsramverk eller en lösning med låg kodnivå.

Det är inte fel att tänka på automatisering tidigt. Under förutveckling och design finns möjligheter att samarbeta med teamen, till exempel genom att skapa tillgänglighetstaggar för komponenter. Med Gherkin kan kod och skript skrivas innan produkten ens finns, vilket sparar tid och förbättrar planeringen.

Automatisering ger också testingenjören ytterligare en komplexitet. Förutom acceptanskriterier och testfall skriver och granskar man nästan som en utvecklare de kriterier som ska användas i automatiseringsskripten. Tidig automatisering är bra när behovet finns, särskilt om den kan snabba upp och stabilisera testprocessen.

Michael Luchen

Hur samarbetar du med produktchefer?

Erin Hess

Jag tycker om att bygga relationer med teamet. Det handlar inte om hierarki, utan om att alla ska kunna samarbeta och arbeta tillsammans. Jag tycker om att arbeta med produktchefer lika mycket som med utvecklare och designers.

Det kan handla om att samarbeta kring acceptanskriterier, göra efterforskningar eller samla information. Om produktchefen behöver hjälp och jag kan bidra, så gör jag det.

Michael Luchen

Partnerskapet mellan testingenjören och produktchefen är ett av de mest betydelsefulla i ett produktteam, särskilt på grund av fokuset på acceptanskriterier och hur funktioner ska valideras innan de släpps till användarna.

Produktchefen bidrar ofta med fokus på vilka resultat vi vill uppnå för användaren, medan testingenjören bidrar med detaljerna och ser till att luckorna täcks på en lämplig nivå utan att begränsa teamets kreativitet.

Erin Hess

Jag håller helt med. Jag har upplevt situationer där testingenjören inte kom in tidigt, och nu uppskattar jag verkligen att få vara med från början.

Michael Luchen

Du är också en stark förespråkare för tillgänglighet. Kan du berätta vad det innebär?

Erin Hess

Tillgänglighet är ett aktuellt ämne och kallas ibland ”A11Y”, eftersom det finns elva bokstäver mellan A och Y i det engelska ordet. Att vara förespråkare innebär att vara en röst för alla olika slutanvändare och verka för att funktioner, produkter och tjänster ska vara tillgängliga för alla. Det handlar om inkludering och om att använda sin röst för att hjälpa andra.

Michael Luchen

Hur hanterar du situationer där intressenter säger att de inte kan prioritera tillgänglighetsfrågor?

Erin Hess

Jag har haft framgång med att visa hur dyrt det kan bli för företaget att inte ha en webbplats som följer kraven. Risken för rättsliga processer är betydande. Det är svårt att återhämta sig, och det kan ge ett dåligt intryck om människor uppfattar att man inte bryr sig om en hel grupp slutanvändare.

Michael Luchen

Kan du berätta mer om empati som grund för testning?

Erin Hess

Uttrycket ”att gå i någon annans skor” är ett annat sätt att beskriva empati. Det handlar om förmågan att förstå eller känna det en annan person upplever utifrån den personens perspektiv. Empati kan omfatta ett brett spektrum av känslor.

Jag har hållit en presentation om empati och testning på ett TestBash-evenemang arrangerat av Ministry of Testing. Där talade vi om hur empati är grunden för testning och hur våra erfarenheter placerar oss i en unik position för att tala om empati och kundbehov.

Michael Luchen

Varför är empati grunden för testning?

Erin Hess

Det finns en tydlig koppling mellan testning och empati. Du kan inte känna till någons förväntningar om du inte känner till personens erfarenhet. Att sätta sig in i någon annans erfarenhet är därför en viktig del av testning, även när vi inte tänker på det. Att testa ett tema med hög kontrast eller ett dyslexivänligt typsnitt görs av en anledning. Denna koppling mellan testning och empati hör i hög grad hemma inom tillgänglighetstestning.

Michael Luchen

Det är intressant att se hur tillgänglighet, empati och samarbete återkommer genom hela testingenjörens roll – inte bara med produktchefen utan med hela produktteamet.

Innan vi avslutar vill jag ställa några personliga frågor.

Erin Hess

Kör.

Michael Luchen

Vilken personlig vana har bidragit mest till din framgång?

Erin Hess

Min förmåga att skapa struktur och organisera stora mängder information, något jag har utvecklat över tid. Det är nästan en superkraft. Den kommer från min besatthet av organisation och min passion för att skriva bra, användbar och meningsfull dokumentation.

Michael Luchen

Vilket verktyg använder du regelbundet och tycker bäst om?

Erin Hess

Chrome DevTools. Jag vill särskilt nämna enhetsläget, som kan simulera mobila enheter, testa responsivitet och olika vyportar. Nätverkspanelen är min bästa vän när jag rapporterar fel. Jag använder också Lighthouse och Axe för tillgänglighetstestning.

Michael Luchen

Vilket råd skulle du ge till någon som precis börjar sin resa inom produktområdet?

Erin Hess

Var öppen för att lära dig vad som helst, oavsett vem du lär dig av. Om en utvecklare, designer eller produktchef vill ha din tid eller hjälp, ta chansen. Använd det som en lärandeupplevelse och dra nytta av den.

Michael Luchen

Mycket väl sagt. Jag har verkligen lärt mig mycket i dag. Tack så mycket för att du deltog, Erin.

Erin Hess

Tack för att jag fick vara med. Jag ser fram emot att prata ännu mer om tillgänglighetstestning och testteknik i allmänhet.

Michael Luchen

För dig som vill lära dig mer av Erin hittar du information om hennes arbete på crema.us. Du kan också hitta henne på LinkedIn. Erin är aktiv på Twitter under namnet @QueenTester.

Om du tyckte om dagens program kan du läsa vår relaterade publikation The QA Lead, där vi utforskar det senaste och bästa inom automatisering och testning. Besök theqalead.com.

Tack igen, Erin, för att du deltog i programmet i dag. Det här har varit ett fantastiskt avsnitt. Tack till alla som lyssnade. Lämna gärna en recension av podcasten – jag vill gärna höra din återkoppling. Följ och anslut dig också till vår gemenskap på theproductmanager.com. Tack.