Kuinka pitää hauskaa UX-tutkimuksen parissa

Lue litterointi:

Kokeilemme podcastiemme litterointia ohjelmiston avulla. Antakaa anteeksi mahdolliset kirjoitusvirheet, sillä botti ei ole sataprosenttisen tarkka.

Hannah Clark: Oletko enemmän vasemman vai oikean aivopuoliskon ajattelija? Jos et tiedä, mistä puhun, vasemman aivopuoliskon ihmiset ovat yleensä analyyttisempiä ja keskittyvät mittareihin, kun taas oikean aivopuoliskon ihmiset käyttävät todennäköisemmin tarinankerrontaa maailman ymmärtämiseen. Kun siis ajattelemme kvalitatiivista ja kvantitatiivista tutkimusta, voit luultavasti arvata, millaiset ihmiset hakeutuvat yleensä mihinkin tutkimusmenetelmään. Ja se on hienoa – tarvitsemmehan molempia – mutta kuten käy ilmi, näiden kahden yhdistäminen on paljon helpommin sanottu kuin tehty. Kuinka yhdistät numerot ja tarinat muodostaaksesi tarkan kokonaiskuvan? Ja kuinka varmistat tutkimusmenetelmästä riippumatta, että tietosi ovat laadukkaita?

Tämän päivän vieraana on mahtava Laura Klein, Users Know -yrityksen pääjohtaja sekä kirjojen Build Better Products ja UX for Lean Startups kirjoittaja. Viimeisten 20 vuoden aikana Laura on työskennellyt monien tuotetiimien kanssa ja nähnyt monien niistä kompastuvan samoihin haasteisiin käyttäjätutkimuksen tekemisessä ja soveltamisessa. Hän jakaa pian hyödyllisimpiä havaintojaan ja neuvojaan tuotetiimeille, erityisesti jakson myöhemmässä vaiheessa, kun puhumme segmentoinnin ja tutkimuksen keskeisestä roolista. Tarvitset molempia aivopuoliskojasi tätä varten, joten aloitetaan.

Tervetuloa takaisin The CPO Club -podcastiin.

Laura, kiitos paljon, että löysit kalenteristasi aikaa keskustella kanssamme.

Laura Klein: Kiitos paljon kutsusta.

Hannah Clark: Aloitetaan puhumalla hieman sinusta ja siitä, kuinka perustit Users Know’n.

Laura Klein: Kuten sanoit, olen UX- ja tuoteihminen. Olen toipuva insinööri. Olen ollut teknologia-alalla 1990-luvulta lähtien, joten siitä on jo aikaa. Olen tehnyt kaikenlaista. Perustin Users Know’n alun perin 2010-luvun alkupuolella. En itse asiassa muista päivämäärää, vaikka ennen tiesin sen varmasti. Opin suunnittelua todella hyvässä pienessä suunnittelutoimistossa, jossa teimme asiakkaille suunnittelua ja tutkimusta.

Opin siellä valtavasti. Se oli hienoa. Tätä ennen olin työskennellyt melko pitkään insinöörinä, enimmäkseen startup-yrityksissä. Lopulta lähdin, rehellisesti sanottuna, koska halusin mahdollisuuden irtisanoa asiakkaani. Se on sataprosenttinen totuus. Kun työskentelet toimistossa, vitsailen aina, että sinun on tehtävä monet ihmiset tyytyväisiksi.

Sinun on tehtävä pomosi tyytyväisiksi ja asiakkaasi tyytyväisiksi. Lisäksi UX-suunnittelijana sinun pitäisi ihannetapauksessa tehdä asiakkaasi ja käyttäjäsi tyytyväisiksi. Ja hassua kyllä, nämä asiat ovat joskus ristiriidassa keskenään. Tajusin, että työskentelin paljon paremmin sellaisten asiakkaiden kanssa, jotka olivat kanssani samalla tavalla ajatuksissa siitä, kuinka työ tehdään.

Olen todella nauttinut työskentelystä sellaisten ihmisten kanssa, jotka omaksuvat työskentelytapani. Se ei ole erityisen opettavainen tai ehdoton tapa, mutta minulla on tietty tapa tehdä asioita, ja jos olet sen kanssa samalla linjalla, tulemme hyvin toimeen ja saamme paljon hyvää aikaan yhdessä.

Hannah Clark: Minulla on itsellänikin toimistotausta, joten voin hyvin samaistua siihen, että asiat toimivat paljon paremmin, jos yhteistyö sopii yhteen. Yhteensopivuutta ei voi aina pakottaa.

Laura Klein: Asiakas saattaa haluta jotain aivan muuta, josta emme ole neuvotelleet ja jota en ehkä pysty hänelle tekemään. Kun teen Users Know’n liiketoiminnan kehitystä – enkä tee sitä aina, koska välillä minulla on kokopäiväinen työ tai olen täysin varattu – käytän paljon aikaa siihen, että sanon ihmisille: “En tee tuota. Kannattaa puhua henkilölle X, jonka tunnen ja joka tekee juuri sitä. Tulet hänen kanssaan paljon tyytyväisemmäksi, koska hän on siinä parempi kuin minä.” Käytän siis noin puolet ajastani ihmisten käännyttämiseen.

Koska sinä olet vain yksi ihminen ja tarvitset vain pari projektia, kannattaa löytää ne projektit, joiden kohdalla ajattelet: “Tämän voisin todella tehdä hyvin.”

Hannah Clark: Se on melkein menestyksen merkki: olet tilanteessa, jossa voit todella valita projektit, jotka vievät sekä sinut että asiakkaasi siihen paikkaan, johon haluatte. Arvostan sitä suuresti.

Tänään keskitymme kvalitatiivisen ja kvantitatiivisen tutkimuksen yhdistämiseen parempien päätösten tekemiseksi tuoteympäristössä. Mitä voit oman kokemuksesi perusteella kertoa siitä, minkä kanssa tiimit kamppailevat näiden kahden tieteenalan yhdistämisessä?

Laura Klein: Kaiken kanssa. Tämä on yksi niistä työskentelytapani osa-alueista, joka on hyvin erityinen. Näen ihmisten kamppailevan kummankin puolen kanssa. Monille kvalitatiivisen käyttäjätutkimuksen tekeminen on todella vaikeaa, ja monille kvantitatiivisen käyttäjätutkimuksen tekeminen on todella vaikeaa.

Kun nämä kaksi pitäisi yhdistää, kyse on melkein yksisarvisen metsästämisestä. Se on todella vaikeaa, koska niin monen asian täytyy onnistua. Enkä vitsaile: ihmiset kamppailevat kaiken kanssa. Monet eivät osaa tehdä hyvää kvalitatiivista tutkimusta.

He eivät tiedä, milloin sitä pitäisi tehdä. He eivät tiedä, milloin pitäisi palkata niitä loistavia ammattilaisia, jotka tekevät tätä työkseen ja ovat siinä erinomaisia. Kvantitatiivisella puolella matematiikka on vaikeaa. Tilastot eivät oikeastaan ole kenellekään intuitiivisia.

Sen lisäksi tuotteen mittaaminen niin, että saat oikeanlaista dataa, on vaikeaa. Niin monet yritykset keräävät kaiken datan, mutta jotenkin mikään siitä ei ole oikein. Kaikki on vain sekaisin molemmilla puolilla. Sitten otat huonosti tehdyn kvalitatiivisen tutkimuksen, jossa ei ehkä käsitelty todellisia ongelmia tai jossa ei ollut hyvää kysymystä, johon pohjimmiltaan yritettiin vastata, ja yhdistät sen sattumanvaraisesti kerättyyn ja ehkä virheelliseen dataan.

Kun yrität yhdistää nämä kaksi, saat mitä saat, eikä mikään siitä ole hyvää. Tämä ei tietenkään koske kaikkia – se on pahin mahdollinen tilanne. Näen usein yrityksiä, joilla on esimerkiksi todella hyvä kvalitatiivinen tutkimustiimi ja jotka osaavat kerätä tietoa, mutta eivät ehkä osaa yhdistää sitä tuotepäätöksiin.

Tai joskus tuotepäälliköt keskittyvät niin paljon dataan, etteivät tarkastele kvalitatiivista puolta lainkaan. He eivät siis oikeastaan ymmärrä, miksi mikään tapahtuu. He katsovat koko päivän vain numeroita ja pohtivat: “Ehkä kyse on tästä. Ehkä jostain muusta.” Tämä on hyvin yleinen “dataohjautuvan” tuotepäällikön toimintamalli.

Kannatan ehdottomasti datan avulla tietoon perustuvaa tuotepäätöksentekoa, mutta data ei kerro, miksi jokin tapahtuu. Se kertoo vain, mitä tapahtuu. Ja joskus se ei edes tee sitä kovin hyvin. Kaikki on siis vaikeaa. Siksi ei kannata vaivautua, vaan pitäisi vain luottaa vaistoonsa. Ei, se ei ole totta. Anteeksi.

Hannah Clark: Se ei todellakaan ole johtopäätös.

Laura Klein: Ei todellakaan. Olennaista on, ettei pidä luovuttaa.

Hannah Clark: Ei, jatkamme eteenpäin. Esityksen on jatkuttava.

Laura Klein: Myönnämme, että tekemämme työ on vaikeaa, annamme itsellemme tilaa oppia uusia asioita ja myönnämme, ettemme ehkä tiedä kaikkea. Itse opin jatkuvasti uutta tämän molemmista puolista, työskentelemme kummankin osa-alueen asiantuntijoiden kanssa ja teemme parhaamme.

Hannah Clark: Olen innostunut perehtymään tähän hieman tarkemmin ja myös siihen, kuinka voimme varmistaa, että keräämämme data on luotettavampaa tai tarjoaa parempia oivalluksia tavoitteidemme saavuttamiseen.

Oletetaan kuitenkin tämän esimerkin vuoksi, että meillä on laadukasta dataa sekä kvalitatiivisen että kvantitatiivisen tutkimuksen puolelta.

Laura Klein: Olemme siis hyviä molemmissa.

Hannah Clark: Kuvitellaan, että meillä on parhaista parhaat ihmiset tehtävässä. Millä tavoin voimme alkaa yhdistää nämä kaksi tutkimustyyppiä tuotepäätöksenteon yhteydessä?

Laura Klein: Sanotaan, ettei meillä edes ole loistavaa dataa. Sanotaan, että meillä on ihmiset ja prosessit, joiden avulla voimme hankkia loistavaa dataa. Ensimmäinen vaihe on nimittäin yrittää selvittää, mihin kysymykseen haluat vastauksen. Se on yhtä vaikeaa kuin kaikki muukin.

Monet sanovat: “Meillä on koontinäytöt, joten teemme käytettävyystestejä jatkuvasti ja kaikkea muuta.” Hyvä on, mutta olet tekemässä päätöstä. Yrität tehdä tietyn päätöksen. Haluammeko tehdä asian X? Minkä uuden ominaisuuden rakennamme seuraavaksi? Mikä on prioriteettini? Tuotetyössä teemme tällaisia päätöksiä joka päivä.

Hyvä. Minkä päätöksen yrität tehdä juuri nyt? Kuinka voimme parantaa tämän ominaisuuden aktivointia? Kuinka voimme parantaa hankintaa? Kuinka voimme estää ihmisiä poistumasta palvelusta tietyn kuukausimäärän jälkeen? Näitä ovat kysymykset, joita meidän usein täytyy esittää itsellemme. Joskus meidän on kysyttävä: tämä ominaisuus vai tuo ominaisuus?

Kumpi todennäköisemmin auttaa saavuttamaan tarvitsemani asian? Tämä palauttaa meidät jälleen kysymykseen siitä, mitkä mittarini ovat ja mitä ihmettä yritän niiden avulla tehdä. On siis aloitettava hyvästä kysymyksestä, johon voidaan vastata. Kysymys ei voi olla esimerkiksi “Kuinka paljon joku maksaisi tästä?” Se voi toki olla sitä, mutta se on erittäin vaikea kysymys vastattavaksi kummassakin tutkimusmuodossa.

Asiaa on siis rajattava todella paljon. Mihin tarkalleen yritän saada vastauksen? Sitten on tarkasteltava, mitä kvantitatiivinen data kertoo. Se kertoo, mitä tuotteessasi tapahtuu tällä hetkellä. Kun puhun kvantitatiivisesta datasta, en välttämättä tarkoita markkinatutkimusta, vaikka sitäkin voidaan haluta hyödyntää ehkä aikaisemmassa vaiheessa.

Puhun erityisesti analytiikasta, mittareista ja tuotteen asioista, joita mitataan. Kvantitatiivinen data ei yleensä kerro kovin hyvin mitään silloin, kun tuotetta ei vielä ole. Jos tuotetta ei ole olemassa, ei ole kvantitatiivista dataa. Jos käyttäjiä ei vielä ole paljon, kvantitatiivista dataa ei ehkä ole riittävästi.

On siis pohdittava, milloin sitä käytetään. Pohjimmiltaan se kertoo vain, mitä ihmiset tekevät: mitä he napsauttavat, mitä he ostavat ja siirtyvätkö he ostamaan jotakin muuta napsautettuaan tiettyä asiaa. Se kertoo kaikenlaista siitä, miksi jokin tapahtuu.

Kvalitatiivinen data – tässä puhumme käyttäjätutkimuksesta ja käytettävyystestauksesta, jotka ovat kaksi eri asiaa – auttaa ymmärtämään käyttäjiä: heidän mentaalisia mallejaan, kontekstiaan, tavoitteitaan sekä heidän yleisiä ja tuotteeseen liittyviä ongelmiaan. Se auttaa ymmärtämään, miksi tapahtuvat asiat tapahtuvat.

Siinä kaikki. Kvalitatiivinen tutkimus ei kerro, mitä tapahtuu. Se tehdään usein paljon pienemmillä ihmisjoukoilla. Se on iteratiivinen prosessi: et tee tutkimusta viidellä ihmisellä ja ole valmis ikuisiksi ajoiksi. Voit kuitenkin tehdä päätöksiä viiden ihmisen kanssa käytyjen keskustelujen perusteella. Sitten teet uuden kierroksen ja keskustelet uusien ihmisten kanssa.

Voit puhua vain rajalliselle määrälle ihmisiä ja keskustelut tapahtuvat pitkän ajan kuluessa. Voit saada erittäin hyvän käsityksen siitä, keitä ihmiset ovat ja mitä he tekevät, mutta pelkästään ihmisten kanssa puhumalla et saa yhtä hyvää kuvaa siitä, mitä tapahtuu.

Sen sijaan ymmärrät, miksi. Otetaan esimerkiksi kassaprosessi. Se on helppo ja kaikille tuttu esimerkki. Olemme kaikki käyneet jonkin digitaalisen tuotteen kassaprosessin läpi. Ne ovat yleensä melko lineaarisia ja sisältävät useita vaiheita. Yrityksen täytyy saada sinulta tiettyjä tietoja.

Jos mittarointisi on tehty oikein, näet, missä kohdassa ihmiset putoavat prosessista. Voin taata, että jotkut ovat pudonneet siitä. Kutsumme sitä suppiloksi, mutta se on enemmänkin seula. Parhaassa tapauksessa kyse on suppilosta; todellisuudessa ihmiset putoavat jatkuvasti pois. Data kertoo tarkalleen, missä he putoavat. Hienoa.

Sitten monet tuotepäälliköt sanovat: “Kaikki putoavat pois siinä kohdassa, jossa heidän täytyy syöttää maksukorttitietonsa”, ja alkavat keksiä ratkaisuja. “Voisimme tehdä tämän. Voisimme tehdä muutoksen. Voisimme tehdä tästä helpommin nähtävän.” Tai voisit seurata, kun jotkut ihmiset käyttävät kyseistä kassaprosessia, ja yrittää ymmärtää, tapahtuuko siinä jotain ilmeistä.

Syitä voi olla monia. Olen nähnyt kymmeniä erilaisia asioita, jotka saavat ihmiset putoamaan pois kassa- tai perehdytysprosesseista tai tiedonkeruusta. Tärkeää on ymmärtää, miksi sillä on merkitystä: ongelman oikea ratkaisu riippuu siitä, mikä ongelma oikeasti on.

Ongelmasi ei ole se, että ihmiset putoavat pois. Se on sinun ongelmasi. Heidän ongelmansa voi olla se, etteivät he ymmärtäneet jotain, tai se, että virhe esti heitä tekemästä jotain. Jos et näe ongelmaa tai tiedä sen olemassaolosta, et koskaan korjaa sitä. Kassan ongelma voi johtua myös siitä, ettei oikeita maksutapoja ole tarjolla, tai kymmenestä muusta syystä.

On hämmästyttävää seurata jotakuta ja huomata: “Ai, kyse on tuosta pienestä asiasta. Voin korjata sen.” Insinöörit ovat joskus seuranneet käyttäjätutkimus- tai käytettävyystestaustilaisuuksiani ja korjanneet ongelman aiheuttaneen virheen testin aikana sekä vieneet korjauksen tuotantoon.

Havaitsimme ongelman, joka oli selvästi virhe. Testiä seurannut insinööri istui tietokone sylissään ja korjasi sen. Palasimme asiaan myöhemmin, ja osallistuja sanoi: “Luulin, että tämä oli rikki.” Vastasin: “Niin luulin minäkin.” Käännyin, ja insinööri nyökkäsi sekä näytti peukkua. Ajattelin, ettei se siis enää ollut ongelma.

Tämä on hyvä esimerkki siitä, ettei pidä vain ymmärtää, mitä tapahtuu, ja hypätä sitten keksimään valtavaa määrää ratkaisuideoita. Ensin pitää selvittää, miksi se tapahtuu. Sitten ongelmaan voi olla hyvin yksinkertainen ratkaisu, minkä jälkeen elämässä voi siirtyä eteenpäin ja keskittyä tärkeämpiin ongelmiin.

Hannah Clark: Mikä mielestäsi estää meitä tarttumasta ensin tuohon ratkaisuun sen sijaan, että alamme heti keksiä ratkaisuja? Miksi se ei ole näkemyksesi mukaan oletusmenetelmä?

Laura Klein: Kvalitatiivinen tutkimus on vaikeaa. Sen ajatellaan usein vievän paljon aikaa, ja joskus se todella viekin. Joissakin organisaatioissa se on paljon vaikeampaa kuin toisissa. Jos työskentelet suuryrityksessä, jossa voit puhua vain rajalliselle määrälle ihmisiä, ihmisten rekrytointi on vaikeaa tai tutkimustoimintojen prosessia ei ole rakennettu kunnolla, se on paljon työtä.

Se voi kuitenkin olla melko helppoa, jos asiat on jo järjestetty niin, että oikeanlaisen tutkimuksen voi käynnistää oikeaan aikaan. Joillakin ei vain ole tarvittavaa osaamista, eivätkä he tunne oloaan mukavaksi puhuessaan ihmisille.

Ideointi taas on helppoa ja hauskaa. Sen voi tehdä huoneessa istuen. Se on hyvin inhimillistä. En pysty kertomaan, kuinka monta kertaa olen keskustellut ihmisten kanssa mistä tahansa asiasta – ei vain tuotteista – esimerkiksi siitä, mitä syötäisiin päivälliseksi. “En tiedä.” Sitten alamme puhua erilaisista ruoista. Kukaan ei istu miettimässä tarkkaa prosessia päätöksen tekemiseksi.

Luulen, että ihmisaivot on tehty ideoiden keksimiseen. Ideat ovat hauskoja ja helppoja, mutta eivät aina loistavia tai oikeita. Lisäksi monilla tuotetyöntekijöillä on vahvoja mielipiteitä siitä, mikä heidän tuotteessaan on vialla. Tiedämme kaikki, etteivät tekemämme asiat ole täydellisiä.

On helppo ajatella: “Tiesin tämän olevan ongelma, koska niin ja näin”, ja alkaa ratkaista ongelmaa, jonka tiedät olevan olemassa, vaikka se ei ehkä liity teknisesti siihen ongelmaan, jonka kanssa parhaillaan kamppailet.

Näen tätä paljon. Ihmiset sanovat: “Haluan lisätä tekoälyä.” Silloin kaikkien ongelmien ajatellaan johtuvan siitä, ettei tekoälyä ole tarpeeksi. Voin sanoa heti, ettei ongelmasi ole tekoälyn puute.

Hannah Clark: Sanotaan se kovempaa takariville. Tästä voisi tehdä kokonaan toisen jakson.

Laura Klein: On ongelmia, jotka voisi ratkaista tekoälyllä, ja jotkin niistä ehkä jopa paremmin tekoälyn avulla. Mutta ongelma ei ole se, ettei tuotteessa ole tarpeeksi ominaisuuksia. Ongelma on, ettei tuote ratkaise käyttäjän ongelmia tavalla, joka on hänelle hyödyllinen ja arvokas.

Hannah Clark: Tarvitsen tuosta tatuoinnin.

Laura Klein: Ehkä kirjotat sen tyynyyn.

Hannah Clark: Aivan.

Laura Klein: Se on hieman pitkä.

Hannah Clark: Olen täysin samaa mieltä. Se ei oikein toimi kehossa.

Puhutaan seuraavaksi tilanteista, joissa on sopivaa käyttää toista tutkimustapaa toisen sijaan – siis kvalitatiivista tai kvantitatiivista tutkimusta. Annoit hyvän tiiviin esimerkin siitä, kuinka toinen täydentää toista. On selvää, että joissakin tilanteissa toinen on arvokkaampi kuin toinen. Puhutaan hieman poikkeustapauksista.

Laura Klein: On muistettava, että joskus toinen tutkimustapa ei ole lainkaan käytettävissä. Silloin tehdään parhaansa sillä, mitä on saatavilla.

Kuten sanoin, joskus oikeilta ihmisiltä on hyvin vaikea saada kvalitatiivista dataa tietyissä ympäristöissä, usein suuryrityksissä. Suuryritykset ovat kiinnostavia, koska niissä on useita käyttäjätyyppejä. Ostaja ja asiakas ovat usein täysin erilaisia, ja heillä on täysin erilaiset tarpeet ja toiveet.

Toisen ryhmän mielipiteitä voi olla paljon helpompi saada kuin toisen. Ylläpitäjistä en edes aloita. Olen kyllä tehnyt paljon tutkimusta heidän kanssaan, ja se on erittäin hyödyllistä, mutta heitä on vaikea tavoittaa. Joskus tiedon saaminen on siis vaikeaa, mutta silti täysin vaivan arvoista.

Suosittelen tällöin rakentamaan prosessin, joka auttaa löytämään nämä ihmiset. Kvantitatiivisesta datasta puhuttaessa suuryritys on jälleen hyvä esimerkki. Dataa ei joskus vain ole riittävästi. Erityisesti A/B-testauksessa tarvitset tarpeeksi ihmisiä, jotta voit nähdä eron.

Jos olet varhaisessa vaiheessa kuluttajille suunnatussa markkinassa, jos segmenttejä on liian monta tai jos työskentelet suuryrityksessä, jossa käyttäjiä ei ole paljon, et yksinkertaisesti tule saamaan riittävästi dataa. Se ei ole sinulle vaihtoehto. Silloin sinun on tehtävä kvalitatiivista tutkimusta ja tehtävä paras mahdollinen arvio.

Hannah Clark: Olen utelias: kuinka määrittelemme tarvitsemamme otoskoon ennen kuin etenemme tavoitteidemme määrittämiseen?

Laura Klein: Datan osalta sinun on keskusteltava oikean data-analyytikon kanssa. En vitsaillut: matematiikka on vaikeaa, ja tämä matematiikan laji on erittäin vaikeaa. Olen nähnyt ihmisten tekevän siinä paljon virheitä. On kaikenlaisia outoja ongelmia, joita ei odota, kuten kurkistusongelma eli datan tarkasteleminen ennen testin päättymistä.

Siitä on paljon tietoa saatavilla, mutta en ole oikea henkilö selittämään matematiikkaa. Asia riippuu monesta tekijästä, kuten siitä, kuinka monta henkilöä tarvitset A/B-testin jokaiseen haaraan.

Lisäksi muuttujia on paljon. Jos aineistossasi on valtavia poikkeamia – esimerkiksi pieni joukko ihmisiä käyttää kymmeniätuhansia euroja, kun useimmat käyttävät yhden euron – se vääristää A/B-testin tuloksia helposti.

Datan saamiseksi oikein on tarkasteltava monia muuttujia. Siksi sanon, että useimmat ihmiset eivät osaa tätä: se on vaikeaa ja tarvitset asiantuntijoita. Suosittelen asiantuntijoita myös kvalitatiiviseen tutkimukseen, mutta eri syystä.

Kvalitatiivisessa tutkimuksessa otoskoon kohdalla ei etsitä tilastollista merkitsevyyttä. Se ei yksinkertaisesti ole asia, jonka saat. Jos joku sanoo tehneensä tilastollisesti merkitsevää kvalitatiivista tutkimusta, vastaan: “Et tehnyt.” Etsit sen sijaan toistuvia ja ennustettavia malleja.

On olemassa vanha tutkimus, joka on ollut käytössä ehkä 1990-luvulta lähtien ja jonka mukaan suurin osa ongelmista havaitaan viiden ihmisen avulla. Se koskee kuitenkin erityisesti käytettävyystestausta, jossa etsitään tietyn käyttöliittymän esteitä.

Se perustuu oletukseen, että kaikki käyttävät tuotetta samalla tavalla. Se voi pitää paikkansa esimerkiksi yhdessä maassa toimivassa kassavirrassa, jossa on vain muutama käyttäjätyyppi. Silloin useimmat käytettävyysongelmat voidaan ehkä löytää neljän tai viiden ihmisen avulla.

Aiemmin mainitsemani virheen löysin yhdeltä ihmiseltä. Jos se tapahtuu hänelle, se tapahtuu todennäköisesti monille muillekin. Korjataan se. Ja se piti paikkansa. Tietyt asiat voi siis löytää hyvin helposti ja nopeasti.

Usein ihmisiä täytyy kuitenkin haastatella niin kauan, että pystyt ennustamaan näkemäsi mallit. Teen datasta jatkuvaa synteesiä. Kun olemme puhuneet jonkun kanssa, palaamme asiaan ja kokoamme havainnot: mitä opimme, mitä henkilö teki, mitä hän tarvitsi, mitkä olivat hänen ongelmansa ja tavoitteensa.

Rakennamme kokonaisuutta jatkuvasti, kunnes voin sanoa: “Tämäntyyppinen ihminen käyttää palvelua. Hän kuuluu luultavasti tähän ryhmään.” Käytitpä sitten persoonia, organisaatiopersoonia tai jotain muuta, voit ennustaa, kuinka tämän tyyppinen henkilö toimii ja millaisia ongelmia hänellä on.

Jos ennuste osuu oikeaan, alat nähdä malleja. Kvalitatiivisen tutkimuksen pitäisi olla jatkuvaa. Ihmisten kanssa pitäisi puhua jatkuvasti, joten otoskoosta ei tarvitse huolehtia liikaa.

Jos muutama ihminen kamppailee jonkin asian kanssa, he eivät todennäköisesti ole maailman ainoat, joilla on tämä ongelma. Et todennäköisesti sattumalta saanut käyttöösi maailman tyhmimpiä käyttäjiä. Jos sait, seulontaprosessiasi kannattaa ehkä tarkastella.

Kun tuot ihmisiä keskustelemaan asioista, näet yleensä nopeasti samoja asioita toistuvasti. Jos näin ei käy ja näet täysin erilaisia asioita, et ehkä ole segmentoinut tutkimushenkilöitä oikein.

Kaikki eivät käytä tuotteita samaan tarkoitukseen tai samalla tavalla. Tehokäyttäjät ja uudet käyttäjät tuovat esiin erilaisia ongelmia. Tukkukauppiaat ja perheille ostavat ihmiset toimivat eri tavoin ja tarvitsevat eri asioita. Jos tarpeet poikkeavat toisistaan rajusti, on selvitettävä, miksi. Ovatko nämä ihmiset oikeasti eri ryhmiä?

Hannah Clark: Olen iloinen, että mainitsit segmentoinnin. Se jää usein huomiotta, kun rakennamme aineistoa, jonka perusteella voidaan tehdä päätöksiä.

Mitä neuvoja antaisit tutkimusprosessiin, jossa tiedämme jo etukäteen, että segmentointi tulee olemaan merkittävä tekijä? Kuinka lähestymme sitä ennakoivasti?

Laura Klein: Segmentointi on lähes aina tärkeää. Mutta jälleen kerran: se riippuu. UX-suunnittelijana minun on sanottava niin. En lopeta tähän, vaan kerron, mistä se riippuu.

Monista tekijöistä. Otetaan esimerkiksi eräs tekoälyominaisuus, jonka näin kerran toteutettuna. Tuote auttoi rekrytoijia ottamaan yhteyttä potentiaalisiin työnhakijoihin. Kun saat yhteydenoton jollakin alustalla, siinä sanotaan yleensä: “Näimme ansioluettelosi ja ajattelimme, että voisit olla kiinnostunut tästä.”

Monet ihmiset ovat todella huonoja kirjoittamaan näitä sähköposteja, jopa ammatikseen sitä tekevät. Viestit ovat vaikeita kirjoittaa, ja erityisesti ihmiset, jotka eivät tee sitä jatkuvasti, kamppailevat niiden kanssa.

Yritys päätti käyttää tekoälyä auttamaan parempien yhteydenottoviestien kirjoittamisessa. Tekoäly tiivisti työpaikkailmoituksen olennaiset asiat, teki viestistä selkeämmän ja vähemmän roskapostimaisen. Käyttäjä pystyi valitsemaan, halusiko viestistä rennomman tai muodollisemman.

Kokonaisuutena ominaisuus oli hyödyllinen. Vastauksia saatiin enemmän. Ongelma oli pieni ryhmä käyttäjiä, jotka olivat todellisia asiantuntijoita. He kirjoittivat näitä viestejä koko päivän, testasivat niitä itse, noudattivat yrityksen standardeja ja työskentelivät data-analyytikkojen kanssa selvittääkseen, mitkä viestit toimivat parhaiten.

Tekoäly ei auttanut heitä. Se olisi jopa voinut häiritä heidän työnkulkuaan. He eivät halunneet järjestelmän kirjoittavan uudelleen mallipohjaa, joka täytti yrityksen standardit, sisälsi kaikki vaaditut juridiset tiedot ja jonka he olivat jo A/B-testanneet.

Nämä olivat kuitenkin tuotteen aktiivisimpia käyttäjiä ja todennäköisimpiä maksajia. Tilanne oli siis sellainen, että suuri joukko ihmisiä maksoi vähän ja pieni joukko paljon. Kuinka tähän pitäisi suhtautua? Ilmeinen vastaus on antaa ihmisille mahdollisuus käyttää ominaisuutta, mutta olla pakottamatta sitä.

Jos katsot vain yleistä dataa ja sanot, että kaikki ihmiset pärjäsivät paremmin tekoälyn avulla, olet väärässä. Enemmistö pärjäsi paremmin, mutta pieni, eniten maksava ryhmä pärjäsi huonommin. Siksi ominaisuutta ei pidä pakottaa kaikille.

On muistettava, että ihmisryhmät voivat olla hyvin erilaisia ja jotkin ryhmät ovat yrityksellesi käyttäytymisensä ja liiketoiminta-arvonsa vuoksi tärkeämpiä kuin toiset.

Hannah Clark: Tämä on erinomainen esimerkki siitä, ettei segmentointi koske vain segmentoitavia ihmisiä, vaan myös heidän rooliaan liiketoiminta-arvossa ja tuotteen strategiassa. Toivon, että kaikki otamme tämän huomioon tekoälyominaisuuksia yhdistäessämme.

Laura Klein: Tämä koskee kaikkia ominaisuuksia, mutta erityisesti tekoälyä.

Hannah Clark: Minulla on tästä paljon sanottavaa, mutta poikkean aiheesta. Koska aikamme alkaa olla lopussa, halusin puhua siitä, kuinka tutkimusprosessin parissa voi pitää hauskaa. Tutkimus mielletään helposti kuivaksi ja aikaa vieväksi, mutta siihen liittyy valtavasti oivalluksia, arvoa ja myös hauskuutta. Mikä on ollut hauskin kokemuksesi tutkimusprojektissa?

Laura Klein: Joskus tutkimus muuttuu askarteluksi, mikä on minun kaltaiselleni ihmiselle miellyttävää. Kaikki eivät kuitenkaan pidä Excel-taulukoista, pivot-taulukoista ja datasta yhtä paljon kuin minä, joten en yritä vakuuttaa heitä niiden hauskuudesta.

Kvalitatiivinen puoli voi oikeasti olla hyvin luova. Jos olet luova ihminen, luovien ja kiinnostavien tapojen löytäminen ongelmiin vastaamiseksi on hienoa.

Olen tehnyt esimerkiksi palvelumuotoiluharjoituksia lentokenttien ja sairaaloiden parissa. Joskus rakennetaan vale-sairaala, koska oikeassa sairaalassa ei haluta häiritä ihmisiä. Sitten tutkitaan ihmisten kulkua: mahtuvatko kärryt kulkemaan, miten teknologia liittyy ympäristöön ja pitäisikö jotakin kantaa mukana.

Olen seurannut ihmisiä heidän työssään. Se kuulostaa aina hieman karmivalta, mutta pidän siitä. On hauskaa seurata ihmisiä, kun he myyvät asioita tai tekevät työtään, ja ymmärtää, kuinka he elävät. Heille ei vain esitetä kysymyksiä eikä heitä testata, vaan opitaan tuntemaan heidän arkeaan.

Ehkä minusta olisi pitänyt tulla antropologi. Ihmisten toimintatapojen ymmärtämisessä on jotain todella miellyttävää. Yhteissuunnitteluun voi järjestää hauskoja tehtäviä, joihin voi kuulua esimerkiksi Lego-palikoita. Ihmiset voivat luonnostella, piirtää karttoja ja työskennellä yhdessä.

Tällainen kvalitatiivinen tutkimus monine menetelmineen ei ole vain hauskaa. Se auttaa ymmärtämään ihmisten mentaalisia malleja ja sitä, kuinka he ajattelevat tekemäänsä asiaa. Se on pieni kurkistus ihmisten mieleen.

On myös vähemmän hauskoja puolia. Käytettävyystestaus voi olla tuskallista, jos rakentamasi ja innolla odottamasi asia ei toimi hyvin. Eräs insinööri kutsui käytettävyystestejä panttivankivideoiksi, koska ihmisten kamppailua ja pelkoa oli niin tuskallista katsoa.

Hannah Clark: Se on kuitenkin tarpeellista kipua.

Laura Klein: Tiedätkö, mikä siinä on hauskaa? Ongelman korjaaminen ja seuraavan ihmisryhmän näkeminen etenemässä siitä helposti läpi. Jos et käy vaikeaa vaihetta läpi, ongelman kanssa kamppailevat ihmiset ovat silti olemassa, vaikka sinun ei tarvitse katsoa heitä. He eivät kuitenkaan osta tuotettasi.

Hauskaa on siis ongelman näkeminen, sen ymmärtäminen, oivalluksen saaminen ja sen huomaaminen, että nyt voin keksiä todella hyvän tavan korjata asian. Mutta kuten sanoin, pidän myös pivot-taulukoista, joten jokainen pitäköön omansa.

Hannah Clark: Minusta on kiinnostavaa puhua ihmisille ja olla kärpäsenä katossa. Se on yksi syy, miksi rakastan tätä podcastia. Tämä keskustelu on ollut minulle todella hauska. Olen nauttinut siitä suuresti, ja varmasti muutkin ovat nauttineet kuuntelemisesta. Missä he voivat seurata sinua verkossa?

Laura Klein: Tällä hetkellä LinkedIn on ainoa paikka, jossa voi seurata julkisesti sitä, mitä teen. Olen myös Blue Skyssa, mutta en puhu siellä juuri työstä. Toivottavasti julkaisen myöhemmin tänä vuonna Mavenissa kurssin kvalitatiivisesta ja kvantitatiivisesta datasta sekä niiden yhdistämisestä.

Jos haluat oppia minulta suoraan, kurssi on paljon tätä keskustelua pidempi ja sisältää enemmän yksityiskohtia, harjoituksia ja mallipohjia. Olen kirjoittanut pari kirjaa, jotka ovat olleet saatavilla jo jonkin aikaa, joten niitäkin voi lukea. Teen joskus podcastia nimeltä What is Wrong with Hiring?, joka käsittelee rekrytointia suunnittelun, tutkimuksen ja tuotetyön alueilla.

Hannah Clark: Jos olet siellä samanlainen kuin tässä keskustelussa, en malta odottaa, että pääsen tutustumaan siihen.

Laura Klein: Kiroilen paljon enemmän. Anteeksi.

Hannah Clark: Ilmoittautukaa minut mukaan. Olen tilaaja.

Kiitos paljon ajastasi, Laura. Tämä on ollut erittäin hauskaa ja informatiivista. Odotan innolla, millaista palautetta ihmisillä on tästä jaksosta.

Laura Klein: Kiitos paljon. Oli hienoa olla mukana.

Hannah Clark: Kiitos kuuntelusta. Saat lisää oivalluksia, käytännön oppaita ja työkaluarvosteluja tilaamalla uutiskirjeemme osoitteessa theproductmanager.com/subscribe. Voit kuunnella lisää tämän kaltaisia keskusteluja tilaamalla The CPO Clubin sieltä, missä yleensä kuuntelet podcasteja.