Tuotealan ammattilaisina haluamme kaikki ajatella, että nousemme joka aamu etsimään totuutta voidaksemme palvella käyttäjiämme parhaalla mahdollisella tavalla ja saavuttaa keskeiset suorituskykymittarimme. Käytämme usein tutkimusmenetelmiä apuna asioiden perinpohjaisessa selvittämisessä ja tuoteratkaisujen ohjaamisessa. Tässä piilee kuitenkin ongelma: vaikka yrittäisimme kuinka kovasti, tutkimusharha voi vaikuttaa tulostemme pätevyyteen.
Kyse on yhtä vanhasta tarinasta kuin aikakin, ja olitpa akateeminen tutkija tai tuotepäällikkö, on ratkaisevan tärkeää ymmärtää niiden vinoumien yksityiskohdat, jotka voivat johtaa sinut harhaan. Tarkastellaanpa, millaisia vinoumia on olemassa ja miten niiden vaikutusta työhösi voi lieventää.
Mitä tutkimusharha on?
Tutkimusharha tarkoittaa yksinkertaisesti mitä tahansa tutkimusprosessin aikana tapahtuvaa toimintaa tai ajattelutapaa, joka vaikuttaa kykyysi saada objektiivisia tuloksia. On tärkeää huomata, että tutkimusharha on erittäin yleistä: sitä voi esiintyä sekä laadullisessa että määrällisessä tutkimuksessa (kyllä, juuri niin – jopa luvut voivat vääristyä niiden ympärille rakentamiemme tarinoiden vuoksi).
Vinoumia voi hiipiä mukaan missä tahansa tutkimusprosessin vaiheessa:
- Tutkimuskysymysten määrittely
- Aineiston keruu
- Tutkimukseen osallistujien valinta
- Aineiston analysointi
- Tulosten yhteen kokoaminen ja viestiminen
Vinoumat ovat yleensä tahattomia – emme tiedosta, että ajattelutapamme tai tapamme toteuttaa tutkimusta vaikuttaa tulostemme pätevyyteen. Ensimmäinen askel tutkimusharhan ehkäisemisessä on myöntää itsellemme, että parhaista aikomuksistamme huolimatta jokainen tutkimusta tekevä ihminen koko maailmassa on altis vinoumille. Hyvät aikomukset ovat hienoja, mutta ne eivät yksin riitä suojaamaan tutkimustulostemme pätevyyttä.
Jatka lukemista ymmärtääksesi paremmin työhömme vaikuttavia vinoumia ja oppiaksesi rajoittamaan niiden vaikutuksia.
Tutkimusharhan tyypit, jotka voivat suistaa työsi raiteiltaan
Olen hieman puolueellinen (sanaleikki vain hieman tarkoituksellinen), mutta tämä on hauska ja kiinnostava osuus. Seuraavaksi tarkastelemme kaikkia niitä tapoja, joilla voimme tahattomasti tuottaa puolueellisia tutkimustuloksia aivojemme ja tutkimukseen osallistuvien henkilöiden aivojen omalaatuisen toiminnan vuoksi. (Älä huoli: jos jatkat lukemista, opit myös välttämään niitä.)
Muistiharha
Onko outoa, että minulla on suosikkivinouma? Oli tai ei, tämä on minun suosikkini. Pidän siitä eniten, koska se viittaa mielen arvoituksiin: se, mitä muistamme tapahtumasta tai tapahtumasarjasta, ei ole aina täydellistä tai tarkkaa.
Muistiharha viittaa taipumukseemme muistaa menneitä tapahtumia alitajuisesti tietyllä tavalla epätarkasti, esimerkiksi jättämällä yksityiskohtia pois. Näin tapahtuu todennäköisemmin silloin, kun käsittelet epämiellyttäviä tapahtumia tai asioita, jotka tapahtuivat kauan sitten – mutta todellisuudessa näin voi tapahtua milloin tahansa.
Esimerkki muistiharhasta
Jos esimerkiksi teet käyttäjähaastattelua jonkun liikuntatottumuksista ja kysyt sovelluksesta, jota hän ei ole käyttänyt vuoteen, hänen kykynsä muistaa tarkasti, mitä hän sovelluksessa teki ja miten kaikki tapahtui, on rajallinen. Tai jos tiedustelet jonkun kokemuksia lääkärin vastaanotolla käynnistä loukkaantumisen jälkeen, hänen mielensä on saattanut tehdä hänelle palveluksen häivyttämällä joitakin vähemmän miellyttäviä yksityiskohtia, jotta psyykkinen kuormitus vältettäisiin.
Esimerkkejä on lukemattomia, mutta ydin on siinä, että aivomme kertovat tarinoita. Lukuisista syistä, liittyivätpä ne ajan kulumiseen tai siihen, miten haluamme hahmottaa tietyt tapahtumat verrattuna siihen, miten ne todellisuudessa tapahtuivat, se, mitä muistamme, ei aina ole täsmälleen sitä, mitä tapahtui – ja tämä voi vaikuttaa tutkimustuloksiimme, kun tutkimukseen osallistuvat henkilöt kärsivät tietämättään muistiharhasta.
Valikoitumisharha
Jos ajattelet, että vinoumia esiintyy vain tutkimukseen osallistuvien henkilöiden puolella, tämä vinouma koskee sinua, tutkimuksen tekijää. Tiedät todennäköisesti jo, että tapa, jolla määrittelet tutkimukseesi osallistumaan kelpaavat ihmiset, vaikuttaa suuresti tuloksiisi. Jos tutkit nukkumiskäyttäytymistä ja haastattelet tai kyselytät vain vastasyntyneiden vauvojen vanhempia, tuloksesi eivät välttämättä sovellu koko väestöön (haukotus).
Valikoitumisharhassa tietyt ennakkokäsitykset tai kiinnittyminen hypoteeseihin johtavat siihen, että määrittelemme tutkimusotoksen tavalla, joka suosii odottamiamme tai haluamiamme tuloksia.
Have an account? Log In
Esimerkki valikoitumisharhasta
Oletetaan, että yritykselläsi on markkinoinnin automaatiotyökalu ja yrität ymmärtää, miksi kilpailijasi jättävät sinut liikevaihdossa kauas taakse. Tuotepäällikkönä sinulla saattaa olla hypoteesi, että nimenomaan sähköpostiautomaatio-ominaisuudet vauhdittavat kilpailijoidesi kasvua.
Tämä saattaa johtaa siihen, että keskityt rekrytoimaan tutkimukseen osallistujia, joiden työtehtävissä sähköposti on keskeisessä asemassa – jolloin saatat jäädä paitsi muiden markkinoinnin automaation osa-alueiden hyödyistä ja kipupisteistä yksinkertaisesti siksi, ettet rekrytoinut riittävästi osallistujia, jotka toimivat tuotteen muilla osa-alueilla.
Vahvistusharha
Jos olet joskus ollut mukana projektissa, jossa tutkimustyötä johtava henkilö vaikutti olevan kiinnostunut vain käyttäjäpalautteesta, joka vahvisti hänen omat oletuksensa, olet nähnyt vahvistusharhan toiminnassa. Kun tarkastelemme millaista tahansa dataa, laadullista tai määrällistä, inhimillinen taipumuksemme on suosia tai liioitella niiden tietojen merkitystä, jotka vahvistavat hypoteesejamme tai uskomuksiamme. Tätä kutsutaan vahvistusharhaksi, ja se on yleistä. Olen itse asiassa alkanut uskoa, että tapa, jolla tuotetiimit työskentelevät, tekee vahvistusharhasta erittäin todennäköisen, ellemme ryhdy määrätietoisesti torjumaan sitä.
Tuotetyössä meitä pyydetään usein tekemään valtavia päätöksiä ja ottamaan suuria riskejä – nopeasti. On harvinaista tavata suunnittelijaa tai tuotepäällikköä, jolla ei olisi vahvaa mielipidettä siitä, mitkä ominaisuuksien iteraatiot tai tuotteen suunnanmuutokset vievät tiimiä lähemmäs sen yleisiä tavoitteita. Tästä syystä käyttäjätutkimuksesta tulee joskus vain suoritettava tehtävä, ja tulokset esitetään kertomuksena, joka on täynnä vahvistusharhaa.
Miten se on mahdollista? Todennäköisesti käyttäjätutkimukseesi sisältyy paljon erilaisia havaintoja. Kun analysoit dataasi – prosessia, jota yrityksissä yleensä valvotaan vain vähän – saatat alitajuisesti sivuuttaa tietopisteet, jotka ovat ristiriidassa uskomustesi kanssa, ja esittää kertomuksen, joka ei vastaa todellisuutta. Apua!
Esimerkki vahvistusharhasta
Kuvitellaan, että tutkija tekee käyttäjähaastatteluja tuoteominaisuudesta, joka käyttää tekoälyä sähköpostiviesteihin vastausten luomiseen. Tässä tilanteessa tutkija saattaisi esittää johdattelevia kysymyksiä, kuten ”etkö pitäisi tätä ominaisuutta hyödyllisenä?” tai ”kuinka hienoa olisikaan, jos säästäisit aikaa sähköpostien kirjoittamisessa?”. Tällöin hän loisi vahvistusharhaa, koska hän vaikuttaisi tutkimustuloksiin omilla näkemyksillään ominaisuuden arvosta.
Mittausharha
Teitpä laadullista tai määrällistä tutkimusta, on tärkeää, että tietopisteiden mittaustapa on järkevä ja yhdenmukainen kaikkialla. Kun käyttämiimme mittauksiin liittyy perustavanlaatuinen ongelma, tuotamme mahdollisesti virheellisiä tuloksia – tätä kutsutaan mittausharhaksi.
Esimerkki mittausharhasta
Oletetaan, että teet määrällistä käytettävyystutkimusta ominaisuudesta, jonka on tarkoitus vähentää keskeyttämistä tietyssä kohdassa tuotteesi keskeistä työnkulkua. Mittaat sadoissa testeissä sitä, pystyykö käyttäjä suorittamaan työnkulun onnistuneesti uudessa iteraatiossa, ja etsit parannusta ominaisuuden vanhaan versioon verrattuna. Tiimisi on käytettävä jonkin verran aikaa sen pohtimiseen, mitä työnkulun onnistunut suorittaminen tarkalleen ottaen tarkoittaa: tarkoittaako se vain iteraation ohittamista? Vai tarkoittaako se kaiken tekemistä? Sisältyykö siihen tyydyttävän tuloksen saavuttaminen?
Kuten näet, mittarin määrittely itsessään voi vaikuttaa tuloksiisi merkittävästi!
Haastattelijan harha
Kun käyttäjähaastatteluja tehdään laadullista tutkimusta varten, haastattelijan esittämät kysymykset ja tapa, jolla hän ne esittää, voivat luoda otollisen maaperän mahdolliselle harhalle.
Esimerkkejä haastattelijan harhasta
Tässä on esimerkkejä siitä, miten haastattelijan harha voi hiipiä mihin tahansa tutkimukseen:
- Haastattelija esittää kysymyksiä, jotka perustuvat hänen oletuksiinsa kustakin osallistujasta, sen sijaan että hän käyttäisi kaikille tutkimukseen osallistuville samaa kysymyssarjaa.
- Haastattelija esittää johdattelevia kysymyksiä, jotka ohjaavat osallistujaa vastaamaan tietyllä tavalla ja vahvistamaan tutkijan hypoteeseja.
- Haastattelija vihjaa mielipiteeseen tai arvostelmaan kysymyksen muotoilulla, mikä kannustaa osallistujaa vastaamaan suotuisalla tavalla (tätä kutsutaan osallistujan osalta myös sosiaalisen suotavuuden harhaksi).
Julkaisuharha
Mitä sinä tuotetyön ammattilaisena teet, kun tutkimustuloksesi eivät vastaa toivomiasi havaintoja? Usko tai älä, monet tutkijat ja tuotetyön ammattilaiset järkeilevät tilanteen usein parhain päin ja päättävät olla jakamatta tutkimustuloksiaan tiimeilleen, kun näin käy. Tätä kutsutaan julkaisuharhaksi.
Esimerkki julkaisuharhasta
Miltä tämä näyttää? Se voi näyttää esimerkiksi tältä, kun sinä tai joku tiimisi jäsenistä sanoo: ”No, testasimme sitä vain 15 käyttäjällä – en usko, että se tarkoittaa mitään. Jätetään tämä nyt sikseen.”
Vaarana on, että pidätät tiimiltäsi arvokasta tietoa, kun se on ristiriidassa toiveidesi ja uskomustesi kanssa. Kun teet niin, tietojen pois jättäminen voi lähettää tiimisi kiitämään väärään suuntaan.
Otantaharha
Keitä tarkalleen ottaen rekrytoit tutkimukseesi? Usko tai älä, tämä on usein yksi suurimmista tekijöistä sen kannalta, saatko vankkoja ja luotettavia tuloksia. Otantaharhalla tarkoitetaan tilannetta, jossa keräät dataa otoksesta, joka ei ole riittävän monipuolinen tai edustava, jolloin tuloksiin voi liittyä harhaa ja ne voivat johtaa sinut harhaan.
Esimerkki otantaharhasta
Tässä esimerkissä teet ruoanlaittotottumuksia koskevaa kyselyä ideoidaksesi uusia ominaisuuksia reseptisovellukseesi. Jos kyselysi vastaajat ovat peräisin korkeakoulukampukselta keräämästäsi joukosta, tarkastelet käytännössä kokopäiväisesti opiskelevien nuorten ruoanlaittotottumuksia. Entä perheet? Eläkeläiset?
Yksi tutkimuksen suunnitteluprosessin tärkeimmistä asioista on varmistaa, että tarkastelet edustavaa otosta.
Analyysiharha
Kun olet toteuttanut tiedonkeruumenetelmäsi, siirryt analyysivaiheeseen. Tässä vaiheessa teet kaikenlaisia päätöksiä: mikä tieto on tärkeää? Mikä on tärkeintä? Mitä tämä kaikki tarkoittaa laadullisesti? Tilastollisesti? Usein teemme nämä päätökset tavalla, joka suosii alkuperäisiä hypoteesejamme tai toivottuja lopputuloksia.
Esimerkki analyysiharhasta
Esimerkki analyysiharhasta olisi se, jos huomaisit sanovasi esimerkiksi: ”Tuo ei ole tärkeää. Se tuli esiin vain muutaman kerran. Nämä ovat vain poikkeamia.” Vaikka tämä voisi tutkimuksesta riippuen pitää paikkansa, kyseessä voi myös olla analyysiharha, joka hiipii mukaan ja saa sinut jättämään huomiotta tärkeän vivahteen tutkimustuloksissasi.
Nämä ovat vain muutamia esimerkkejä tutkimusharhoista—on todella lukemattomia tapoja, joilla harha ilmenee tutkimusprojekteissa. Seuraava kysymys kuuluukin: mitä voimme tehdä asialle?
Harhojen välttäminen tutkimuksen suunnittelussa
Tässä vaiheessa saatat jo hieman hikoilla ja miettiä, onko tutkimus ehkä turhaa, koska meillä ihmisillä on taipumus sortua harhauttaviin käytäntöihin. Onneksi näin ei ole. Nyt kun tiedostat jokaisen hyväntahtoisenkin tilanteen taustalla piilevät mahdolliset harhat, voit ryhtyä toimiin vähentääksesi käyttäjätutkimuksesi harhoja ja ohjataksesi tuotetiimiäsi oikeaan suuntaan. Tarkastellaanpa joitakin tapoja tehdä juuri näin.
Suunnittele tutkimuksesi huolellisesti
Tämä on käyttäjätutkimuksen vastine sille, että aloitetaan oikealla jalalla. Kun suunnittelet tutkimustasi, teet useita päätöksiä, jotka oikein tehtyinä voivat vähentää mahdollisen harhan todennäköisyyttä.
Tässä muutamia vinkkejä:
- Määrittele käyttäjäryhmäsi mahdollisimman laajasti, mutta pidä samalla kohdejoukkosi mielessä
- Valitse tutkimusmenetelmäsi viisaasti: varmista, että menetelmä vastaa sitä, mitä yrität selvittää
- Jos teet käyttäjähaastatteluja, kirjoita haastatteluopas ennen haastattelujen aloittamista ja pyri varmistamaan, että esität kaikille samat kysymykset
Bonusvinkki
Pyydä työtoveria tarkistamaan tutkimussuunnitelmasi ennen varsinaisen tiedonkeruun aloittamista. Näin voit varmistaa, ettet jätä huomaamatta mitään sellaista, mikä voisi aiheuttaa harhaa.
More Articles
Vältä eturistiriitoja käyttäjätutkimuksen kaikissa vaiheissa
Se tuotepäällikkö, joka on koko vuoden ajan painottanut tietyn suunnanmuutoksen tarpeellisuutta? Ihannetapauksessa hänen ei pitäisi johtaa tutkimusta. Vaikka objektiivisuus on tässäkin tapauksessa mahdollista, tällaiset eturistiriidat vaikeuttavat usein huomattavasti tiedon keräämistä ja tutkimustulosten puolueetonta analysointia.
Vaihtoehtona voisi olla, että joku muu—ehkä suunnittelija tai tiimin käyttäjätutkija—suunnittelee ja johtaa tutkimusta, mutta konsultoi samalla edellä mainittua tuotepäällikköä. Kaiken kaikkiaan näyttöön perustuva sääntö on, että mitä vähemmän joku on kiintynyt toivottuun lopputulokseen, sitä todennäköisemmin hän tuottaa luotettavia tutkimustuloksia.
Tunnusta, että tutkimusharha koskee kaikkia tutkimusta tekeviä ihmisiä
Tarkoitan tämän mahdollisimman kunnioittavasti: vaikka oletkin todennäköisesti monella tavalla erityinen, tutkimukseen harhan tuomisen mahdollisuuden kannalta—et ole sitä.
Kaikki tarkastelemamme harhat ovat näyttöön perustuvia taipumuksia, joita kaikilla ihmisillä on. Kun omaksut ajattelutavan, jonka mukaan jopa sinä voisit teoriassa kärsiä monenlaisista harhoista, olet jo pitkällä niiden ehkäisemisessä!
Tee aina tutkimuksen jälkiarviointi
Elämässä on sallittua tehdä virheitä, ja sama pätee käyttäjätutkimukseen. Aina tutkimuksen jälkeen istu tiimisi kanssa ja käykää menetelmänne läpi alusta loppuun—mitä olisit voinut tehdä toisin? Onko mahdollista, että mukaan hiipi huomaamattomia harhoja?
Yleensä et huomaa tutkimuksesi olevan täysin epäluotettava, mutta saatat tuoda esiin pieniä muutoksia, joita voisit tehdä seuraavassa tutkimuksessasi parantaaksesi käyttäjätutkimuksesi luotettavuutta jatkossa.
Tutkimusharha on todellinen ilmiö, mutta sitä voidaan hallita.
Kun tiedät nyt, mitkä asiat voivat hankaloittaa luotettavan käyttäjätutkimuksen tekemistä, olet valmis lähtemään liikkeelle ja tekemään hyvää työtä. Vaikka tämä saattaa kuulostaa hieman naurettavalta, kerron sinulle lopuksi yhden salaisuuden: työpöydälläni on pieni muistilappu, jossa lukee yksinkertaisesti ”harha!”. Huomaan, että se pitää kaiken käsittelemämme jatkuvasti mielessä.
Vaikka hälyttävä muistilappu ei olisikaan valitsemasi menetelmä, etsi jokin tapa pitää harhojen poistaminen jatkuvasti mielessä käyttäjätutkimusta tehdessäsi. Näin olet hyvää vauhtia tuottamassa oivalluksia, jotka auttavat tiimiäsi saavuttamaan tavoitteensa.
Älä unohda tilata uutiskirjettämme saadaksesi lisää tuotehallinnan resursseja ja oppaita sekä alan johtajien ja asiantuntijoiden uusimmat podcastit, haastattelut ja muut näkemykset.
