Milloin viimeksi asiakkaat pyysivät sinua rakentamaan ominaisuuden haastattelun aikana, mutta kukaan heistä ei lopulta käyttänyt sitä? Olen varma, että jokainen tuotepäällikkö on osallistunut ainakin yhteen käyttäjähaastattelukierrokseen, joka on päättynyt valtavaan epäonnistumiseen.
Luonteva seuraava kysymys on: mikä haastattelussa meni pieleen? Todennäköisesti törmäsimme yhteen monista tutkimusharhoista, jotka johtivat meidät tekemään vääriä tuoteratkaisuja.
Tuotteen johtaminen harhaanjohtavan datan perusteella on vaarallista. Onneksi voit välttää sen oppimalla, mitä harha tarkoittaa, miksi se on riskialtista ja ottamalla oppia näistä viidestä tutkimusharhan esimerkistä, jotka johtivat ei-toivottuihin lopputuloksiin.
Mitä harha tarkoittaa tuotetutkimuksessa ja mitä riskejä siihen liittyy?
Termillä harha viitataan virheisiin, joita tuote- ja markkinointitiimit tekevät tutkimusta suorittaessaan. Näiden virheiden seurauksena on yleensä virheellinen analyysi, joka johtaa päätöksiin, jotka eivät edusta tuotteen, markkinoiden ja käyttäjien todellista tilaa.
Tuotepäällikön päätöksenteolla on valtava vaikutus. Yksittäinen päätös voi suunnata koko tuotelinjan uudelleen uusille markkinoille tai uuden kohdepersoonan suuntaan. Lisäksi päivittäiseen toteutukseen liittyvät päätökset vaikuttavat teknologia-, markkinointi-, tekoäly- ja muiden tiimien työn tehokkuuteen.
Siksi päätösten tekeminen harhaan perustuvan datan pohjalta on erityisen vaarallista, sillä voit johtaa ihmiset väärään suuntaan ja epäonnistua tuotepäällikkönä surkeasti.
Onneksi tutkimusharhan lieventäminen ei ole niin vaikeaa kuin miltä se saattaa vaikuttaa. Vaikeinta on myöntää, että datasi on harhautunutta. Itse lieventäminen on suhteellisen helppoa.
Tutkimusharhan tyypit kvantitatiivisessa data-analyysissä
Aloitetaan yleisistä harhatyypeistä, joita kohtaat työskennellessäsi datan kanssa. Ne liittyvät yleensä virheisiin siinä, miten keräät, analysoit ja hyödynnät kvantitatiivista dataa.
Perinteisessä tieteellisessä tutkimuksessa tunnistetaan monenlaisia tutkimusharhoja, kuten:
- Julkaisuharha
- Mittausharha
- Analyysiharha
- Suunnitteluharha
- Havainnoijaharha
- Muistiharha
- Sosiaalisen suotavuuden harha
- Demografinen ja kulttuurinen harha
- Vastausharha ja muut.
Nämä ovat kuitenkin meille hieman liian teoreettisia käsiteltäviksi. Keskityn siis kolmeen harhatyyppiin, joita kohtaat tosielämässä tuotepäällikkönä.
#1: Otanta- ja valikointiharha
Kuten nimi kertoo, otantaharha liittyy virheellisen datan saamiseen valitsemasi otoksen vuoksi.
Jos otoksesi data painottuu tiettyyn ominaisuuteen, tekemäsi analyysi ei edusta koko väestöä. Päädyt ekstrapoloimaan virheellisesti tällaisen vinoutuneen otoksen käyttäytymistä ja soveltamaan sitä koko aineistoon.
Netflix on yksi suurista teknologiayrityksistä, joka on syyllistynyt otantaharhaan. Yhdysvaltalaiset pitivät sen suosittelualgoritmista, koska se pystyi ehdottamaan heidän kiinnostuksenkohteisiinsa liittyviä ohjelmia. Muu maailma kuitenkin vihasi sitä. Ehdotukset olivat yksinkertaisesti surkeita.
Mikä oli syy tähän? Ilmeisesti näiden ehdotusten tekemiseen koulutettu tekoälymalli hyödynsi ainoastaan yhdysvaltalaisten katsojien dataa ja ehdotti asioita, jotka olivat relevantteja amerikkalaisille.
Miten otantaharhaa voidaan lieventää?
Netflixin tapauksessa yritys alkoi yksinkertaisesti syöttää malleilleen kansainvälistä dataa ja koulutti ne uudelleen vähemmän vinoutuneen tutkimusjoukon perusteella.
Jos kuitenkin haluat järjestelmällisemmän lähestymistavan tämäntyyppisen harhan lieventämiseen, voin ehdottaa hieman epätavanomaista lähestymistapaa, joka on toiminut minulla aiemmin: tee tilastotieteilijöiden kutsuma ryhmittelyanalyysi.
Ryhmittelyanalyysi voi löytää otosjoukostasi yhteisiä piirteitä ja ryhmitellä ne näiden piirteiden perusteella.
Yllä olevassa kuvassa näet, että väestö jakautuu selvästi kolmeen eri ryhmään valittujen piirteiden perusteella.
Valitset monenlaisia piirteitä ja luot näistä kaaviot jokaiselle niistä. Datasi on vinoutunutta ja altis otantaharhalle, jos huomaat, että tiettyjen piirteiden kohdalla sinulla on vain yksi ryhmä. Netflixin esimerkissä katsojan asuinmaa -piirteellä oli vain yksi ryhmä: Yhdysvallat.
Ole kuitenkin varovainen! Joskus on luonnollista, että koko populaatiollasi on yksi ainoa klusteri jonkin piirteen osalta, jos piirre kuvaa heidän persoonaansa. Jos esimerkiksi tekisimme klusterianalyysin theproductmanager.com-sivuston lukijoista, suurin osa heistä olisi tuotepäälliköitä. Tämä on luonnollista, sillä tuotepäälliköt ovat se persoona, jolle verkkosivusto on suunnattu. Siksi tällaiset piirteet kannattaa aina poistaa analyysistäsi.
#2: Menettelytapaharha
Tämäntyyppinen harha viittaa tutkimusasetelmassa ja tutkimusprosessissa tekemiisi virheisiin. Se voi johtua väärien työkalujen tai tilastollisten kaavojen käytöstä tai jopa tiedonkeruumenetelmistäsi.
Kokemukseni mukaan menettelytapaharha on erityisen yleistä käyttäjäkyselyissä. Jos kyselyssäsi on johdattelevia kysymyksiä, vastaajasi joutuvat todennäköisesti tietynlaiseen vastaukseen ohjaavan ”painostuksesi” uhreiksi.
Tavallinen johdatteleva kyselykysymys voisi näyttää tältä:
Kuinka paljon rakastat tuotettamme?
Kun muotoilet kysymyksen tällä tavalla, johdattelet käyttäjiä antamaan myönteisemmän vastauksen, vaikka he vihaisivatkin sitä, mitä teet.
Saman kysymyksen neutraalimpi versio näyttäisi tältä:
Miten arvioisit tuotteemme?
Tässä tapauksessa ilmaisemme selkeästi, että myös kielteiset vastaukset ovat hyväksyttäviä.
Have an account? Log In
Miten menettelytapaharhaa voidaan vähentää
Paras tapa varmistaa, että tutkimuksesi on vapaa menettelytapaharhasta, on valita oikeat työkalut ja menetelmät tekemäsi analyysityypin mukaan.
Satunnaista vastausten järjestys
Jos teet kyselytutkimuksia, johdattelevien kysymysten välttämisen lisäksi sinun on satunnaistettava myös kysymysten järjestys, koska ihmiset saattavat kyllästyä kyselylomakkeen puolivälissä ja alkaa antaa merkityksettömiä vastauksia. Ilman satunnaistamista viimeisiin kysymyksiin saadaan lähes nolla hyödyllistä vastausta.
Kiinnitä huomiota tilastolliseen merkitsevyyteen
Muista lisäksi, että kyselyt ovat luonteeltaan osittain kvantitatiivisia. Älä siis luota liikaa kyseisten tietojen tilastolliseen analyysiin. Jos esimerkiksi paransit jotakin ominaisuutta ja NPS-pisteesi nousi 2 %, ero on liian pieni, jotta tulosta voitaisiin pitää tilastollisesti merkitsevänä. Kaksinkertainen kasvu olisi sitä vastoin luotettava.
Valitse oikeat työkalut
Puhutaan nyt myös väärien työkalujen valitsemisesta. Jos mittaat kassasivusi konversioastetta, lämpökarttatyökalun käyttäminen aiheuttaisi menettelytapaharhaa, koska siitä saamasi tiedot ovat epäluotettavia.
Näissä tapauksissa on parasta käyttää lämpökarttaohjelmistoa käyttäytymisongelman selvittämiseen ja testata käyttäytymisen muutos A/B-testillä. Konversioasteen mittaamiseen kannattaa puolestaan käyttää tuoteanalytiikkatyökaluja, kuten Amplitudea tai GA4:ää.
#3: Eloonjäämisharha
Vääristyneitä tutkimusmenetelmiä on käytetty jo pitkään. Toisen maailmansodan amerikkalaisista pommikoneista on olemassa mielenkiintoinen tarina. Aina kun pommikoneet palasivat tukikohtaan, insinöörit tutkivat niiden runkojen ilmatorjuntatykkien aiheuttamat reiät ja piirsivät ne tämän kaltaiseen kuvaan:
Luonteva toimintatapa oli vahvistaa paksummilla panssarilevyillä ne kohdat, joihin oli osunut eniten luoteja. Tällä vahvistamisella oli kuitenkin lähes olematon vaikutus amerikkalaisten pommikoneiden selviytymiseen.
Tutkittuaan tapausta huolellisesti insinöörit ymmärsivät, että he käsittelivät vain niitä koneita, jotka olivat selvinneet ja palanneet tukikohtaan. Näin ollen vahvistettaviksi tarkoitetut osat olivat todellisuudessa niitä, joissa koneissa ei ollut luodinreikiä.
Miten eloonjäämisharhaa voidaan vähentää
Siirrytään toisen maailmansodan lentokoneista digitaalisiin tuotteisiin. Tuotepäällikkönä kohtaat tietojenkeruuprosessia hallinnoidessasi todennäköisesti nämä kaksi mahdollista tilannetta, joissa harha pääsee mukaan:
Tietojen suodattaminen analyysiä varten
Käyttäjien käyttäytymistä analysoidessasi saatat päätyä suodattamaan pois käyttäjät, jotka ovat suorittaneet tiettyjä toimintoja, jotka eivät ole analyysisi kannalta merkityksellisiä.
Jouduin tällaiseen tilanteeseen melko äskettäin. Yritimme parantaa vaikuttajamarkkinointituotteemme aktivointiastetta. Data-analytiikkatiimi rakensi suppiloraportin, jossa yhden aktivointivaiheen konversioasteet seuraavaan olivat melko korkeita (noin 50–70 %).
Nämä tiedot hämmensivät meitä, koska näimme tuotteen kanssa vuorovaikutuksessa olevien ihmisten kokonaismäärän olevan pieni rekisteröitymisten määrään verrattuna. Analysoituamme tietoja huolellisesti ymmärsimme, että datatiimi oli käyttänyt suodatinta ja jättänyt mukaan vain tehokäyttäjiämme koskevat tiedot.
Tietenkin tehokäyttäjät olivat todennäköisesti niitä, jotka olivat läpäisseet aktivointiprosessin helposti. Siksi suppilon konversioasteet eivät oikeastaan edustaneet todellista tilannetta. Kun tarkastelimme suppiloita ja otimme kaikki rekisteröitymiset huomioon, konversioasteet laskivat merkittävästi.
Opittu läksy:
- Ota aina analyysisi konteksti ja tavoite huomioon suodattaessasi tietojasi.
Esiseulotun kyselyaineiston analysointi
Toinen mielenkiintoinen tutkimusasetelmaan liittyvä tapaus, jota jouduin hiljattain käsittelemään, koski kyselyä, jonka toteutimme ymmärtääksemme vaikuttajamarkkinoijien tarpeita ja kipukohtia. Jälleen tutkimuksen tulokset olivat meille hieman hämmentäviä, koska vastaajien tarpeet eivät vastanneet käyttäjähaastatteluistamme saamia näkemyksiä.
Ongelma liittyi kyselyyn vastanneiden käyttäjien esiseulontaprosessiin. Sen lisäksi, että kysyimme, olivatko he vaikuttajia (jotta emme saisi vastauksia epäolennaisilta henkilöiltä), kysyimme myös heidän yleisönsä/seuraajiensa määrää.
Jostain syystä olimme hylänneet vaikuttajat, joilla oli alle 50,000 seuraajaa, ja ottaneet huomioon vain suhteellisen suurempien vaikuttajien vastaukset. Tuotteemme oli tarkoitus suunnata myös pienille vaikuttajille. Kyselystä saamamme tiedot eivät siis olleet meille tarkkoja.
Opitut läksyt:
- Vertaa tutkimustuloksiasi laadulliseen aineistoon. Jos näiden kahden tuloksissa on suuri ero, olet saattanut tehdä jotain väärin.
- Ole varovainen esiseulontaprosessisi kanssa; saatat päätyä hylkäämään myös asiaankuuluvat käyttäjät.
Laadullisen tutkimuksen harhat
Nyt kun määrälliseen tutkimukseen liittyvät systemaattiset virheet on käsitelty, siirrytään toiseen tärkeään tutkimuksen kategoriaan — laadullisiin tutkimuksiin.
Tuotepäälliköille tärkein laadullisen tutkimuksen tyyppi on käyttäjien haastatteleminen. Keskityn siis kahteen merkittävään harhaan, joita yleensä kohtaat keskustellessasi asiakkaidesi ja käyttäjiesi kanssa.
Huomautus: Nämä ovat myös ne kaksi harhatyyppiä, joita voit hallita ja lieventää asianmukaisella tuoteideoiden hallintatyökalulla.
#4: Vahvistusharha
Yksi tuotepäälliköiden merkittävimmistä ominaisuuksista on uskoa vahvasti johonkin, vaikka muut eivät uskoisi. Näin luodaan innovatiivisia tuotteita ja mullistetaan toimialoja. Taipumus pitäytyä omissa mielipiteissä on kuitenkin myös merkittävä heikkous tuotepäälliköille.
Syynä on se, että tuotepäälliköt kärsivät usein vahvistusharhasta. Sillä tarkoitetaan tilannetta, jossa yrität aktiivisesti kuulla keskustelusta ne osat, jotka ovat linjassa uskomustesi kanssa, ja hylkäät loput.
Tämä on melko vaarallista ihmisille, jotka tekevät sen perusteella strategisia päätöksiä siitä, miltä tuote näyttää ja miten se viedään markkinoille. Kun vahvistusharha vaikuttaa, käyttäjähaastatteluistasi tulee täysin merkityksettömiä ja päädyt tekemään päätöksiä sokkona (ja voit unohtaa käyttäjälähtöisyyden).
Miten vahvistusharhaa voidaan lieventää
Minun on myönnettävä, että olen itsekin syyllistynyt vahvistusharhan ”harjoittamiseen”. On kuitenkin olemassa ratkaisu, joka on auttanut minua lieventämään sitä melko hyvin.
Sitä voisi kutsua käyttäjähaastattelujen ”koodikatselmoinniksi”. Se on prosessi, jossa tuotetiimin jäsenet käyvät ristiin läpi toistensa haastatteluja ja ehdottavat opittujen asioiden lisäämistä tai poistamista.
Jos olet yrityksen ainoa tuotepäällikkö (mikä on tavallista pienissä startup-yrityksissä), tee tämä harjoitus perustajasi kanssa. Älä unohda, että perustajat ovat pohjimmiltaan myös tuotetiimin jäseniä.
#5: Osallistujaharha
Vaikka vahvistusharja on vaarallinen peto, se kuuluu helpoimmin korjattaviin harhoihin. Seuraavasta harhasta, josta haluan puhua, on kuitenkin paljon vaikeampi päästä eroon.
Osallistujaharhaa ilmenee, kun vastaajat sanovat asioita sen perusteella, mitä he luulevat sinun haluavan kuulla, eivätkä sen perusteella, mitä he todella ajattelevat kyseisestä aiheesta.
Kun esimerkiksi teet haastattelua, voit kysyä tutkimukseen osallistujilta, ostaisivatko he tuotteesi olettaen, että lisäisit heidän juuri pyytämänsä ominaisuuden. Arvaatko, mikä vastaus olisi? Kokemukseni mukaan valtaosa vastaa kyllä.
Tarkoittaako tämä, että sinun pitäisi rynnätä ohjelmistokehitystiimin luo ja pyytää heitä rakentamaan kyseinen ominaisuus mahdollisimman pian? Ei! Esittämäsi kysymys on virheellinen ja ohjaa ihmiset luonnollisesti sanomaan jotain, mikä miellyttää sinua.
Myönnän, että ominaisuutesi pystyy ratkaisemaan merkittävän kipukohdan joidenkin haastateltavien kohdalla ja että he päätyvät maksamaan siitä. Enemmistö kuitenkin käyttää kyseistä ominaisuutta yksinkertaisesti ilmaiseksi tai ei käytä sitä lainkaan.
Sen lisäksi, että tutkimuskysymykset ovat virheellisiä, tutkimukseen osallistujat antavat sinulle myös puolueellisia vastauksia, jos maksat heille tutkimukseen osallistumisesta. Heillä on yleensä taipumus ”ansaita palkkansa” antamalla suotuisia vastauksia ja tekemällä sinut tyytyväiseksi ymmärtämättä, että he aiheuttavat näin enemmän haittaa kuin hyötyä.
More Articles
Näin vähennät osallistujien vinoumaa
Kuten jo mainitsin, osallistujien vinoumaa on melko vaikea vähentää. Tämä johtuu siitä, ettet oikeastaan tiedä, ovatko osallistujat sinulle vilpittömiä vai eivät.
Voit kuitenkin kahdella keinolla pienentää huonojen vastausten saamisen riskiä.
Kysy heidän aiemmista kokemuksistaan
Jos kysyt tulevaisuudessa tapahtuvasta teoreettisesta tilanteesta, haastateltavat sanovat todennäköisesti asioita, joita he eivät todellisuudessa koskaan tekisi.
Jos kysyt joltain tammikuun 2. päivänä, olisiko hän valmis käymään kuntosalilla 12 kuukautta peräkkäin, hän vastaa kyllä. Me kaikki kuitenkin tiedämme, että useimmat ihmiset päätyvät luopumaan jäsenyydestään jo muutaman käyntikerran jälkeen.
Tämän välttämiseksi PM:t kysyvät mieluummin asioista, jotka ovat tapahtuneet aiemmin. Näin PM voi oppia käyttäjien toiminnasta sen perusteella, mitä käyttäjät ovat tehneet, eikä sen perusteella, mitä he toivoisivat tehneensä.
Aseta oikeat odotukset
Joskus kysymyksesi tai tutkimuksesi luonne ei mahdollista käyttäjien menneisyydestä kysymistä. Haluat esimerkiksi tietää, miltä heistä tuntuisi, jos korottaisit tuotteesi hintaa.
Tässä tapauksessa voit tehdä selväksi, että haluat kuulla myös kielteisiä vastauksia ja että heidän rehellinen palautteensa on ainoa tapa, jolla he voivat ”ansaita palkkionsa”.
Omien vinoumien myöntäminen ratkaisee 80 % ongelmasta
Aivan oikein. Puolueellisuudessa pahinta on se, että useimmat meistä uskovat aidosti olevansa oikeassa. Siksi tärkein yksittäinen askel omien vinoumien vähentämisessä on niiden tunnistaminen.
Kun teet tämän, alat luonnostaan taistella niitä vastaan ja saavutat lopulta vinoumattoman tilan. (Tai ainakin ”vinoumat hallittuina” -tilan!)
Älä unohda tilata uutiskirjettämme saadaksesi lisää tuotehallinnan resursseja ja oppaita sekä alan johtajien ja asiantuntijoiden uusimpia podcasteja, haastatteluja ja muita näkemyksiä.
