Müşterilerin bir görüşme sırasında sizden bir özellik geliştirmenizi istemesinin üzerinden ne kadar zaman geçti, ancak sonunda bu özelliği hiçbiri kullanmadı? Dışarıdaki her ürün yöneticisinin, büyük bir fiyaskoyla sonuçlanan en az bir kullanıcı görüşmesi turu geçirdiğinden eminim.
Doğal olarak akla gelen bir sonraki soru şudur: görüşme sırasında ne ters gitti? Büyük olasılıkla, yanlış ürün kararları almamıza yol açan birçok araştırma yanlılığından biriyle karşılaştık.
Yanlı veriler temelinde bir ürünü yönetmek tehlikelidir. Neyse ki yanlılığın ne olduğunu, onu riskli kılan unsurları öğrenerek ve araştırmalardaki bu beş yanlılık örneğinin istenmeyen sonuçlara nasıl yol açtığından ders çıkararak bundan kaçınabilirsiniz.
Ürün Araştırmasında Yanlılık Nedir ve Riskleri Nelerdir?
Yanlılık terimi, ürün ve pazarlama ekiplerinin araştırma yürütürken yaptığı hatalar bütününü ifade eder. Bu hataların sonucu genellikle, ürünleri, pazarları ve kullanıcıları açısından durumun gerçek hâlini temsil etmeyen kararlara yol açan yanlış analizlerdir.
Bir ürün yöneticisinin kararları büyük bir etki taşır. Tek bir karar, tüm ürün serisini yeni bir pazara veya hedef kişiliğe yönlendirebilir. Ayrıca mühendislik, pazarlama, yapay zekâ ve diğer ekiplerin çabalarının etkinliğini etkileyen günlük uygulama kararları da vardır.
Bu nedenle, insanları yanlış yöne yönlendirebileceğiniz ve bir ürün yöneticisi olarak büyük ölçüde başarısız olabileceğiniz göz önünde bulundurulduğunda, yanlı verilere dayanarak karar almak özellikle tehlikelidir.
Neyse ki araştırma yanlılığını azaltmak göründüğü kadar zor değildir. Zor olan, verilerinizin yanlı olduğunu kabul etmektir. Azaltma sürecinin kendisi nispeten kolaydır.
Nicel Veri Analizinde Araştırma Yanlılığı Türleri
Verilerle çalışırken karşılaştığınız yaygın yanlılık türleriyle başlayalım. Bunlar genellikle nicel verileri toplama, analiz etme ve bunlara göre hareket etme biçiminizdeki hatalarla ilişkilidir.
Klasik bilimsel araştırmalar aşağıdakiler de dâhil olmak üzere çok çeşitli araştırma yanlılıklarını tanımlar:
- Yayın yanlılığı
- Ölçüm yanlılığı
- Analiz yanlılığı
- Tasarım yanlılığı
- Gözlemci yanlılığı
- Hatırlama yanlılığı
- Toplumsal beğenirlik yanlılığı
- Demografik ve kültürel yanlılık
- Yanıt yanlılığı ve diğerleri.
Ancak bunlar hakkında konuşmak bizim için biraz fazla teorik. Bu nedenle, bir ürün yöneticisi olarak gerçek hayatta karşılaşacağınız üç yanlılık türüne odaklanacağım.
#1: Örnekleme ve Seçim Yanlılığı
Adından da anlaşılacağı üzere örnekleme yanlılığı, seçtiğiniz örneklem nedeniyle yanlış veriler elde etmenizle ilgilidir.
Örnekleminiz belirli bir özelliğe doğru çarpılmış veriler içeriyorsa, yapacağınız analiz genel popülasyonu temsil etmeyecektir. Bu çarpık örneklemin davranışını yanlış biçimde genelleştirerek tüm veri kümesine uygulamaya başlayacaksınız.
Netflix, örnekleme yanlılığından sorumlu olmuş büyük teknoloji şirketlerinden biridir. Amerika Birleşik Devletleri'ndeki insanlar, ilgi alanlarıyla ilgili dizileri önerebildiği için öneri algoritmasını seviyordu. Ancak dünyanın geri kalanı bundan nefret etti. Öneriler gerçekten berbattı.
Bunun arkasındaki neden neydi? Görünüşe göre bu önerileri yapmak üzere eğitilen yapay zekâ modeli yalnızca ABD'li izleyicilerin verilerini kullanıyor ve Amerikalılar için anlamlı olan şeyleri öneriyordu.
Örnekleme Yanlılığı Nasıl Azaltılır?
Netflix'in durumunda, modellerine uluslararası verileri eklemeye başladılar ve daha az çarpık bir çalışma popülasyonuna dayanarak modelleri yeniden eğittiler.
Ancak bu tür yanlılığı azaltmak için daha sistematik bir yaklaşım istiyorsanız, geçmişte benim için işe yarayan biraz alışılmadık bir yaklaşım önerebilirim: istatistikçilerin küme analizi olarak adlandırdığı bir yöntemi uygulamak.
Küme analizi, örneklem popülasyonunuzdaki ortak özellikleri bulabilir ve onları bu özelliklere göre kümelere ayırabilir.
Yukarıdaki görselde, popülasyonun seçilen özelliklere göre üç farklı kümeye açıkça ayrıldığını görebilirsiniz.
Yaptığınız şey, çok çeşitli özellikler seçmek ve bunların her biri için bu grafikleri oluşturmaktır. Belirli özellikler için yalnızca tek bir kümeniz olduğunu görüyorsanız verileriniz çarpık ve örnekleme yanlılığına yatkın olacaktır. Netflix örneğinde izleyici ülkesi özelliğinin tek bir kümesi vardı: Amerika Birleşik Devletleri.
Yine de dikkatli olun! Bazen, bir özelliğin kişiliklerini tanımlaması durumunda, tüm kitlenizin tek bir kümede toplanması doğaldır. Örneğin, theproductmanager.com okuyucuları için bir küme analizi yapsaydık, çoğunluğu ürün yöneticilerinden oluşurdu. Bu doğaldır çünkü PM'ler web sitesinin hedeflediği kişiliktir. Bu nedenle, bu tür özellikleri analizinizden her zaman çıkarmalısınız.
#2: Yöntemsel Yanlılık
Bu yanlılık türü, çalışma tasarımınızda ve araştırma sürecinizde yaptığınız hataları ifade eder. Hatalı araçlar veya istatistiksel formüller kullanmanızdan ya da veri toplama yöntemlerinizden kaynaklanabilir.
Deneyimlerime göre yöntemsel yanlılık, özellikle kullanıcı anketlerinde yaygındır. Ankette yönlendirici sorular varsa, katılımcılarınız büyük olasılıkla belirli bir yanıt türüne doğru yaptığınız “yönlendirmenin” kurbanı olacaktır.
Tipik bir yönlendirici anket sorusu şöyle görünür:
Ürünümüzü ne kadar seviyorsunuz?
Soruyu bu şekilde ifade ettiğinizde, yaptığınız şeyden nefret etseler bile kullanıcıları daha olumlu bir yanıt vermeye yönlendirmiş olursunuz.
Aynı sorunun daha tarafsız biçimi şöyle görünür:
Ürünümüzü nasıl değerlendirirsiniz?
Bu durumda, olumsuz yanıtları kabul ettiğinizi açıkça belirtmiş olursunuz.
Have an account? Log In
Yöntemsel Yanlılık Nasıl Azaltılır?
Araştırmanızın yöntemsel yanlılıktan arınmış olduğundan emin olmanın en iyi yolu, gerçekleştirdiğiniz belirli analiz türü için doğru araçları ve metodolojileri seçmektir.
Yanıtları Rastgele Sıralayın
Anket yürütüyorsanız, yönlendirici sorulardan kaçınmanın yanı sıra soru sırasını da rastgeleleştirmeniz gerekir; çünkü insanların anketin ortasında sıkılma ve anlamsız yanıtlar vermeye başlama ihtimali vardır. Rastgeleleştirme yapılmazsa, son birkaç soru neredeyse hiç yararlı yanıt almayacaktır.
İstatistiksel Anlamlılığa Dikkat Edin
Ayrıca, anketlerin doğası gereği kısmen nicel olduğunu göz önünde bulundurun. Bu nedenle, bu verilerin istatistiksel analizine fazla güvenmeyin. Örneğin, belirli bir özelliği geliştirdiyseniz ve NPS puanınız %2 arttıysa, bu fark istatistiksel olarak anlamlı bir sonuç olarak kabul edilemeyecek kadar küçüktür. Öte yandan, 2 katlık bir artış güvenilir olacaktır.
Doğru Araçları Seçin
Şimdi yanlış araçları seçme konusundan da bahsedelim. Ödeme sayfanızın dönüşüm oranını ölçüyorsanız, ısı haritası aracı kullanmak yöntemsel yanlılığa yol açar; çünkü bu araçtan elde ettiğiniz veriler güvenilir değildir.
Bu durumlarda davranışsal sorunu tespit etmek ve davranış değişikliğini A/B testiyle sınamak için ısı haritası yazılımı kullanmak en iyisidir. Öte yandan, CR ölçümü için Amplitude veya GA4 gibi ürün analitiği araçlarına güvenmelisiniz.
#3: Hayatta Kalanlar Yanlılığı
Yanlı araştırma yöntemleri uzun zamandır hayatımızda. II. Dünya Savaşı'ndaki Amerikan bombardıman uçaklarıyla ilgili ilginç bir hikâye vardır. Bombardıman uçakları üsse her döndüğünde mühendisler gövdelerindeki uçaksavar mermisi deliklerini inceler ve bunları şöyle işaretlerdi:
Doğal olarak yapılması gereken, en fazla mermi isabeti alan bölgeleri daha kalın zırh plakalarıyla güçlendirmekti. Ancak bu güçlendirme, Amerikan bombardıman uçaklarının hayatta kalma oranı üzerinde neredeyse hiç etkili olmadı.
Durumu dikkatle inceledikten sonra mühendisler, yalnızca hayatta kalmayı ve üsse geri dönmeyi başaran uçaklarla ilgilendiklerini fark etti. Dolayısıyla güçlendirmeleri gereken kısımlar, aslında uçaklarda mermi deliği bulunmayan kısımlardı.
Hayatta Kalanlar Yanlılığı Nasıl Azaltılır?
II. Dünya Savaşı uçaklarından dijital ürünlere geçelim. Bir PM olarak veri toplama sürecinizi yönetirken, yanlılığın kendini gösterebileceği şu iki olası durumla büyük ihtimalle karşılaşırsınız:
Analiz İçin Verileri Filtreleme
Kullanıcı davranışını analiz ederken, analizinizle ilgili olmayan belirli eylemleri gerçekleştirmiş kullanıcıları filtreleyerek dışarıda bırakabilirsiniz.
Bu durumla yakın zamanda karşılaştım. Etkileyici pazarlama ürünümüzün etkinleştirme oranını artırmaya çalışıyorduk. Veri analitiği ekibi, bir etkinleştirme adımından diğerine dönüşüm oranlarının oldukça yüksek olduğu (yaklaşık %50-70) bir huni raporu oluşturdu.
Bu veri bizi şaşırttı; çünkü kayıt olan kişi sayısıyla karşılaştırıldığında ürünle etkileşime giren kişilerin genel oranının düşük olduğunu görüyorduk. Verileri dikkatle analiz ettikten sonra, veri ekibinin bir filtre uyguladığını ve yalnızca yoğun kullanıcılarımıza ait verileri bıraktığını anladık.
Elbette, aktivasyon akışını büyük olasılıkla sorunsuz tamamlayanlar ileri düzey kullanıcılardı. Bu nedenle hunideki dönüşüm oranları gerçek durumu gerçekten temsil etmiyordu. Tüm kayıtları hesaba katarak hunilere baktığımızda oranlar önemli ölçüde düştü.
Çıkarılan ders:
- Verilerinizi filtrelerken analizinizin bağlamını ve amacını her zaman göz önünde bulundurun.
Ön Elemeden Geçirilmiş Anket Verilerini Analiz Etme
Yakın zamanda ele almak zorunda kaldığım araştırma tasarımıyla ilgili bir başka ilginç örnek, etkileyici pazarlamacıların ihtiyaçlarını ve sorunlarını anlamak için yürüttüğümüz bir anketle ilgiliydi. Yine, katılımcıların ihtiyaçları kullanıcı görüşmelerimizden elde ettiğimiz içgörülerle örtüşmediği için araştırma sonuçları bizi biraz şaşırttı.
Buradaki sorun, ankete katılan kullanıcılar için uyguladığımız ön eleme süreciydi. İlgisiz kişilerden yanıt almamak için etkileyici olup olmadıklarını sormanın yanı sıra kitlelerinin/takipçilerinin büyüklüğünü de sorduk.
Nedense 50.000'den az takipçisi olan etkileyicileri elemiştik ve yalnızca görece daha büyük kitlelere sahip olanların yanıtlarını dikkate almıştık. Ürünümüzün küçük etkileyicileri de hedeflemesi gerekiyordu. Dolayısıyla anketten elde ettiğimiz veriler bizim açımızdan doğru değildi.
Çıkarılan dersler:
- Araştırma bulgularınızı nitel verilerle çapraz kontrol edin. Bu ikisinin bulguları arasında büyük bir fark varsa yanlış bir şey yapmış olabilirsiniz.
- Ön eleme sürecinizde dikkatli olun; ilgili kullanıcıları da elemiş olabilirsiniz.
Nitel Araştırmalarda Yanlılık Türleri
Nicel araştırmayla ilgili sistematik hataları ele aldığımıza göre şimdi bir başka önemli araştırma kategorisine, yani nitel çalışmalara geçelim.
Ürün yöneticileri için en önemli nitel araştırma türü kullanıcılarla görüşme yapmaktır. Bu nedenle müşterileriniz ve kullanıcılarınızla konuşurken genellikle karşılaştığınız iki büyük yanlılığa odaklanacağım.
Not: Bunlar aynı zamanda uygun bir ürün fikir geliştirme aracı kullanarak yönetebileceğiniz ve azaltabileceğiniz iki yanlılık türüdür.
#4: Doğrulama Yanlılığı
Ürün yöneticilerinin en büyük özelliklerinden biri, başkaları inanmadığında bile bir şeye güçlü biçimde inanmalarıdır. Yenilikçi ürünleri böyle yaratırsınız ve sektörünüzde devrim yaparsınız. Ancak kendi fikirlerine bağlı kalma eğilimi de ürün yöneticileri için önemli bir zayıflıktır.
Bunun nedeni, ürün yöneticilerinin sıklıkla doğrulama yanlılığından muzdarip olmasıdır. Bu, konuşmanın inançlarınızla örtüşen kısımlarını aktif olarak duymaya çalıştığınız ve geri kalanını göz ardı ettiğiniz durumu ifade eder.
Bu durum, ürünün nasıl görüneceği ve pazara nasıl sunulacağı konusunda stratejik kararlar veren kişiler için oldukça tehlikelidir. Doğrulama yanlılığı devrede olduğunda kullanıcı görüşmeleriniz tamamen anlamsız hâle gelir ve körü körüne kararlar vermeye başlarsınız (kullanıcı odaklılığı da unutabilirsiniz).
Doğrulama Yanlılığı Nasıl Azaltılır?
Benim de doğrulama yanlılığını “uygulamaktan” suçlu olduğumu itiraf etmeliyim. Ancak bunu oldukça iyi azaltmama yardımcı olan bir çözüm var.
Buna kullanıcı görüşmelerinin “kod incelemesi” diyebilirsiniz. Bu, ürün ekiplerindeki kişilerin meslektaşlarının bazı görüşmelerini karşılıklı olarak inceleyip çıkarılan derslerin eklenmesini veya kaldırılmasını önerdiği bir süreçtir.
Şirketteki tek ürün yöneticisi sizseniz (küçük girişimlerde bu yaygındır), bu çalışmayı kurucunuzla birlikte yapın. Kurucuların da aslında ürün ekiplerinde yer alan kişiler olduğunu unutmayın.
#5: Katılımcı Yanlılığı
Doğrulama yanlılığı tehlikeli bir canavar olsa da düzeltilmesi en kolay yanlılıklardan biridir. Ancak sırada bahsetmek istediğim yanlılığı azaltmak çok daha zordur.
Katılımcı yanlılığı, katılımcılar belirli bir konu hakkında gerçekten düşündükleri şey yerine sizin duymak istediğinizi düşündükleri şeylere dayanarak yanıt verdiğinde ortaya çıkar.
Örneğin bir görüşme yürütürken araştırma katılımcılarına, az önce talep ettikleri özelliği eklediğinizi varsayarak ürününüzü satın alıp almayacaklarını sorabilirsiniz. Cevabın ne olacağını tahmin edebiliyor musunuz? Deneyimlerime göre büyük çoğunluğu Evet diyecektir.
Bu, mühendislik ekibine koşup bu özelliği bir an önce geliştirmelerini istemeniz gerektiği anlamına mı gelir? Hayır! Sorduğunuz soru kusurlu ve insanları doğal olarak sizi memnun edecek bir şey söylemeye yöneltiyor.
Katılıyorum, özelliğiniz bu görüşülen kişilerin bazılarının önemli bir sorununu çözebilir ve sonunda bunun için ödeme yapabilirler. Ancak çoğunluk bu özelliği yalnızca ücretsiz olarak kullanır veya hiç kullanmaz.
Hatalı araştırma soruları sormanın yanı sıra, araştırma çalışması için onlara ödeme yapıyorsanız, çalışmaya katılanlar da size taraflı yanıtlar verecektir. Genellikle, farkında olmadan yarardan çok zarar vererek olumlu yanıtlar vermek ve sizi memnun etmek suretiyle “maaşı hak etmeye” çalışırlar.
More Articles
Katılımcı Yanlılığı Nasıl Azaltılır?
Daha önce de belirttiğim gibi, katılımcı yanlılığını azaltmak oldukça zordur. Bunun nedeni, katılımcının size karşı samimi olup olmadığını gerçekten bilememenizdir.
Ancak kötü yanıtlar alma olasılığını azaltmanıza yardımcı olabilecek iki taktik vardır.
Geçmiş deneyimleri hakkında sorular sormak
Gelecekte gerçekleşebilecek varsayımsal bir olay hakkında sorular sorarsanız, görüşülen kişiler büyük olasılıkla gerçek hayatta asla yapmayacakları şeyleri söyleyecektir.
2 Ocak'ta birine 12 ay boyunca aralıksız spor salonuna gitmeye istekli olup olmayacağını sorarsanız, evet diyecektir. Ancak çoğu insanın yalnızca birkaç ziyaretten sonra üyeliğini bırakıp gittiğini hepimiz biliyoruz.
Bundan kaçınmak için ürün yöneticileri geçmişte gerçekleşmiş şeyler hakkında sorular sormayı tercih eder. Bu şekilde ürün yöneticisi, kullanıcıların ne yapmayı dilediklerine değil, ne yaptıklarına dayanarak kullanıcı davranışları hakkında bilgi edinebilir.
Doğru beklentileri oluşturmak
Bazen sorunuzun veya çalışmanızın niteliği, kullanıcılarınızın geçmişi hakkında soru sormanıza izin vermez. Örneğin, ürününüzün fiyatını artırmanız durumunda nasıl hissedeceklerini bilmek isteyebilirsiniz.
Bu durumda, olumsuz yanıtlar duymanızın sizin için sorun olmadığını ve “karşılığını almanın” tek yolunun dürüst geri bildirim vermeleri olduğunu açıkça belirtebilirsiniz.
Yanlılıklarınızı Kabul Etmek Mücadelenin %80'idir
Gerçekten de öyle. Yanlı olmanın en kötü yanı, çoğumuzun gerçekten haklı olduğumuza inanmasıdır. Bu nedenle, kendi yanlılıklarınızı azaltmak için atabileceğiniz en önemli adım, onları fark etmektir.
Bunu yaptığınız anda, doğal olarak onlarla mücadele etmeye başlayacak ve sonunda yanlılıktan arınmış bir duruma ulaşacaksınız. (Ya da en azından “yanlılık-yönetimli” bir duruma!)
Daha fazla ürün yönetimi kaynağı ve rehberinin yanı sıra sektör liderlerinden ve uzmanlardan en yeni podcast'leri, röportajları ve diğer içgörüleri almak için bültenimize abone olmayı unutmayın.
