Araştırmadaki Önyargı: Kendi En Büyük Düşmanınız Mısınız?

Ürün profesyonelleri olarak hepimiz, kullanıcılarımıza en iyi şekilde hizmet etmek ve KPI'larımıza ulaşmak amacıyla her sabah kalkıp gerçeği aradığımızı düşünmekten hoşlanırız. Çoğu zaman, olayların özüne inmemize ve ürün kararlarını şekillendirmemize yardımcı olması için araştırma metodolojisini kullanırız. Ancak durum şu: ne kadar çabalarsak çabalayalım, araştırma yanlılığı nedeniyle sonuçlarımızın geçerliliğini etkilemeye açığız.

Bu, zaman kadar eski bir hikâyedir ve ister akademik araştırmacı ister ürün yöneticisi olun, sizi yanlış yönlendirebilecek yanlılıkların tüm inceliklerini anlamak çok önemlidir.  Gelin, hangi yanlılıkların var olduğuna ve bunların çalışmalarınız üzerindeki etkisini nasıl azaltabileceğinize tam olarak bakalım. 

Araştırma Yanlılığı Nedir?

Basitçe ifade etmek gerekirse araştırma yanlılığı, araştırma süreci sırasında nesnel sonuçlar elde etme becerinizi etkileyen herhangi bir eylem veya düşünce biçimidir. Araştırma yanlılığının son derece yaygın olduğunu belirtmek önemlidir: hem nitel hem de nicel araştırmalarda ortaya çıkabilir (evet, doğru—hatta sayılar bile etraflarında oluşturduğumuz hikâyeler tarafından çarpıtılabilir). 

Yanlılık, araştırma sürecinin herhangi bir aşamasına sızabilir:

• Araştırma sorularını belirleme
• Veri toplama
• Araştırma katılımcılarını seçme
• Veri analizi
• Bulguları özetleme ve iletme

Yanlılıklar genellikle kasıtsızdır—düşünce biçimimizin veya araştırmamızı yürütme şeklimizin sonuçlarımızın geçerliliğini etkilediğinin farkında olmayız. Araştırma yanlılığını önlemenin ilk adımı, en iyi niyetlerimize rağmen araştırma yapan evrendeki her bir kişinin yanlılığa açık olduğunu kendimize itiraf etmektir. İyi niyetler elbette önemlidir, ancak araştırma sonuçlarımızın geçerliliğini korumak için gereken her şeyi tek başına yapmazlar.

Çalışmalarımızı etkileyen yanlılıklar ve bunların etkilerini nasıl sınırlayabileceğiniz hakkında daha fazla bilgi edinmek için okumaya devam edin. 

Çalışmalarınızı Rayından Çıkarabilecek Araştırma Yanlılığı Türleri

Biraz yanlı davranıyor olabilirim (kelime oyunu yalnızca biraz amaçlandı), ancak burası eğlenceli ve ilginç kısım. Şimdi, beynimizin ve araştırma katılımcılarımızın beyinlerinin çalışma biçimlerindeki tuhaflıklar nedeniyle farkında olmadan yanlı araştırma sonuçları üretebileceğimiz tüm yolları inceleyeceğiz. (Endişelenmeyin: okumaya devam ederseniz bunlardan nasıl kaçınacağınızı da öğreneceksiniz.)

Hatırlama Yanlılığı

Favori bir yanlılığa sahip olmak tuhaf mı? Tuhaf olsun ya da olmasın, benimki bu. En sevdiğim yanlılık olmasının nedeni zihnin gizemlerine gönderme yapmasıdır: bir olaydan veya olaylar dizisinden hatırladıklarımız her zaman eksiksiz ya da doğru değildir.  

Hatırlama yanlılığı, geçmiş olayları eksik ayrıntılar gibi belirli yanlışlıklarla bilinçaltında hatırlama eğilimimizi ifade eder. Bu durum, hoş olmayan olayları ele aldığınızda veya uzun zaman önce gerçekleşmiş şeylerden bahsettiğinizde daha olasıdır—ancak aslında her zaman gerçekleşebilir.  

Hatırlama Yanlılığı Örneği

Örneğin, birinin egzersiz alışkanlıkları hakkında kullanıcı görüşmesi yaptığınızı ve bir yıldır kullanmadığı bir uygulama hakkında sorular sorduğunuzu düşünün—uygulama içinde tam olarak ne yaptığını ve tüm bunların nasıl geliştiğini hatırlama becerisi sınırlıdır. Ya da bir yaralanmanın ardından birinin doktor muayenehanesindeki deneyimini soruyorsanız, psikolojik sıkıntıdan kaçınmak için zihni, daha az hoş ayrıntıların bazılarını biraz bulanıklaştırarak ona iyilik yapmış olabilir.

Sayısız örnek vardır, ancak asıl mesele beynimizin hikâye anlatıcıları olduğudur. Zamanın geçişiyle veya belirli olayları nasıl algılamak istediğimizle gerçekte nasıl yaşandıkları arasındaki farkla ilgili olsun ya da olmasın, herhangi bir sayıda nedenden ötürü hatırladıklarımız her zaman tam olarak yaşananlar değildir—ve araştırma katılımcılarımız farkında olmadan hatırlama yanlılığından muzdarip olduğunda bu durum araştırma sonuçlarımızı etkileyebilir.

Seçim Yanlılığı

Yanlılığın yalnızca araştırma katılımcılarınızın tarafında ortaya çıktığını düşünmeyin; bu yanlılık araştırmayı yapan kişi olarak sizin sorumluluğunuzdadır. Araştırmanıza katılmaya uygun kişileri tanımlama biçiminizin sonuçlarınızı büyük ölçüde etkilediğini muhtemelen zaten biliyorsunuzdur. Uyku davranışlarını araştırıyorsanız ve yalnızca yeni doğmuş bebeklerin ebeveynleriyle görüşüyor veya anket yapıyorsanız, elde edeceğiniz bulgular genel nüfus için mutlaka geçerli olmayacaktır (esneyin).

Seçim yanlılığında, belirli ön kabuller veya hipotezlere bağlılıklar araştırma örneklemimizi beklediğimiz ya da istediğimiz sonuçlara elverişli olacak şekilde tanımlamamıza yol açar. 

Seçim Yanlılığı Örneği

Şirketinizin bir pazarlama otomasyonu aracı olduğunu ve rakiplerinizin gelir açısından sizi neden geride bıraktığını anlamaya çalıştığınızı varsayalım. Ürün yöneticisi olarak, rakiplerinizin büyümesini özellikle e-posta otomasyonu özelliklerinin sağladığına dair bir hipoteziniz olabilir.

Bu durum, rollerinde e-postaya yoğun şekilde odaklanan araştırma katılımcılarını seçmeye odaklanmanıza yol açabilir—bu da ürünün diğer alanlarında aktif olan yeterli sayıda katılımcıyı seçmediğiniz için pazarlama otomasyonunun diğer alanlarındaki değer önerilerini ve sorun noktalarını gözden kaçırmanıza neden olabilir.

Doğrulama Yanlılığı

Bir araştırma çalışmasına liderlik eden kişinin yalnızca kendi varsayımlarını doğrulayan kullanıcı geri bildirimleriyle ilgileniyor gibi göründüğü bir projenin parçası olduysanız, doğrulama yanlılığını iş başında görmüşsünüzdür. Her tür veriye, nitel veya nicel, bakarken insani eğilimimiz, hipotezlerimizi veya inançlarımızı doğrulayan bilgilerin önemini desteklemek ya da abartmaktır. Buna doğrulama yanlılığı denir ve oldukça yaygındır. Hatta ürün ekiplerinin çalışma biçimlerinin, bununla doğrudan mücadele etmek için adımlar atmadığımızda doğrulama yanlılığını son derece olası hâle getirdiğine inanmaya başladım.

Ürün alanında çoğu zaman büyük kararlar almamız ve büyük riskler üstlenmemiz beklenir—hem de hızlı bir şekilde. Hangi özellik yinelemelerinin veya ürün yön değişikliklerinin ekibi genel hedeflerine yaklaştıracağı konusunda güçlü bir görüşü olmayan bir tasarımcıya ya da ürün yöneticisine rastlamak nadirdir. Bu nedenle kullanıcı araştırması bazen işaretlenmesi gereken bir kutuya dönüşür ve sonuçlar, doğrulama yanlılığıyla dolu bir anlatı şeklinde sunulur.

Bu nasıl mümkün olabilir? Büyük olasılıkla kullanıcı araştırması çalışmanız birçok farklı içgörü içerecektir. Genellikle şirketler içinde çok az denetimle yürütülen bir süreç olan verilerinizi analiz ederken, inandıklarınızla çelişen veri noktalarını bilinçaltında göz ardı edebilir ve gerçeği yansıtmayan bir anlatı sunabilirsiniz. Eyvah!

Doğrulama Yanlılığı Örneği

Bir araştırmacının, e-posta mesajlarına yanıtlar oluşturmak için AI kullanan bir ürün özelliği hakkında kullanıcı görüşmeleri yaptığını düşünün. Bu bağlamda araştırmacı, "bu özellikte değer bulmaz mıydınız?" veya "e-posta yazarken zaman kazanmanız ne kadar harika olurdu?" gibi yönlendirici sorular kullanırsa, özelliğin değeri hakkındaki kendi görüşleriyle araştırma sonuçlarını etkilediği için doğrulama yanlılığı oluşturmuş olur.

Ölçüm Yanlılığı

İster nitel ister nicel araştırma yapıyor olun, veri noktalarınızı nasıl ölçtüğünüzün anlamlı olması ve süreç boyunca tutarlı kalması önemlidir. Kullandığımız ölçümlerde temel bir sorun olduğunda, potansiyel olarak yanlış sonuçlar ortaya çıkarırız—buna ölçüm yanlılığı denir.

Ölçüm Yanlılığı Örneği

Diyelim ki ürününüzün temel iş akışındaki belirli bir noktada kullanıcı kaybını azaltması beklenen bir özellik için nicel bir kullanılabilirlik çalışması yürütüyorsunuz.  Yüzlerce test boyunca ölçtüğünüz şey, bir kullanıcının yeni yinelemedeki akışı başarıyla tamamlama becerisidir ve eski özellik sürümüne kıyasla bir iyileşme arıyorsunuz. Ekibinizin, akışı başarıyla tamamlamanın tam olarak ne anlama geldiğini düşünmek için biraz zaman ayırması gerekir: Bu, yalnızca yinelemeyi geçmek anlamına mı gelir? Yoksa her şeyi yapmak mı demektir? Tatmin edici bir sonuç elde etmeyi içerir mi?

Gördüğünüz gibi, metriğin kendisini nasıl tanımladığınız sonuçlarınızı büyük ölçüde etkileyebilir!

Görüşmeci Yanlılığı

Nitel bir çalışma için kullanıcı görüşmeleri yürütürken, görüşmecinin sorduğu sorular ve bunları sorma biçimi, potansiyel yanlılık için elverişli bir ortam oluşturabilir.

Görüşmeci Yanlılığı Örnekleri

Görüşmeci yanlılığının herhangi bir araştırma çalışmasına nasıl sızabileceğine dair bazı örnekler şunlardır:

• Görüşmeci, çalışmadaki her kişi için aynı soru setini kullanmak yerine her katılımcı hakkındaki varsayımlarına dayanarak sorular sorar.
• Görüşmeci, katılımcıyı araştırmacının hipotezlerini doğrulayan belirli bir şekilde yanıt vermeye yönlendiren sorular sorar.
• Görüşmeci, soruyu ifade etme biçimiyle bir görüşü veya değer yargısını ima eder; bu da katılımcıyı olumlu bir şekilde yanıt vermeye teşvik eder (katılımcı açısından sosyal beğenirlik yanlılığı olarak da adlandırılır).

Yayın Yanlılığı

Bir ürün profesyoneli olarak araştırma sonuçlarınız umduğunuz bulguları yansıtmadığında ne yaparsınız? İster inanın ister inanmayın, birçok araştırmacı ve ürün profesyoneli böyle durumlarda çoğu zaman bunu mantıklı gerekçelerle açıklamaya çalışır ve araştırma sonuçlarını ekipleriyle paylaşmamayı tercih eder; buna yayın yanlılığı denir.

Yayın Yanlılığı Örneği

Bu nasıl görünür? Sizin veya ekibinizden birinin şöyle demesi gibi görünür: “Bunu yalnızca 15 kullanıcıyla test ettik—bence hiçbir anlam ifade etmiyor. Şimdilik bunu bir kenara bırakalım.”  

Buradaki tehlike, umutlarınız ve inançlarınızla çeliştiğinde değerli bilgileri ekibinizden saklamanızdır. Bunu yaptığınızda, bilgilerin atlanması ekibinizin yanlış yöne hızla ilerlemesine neden olabilir. 

Örnekleme Yanlılığı

Çalışmanız için tam olarak kimi işe alıyorsunuz? İster inanın ister inanmayın, bu genellikle sağlam ve güvenilir sonuçlar alıp almadığınızı belirleyen en önemli faktörlerden biridir. Örnekleme yanlılığı, örneklemin incelikli veya temsili olmadığı bir yerden veri toplamanız ve bunun sonucunda sonuçların potansiyel olarak yanlılık içermesi ve sizi yanlış yönlendirebilmesidir.

Örnekleme Yanlılığı Örneği

Bu örnekte, tarif uygulamanız için yeni özellikler geliştirmenize yardımcı olması amacıyla yemek pişirme alışkanlıkları hakkında bir anket yürütüyorsunuz. Anketinizin katılımcıları bir üniversite kampüsünden oluşturduğunuz bir gruptan geliyorsa, esasen tam zamanlı öğrenim gören gençlerin yemek pişirme alışkanlıklarına bakıyorsunuz demektir. Peki ya aileler? Emekliler?

Araştırma tasarımı sürecinde yaptığınız en önemli şeylerden biri, temsil niteliği taşıyan bir örnekleme baktığınızdan emin olmaktır. 

Analiz Yanlılığı

Veri toplama yöntemlerinizi uyguladıktan sonra analiz aşamasına geçersiniz. Burada her türden karar alırsınız: Hangi veriler önemli? Hangileri en önemli? Tüm bunlar niteliksel olarak ne anlama geliyor? İstatistiksel olarak? Çoğu zaman bu kararları, ilk hipotezlerimizi veya arzu ettiğimiz sonuçları destekleyecek şekilde alırız.

Analiz Yanlılığı Örneği

Analiz yanlılığına örnek olarak, kendinizi “Bu önemli değil. Yalnızca birkaç kez ortaya çıktı. Bunlar sadece aykırı değerler.”  gibi şeyler söylerken bulmanız verilebilir. Bu, araştırmaya bağlı olarak doğru olabilir; ancak analiz yanlılığının devreye girerek araştırma sonuçlarınızdaki önemli bir ayrıntıyı göz ardı etmenize neden olması da mümkündür. 

Bunlar yalnızca birkaç araştırma yanlılığı örneğidir—yanlılığın araştırma projelerinde ortaya çıkmasının gerçekten sayısız yolu vardır. Öyleyse sıradaki soru şu: bununla ilgili ne yapabiliriz?

Araştırma Çalışması Tasarımında Yanlılıktan Kaçınma

Şimdiye kadar, insan olarak yanlı uygulamalara boyun eğme eğilimimiz nedeniyle araştırmanın belki de anlamsız olup olmadığını merak ederek biraz endişelenmiş olabilirsiniz. Neyse ki durum böyle değil. İyi niyetle atılan her adımda gizlenen olası yanlılıkların artık farkında olduğunuza göre, kullanıcı araştırmanızdaki yanlılığı azaltmak ve ürün ekibinizi doğru yönde yönlendirmek için adımlar atabilirsiniz. Bunu yapmanın bazı yollarına göz atalım.

Araştırma çalışmanızın tasarımına titizlikle yaklaşın

Bu, kullanıcı araştırmasına doğru adımla başlamanın karşılığıdır.  Çalışmanızı tasarlarken, doğru şekilde alındığında olası yanlılık ihtimalini azaltabilecek bir dizi karar verirsiniz. 

İşte bazı ipuçları:

• Hedef kitlenizi yine de kapsayacak şekilde kullanıcı gruplarınızı mümkün olan en geniş biçimde tanımlayın
• Araştırma yöntemlerinizi akıllıca seçin: metodolojinin öğrenmeye çalıştığınız şeyi yansıttığından emin olun
• Kullanıcı görüşmeleri yürütüyorsanız, görüşmelere başlamadan önce bir görüşme kılavuzu hazırlayın ve herkese aynı soruları sorduğunuzdan emin olmaya çalışın

Ek İpucu

Veri toplamaya gerçekten başlamadan önce bir çalışma arkadaşınızdan araştırma planınızı gözden geçirmesini isteyin. Bu, yanlılığa yol açabilecek hiçbir şeyi gözden kaçırmadığınızdan emin olmanıza yardımcı olur.

Kullanıcı araştırmasının tüm aşamalarında çıkar çatışmalarından kaçının

Tüm yıl boyunca belirli bir değişiklik yapma gerekliliği üzerinde ısrar eden o ürün yöneticisi mi? İdeal olarak, araştırma çalışmasına liderlik etmesi gereken kişi o olmamalıdır. Bu durumda nesnellik hâlâ mümkün olsa da, bunun gibi çıkar çatışmaları insanların verileri toplamasını ve araştırma sonuçlarını tarafsız bir şekilde analiz etmesini çoğu zaman son derece zorlaştırır.

Buradaki alternatif, başka birinin—belki ekipteki bir tasarımcının veya kullanıcı araştırmacısının—çalışmayı tasarlayıp yürütmesi, ancak süreç boyunca adı geçen ürün yöneticisine danışması olabilir. Genel olarak, kanıta dayalı bir kural vardır: Bir kişinin arzu edilen bir sonuca bağlılığı ne kadar azsa, güvenilir araştırma bulguları sunma olasılığı o kadar yüksektir.

Araştırma yanlılığının araştırma yürüten tüm insanlar için geçerli olduğunu kabul edin

Bunu mümkün olan en saygılı şekilde ifade etmek istiyorum: Muhtemelen çeşitli açılardan özel birisiniz; ancak bir çalışmaya yanlılık katma potansiyeli söz konusu olduğunda—değilsiniz.

İncelediğimiz tüm yanlılıklar, tüm insanların sahip olduğu kanıta dayalı eğilimlerdir. Teorik olarak sizin de çeşitli yanlılıklardan etkilenebileceğinizi kabul ettiğinizde, bunları önleme yolunda büyük ilerleme kaydetmiş olursunuz!

Her zaman bir araştırma değerlendirmesi gerçekleştirin

Hayatta hata yapmak normaldir ve kullanıcı araştırması söz konusu olduğunda da durum aynıdır. Her çalışma yaptığınızda ekibinizle birlikte oturup metodolojinizi baştan sona gözden geçirdiğinizden emin olun—Neyi farklı yapabilirdiniz? Bazı sinsi yanlılıkların fark edilmeden araya girmiş olması mümkün mü? 

Genellikle çalışmanızın tamamen güvenilmez olduğunu görmezsiniz; ancak kullanıcı araştırmanızın ilerideki güvenilirliğini artırmak için bir sonraki çalışmanızda yapabileceğiniz küçük değişiklikleri ortaya çıkarırsınız.

Araştırma yanlılığı bir gerçektir, ancak yönetilebilir.

Güvenilir kullanıcı araştırması söz konusu olduğunda sizi nelerin zor durumda bırakabileceğinin artık farkında olduğunuza göre, işe koyulmaya ve iyi çalışmalar yapmaya hazırsınız. Biraz gülünç gelme pahasına, size veda ederken bir sırrımı paylaşayım: Masamda üzerinde yalnızca ‘yanlılık!’ yazan küçük bir yapışkan not var. Bunun, üzerinde konuştuğumuz her şeyi sürekli aklımda tutmama yardımcı olduğunu görüyorum.

Alarm veren bir yapışkan not sizin tercih ettiğiniz yöntem olmasa bile, kullanıcı araştırması yürütürken yanlılığı ortadan kaldırmayı sürekli aklınızda tutmanın bir yolunu bulun; böylece ekibinizin hedeflerine ulaşmasına yardımcı olacak içgörüler sunma yolunda önemli bir mesafe katetmiş olursunuz.

daha fazla ürün yönetimi kaynağı ve rehberinin yanı sıra sektör liderlerinden ve uzmanlardan en yeni podcast'leri, röportajları ve diğer içgörüleri almak için bültenimize abone olmayı unutmayın.