UX Araştırmasıyla Nasıl Eğlenilir

Transkripti Okuyun:

Podcast’lerimizin transkripsiyonunu bir yazılım programı kullanarak deniyoruz. Bot her zaman yüzde 100 doğru çalışmadığı için lütfen yazım hatalarını mazur görün.

Hannah Clark: Daha çok sol beyinli mi yoksa sağ beyinli bir düşünür müsünüz? Ne hakkında konuştuğumu bilmiyorsanız, sol beyinli kişiler daha analitik ve ölçümlere odaklı olma eğilimindeyken, sağ beyinli kişiler dünyayı anlamlandırmak için hikâye anlatımını kullanmaya daha yatkındır. Nitel ve nicel araştırmayı düşündüğümüzde, hangi türlerin hangi araştırma yöntemlerine yöneldiğini muhtemelen tahmin edebilirsiniz. Bu harika bir şey—sonuçta ikisine de ihtiyacımız var—ama görünen o ki ikisini bir araya getirmek söylemesi yapmasından çok daha kolay. Doğru bir tablo oluşturmak için sayıları ve hikâyeleri nasıl birleştirirsiniz? Araştırma yönteminden bağımsız olarak verilerinizin iyi olduğundan nasıl emin olursunuz?

Bugünkü konuğum, Users Know’un Baş Uzmanı ve Build Better Products ile UX for Lean Startups kitaplarının yazarı, harika Laura Klein. Laura son 20 yılda pek çok ürün ekibiyle çalıştı ve kullanıcı araştırması yürütme ve uygulama söz konusu olduğunda birçoğunun aynı zorluklarda tökezlediğini gördü. Özellikle bölümün ilerleyen kısımlarında segmentasyonun ve araştırmanın temel rolünü ele alırken, ürün ekipleri için en yararlı gözlemlerinden ve tavsiyelerinden bazılarını paylaşacak. Bu bölüm için beyninizin her iki tarafına da ihtiyacınız olacak, o hâlde başlayalım.

The CPO Club Podcast’e tekrar hoş geldiniz.

Laura, programınızdan bize zaman ayırdığınız için çok teşekkür ederim.

Laura Klein: Beni davet ettiğiniz için ben teşekkür ederim.

Hannah Clark: Öncelikle biraz kendinizden ve Users Know’u kurma sürecinizden bahsedelim.

Laura Klein: Evet. Dediğiniz gibi ben bir UX ve ürün insanıyım. İyileşme sürecindeki bir mühendisim. 90’lardan beri teknoloji dünyasının içindeyim. Yani epey zaman oldu. Pek çok farklı şey yaptım. Users Know’u ilk olarak 2010’ların başında kurdum. Aslında tarihi hatırlamıyorum; bir zamanlar kesinlikle biliyordum. Tasarımı, müşteriler için tasarım ve araştırma yaptığımız gerçekten harika bir butik tasarım ajansında öğrendim.

Orada çok şey öğrendim. Harikaydı. Bu, çoğunlukla girişimlerde mühendis olarak epey zaman çalıştıktan sonraydı. Açıkçası sonunda ayrıldım, çünkü müşterilerimi işten çıkarabilme özgürlüğünü istiyordum. Gerçek yüzde yüz bu. Bir ajans için çalıştığınızda, her zaman şaka yaptığım gibi, pek çok kişiyi mutlu etmeniz gerekir.

Patronlarınızı mutlu etmeniz gerekir, müşterilerinizi mutlu etmeniz gerekir. Ayrıca, ideal olarak UX tasarımcısıysanız müşterilerinizi/müşterilerinizi de mutlu etmeniz gerekir. Garip biçimde bazen bu şeyler birbiriyle çatışır. Fark ettiğim şey, işi nasıl yapacağımız konusunda benimle tamamen aynı fikirde olan müşterilerle çalışabildiğimde çok daha iyi sonuç aldığımdı.

Çalışma biçimimi benimseyen insanlarla çalışmaktan gerçekten keyif aldım. Bunun özellikle öğretici olduğunu söylemiyorum ama işleri yapmanın belirli bir yolu var ve siz de buna uyuyorsanız harika anlaşır, birlikte çok iyi işler çıkarırız.

Hannah Clark: Evet, ben de ajans geçmişinden geliyorum ve bir uyum olduğunda işlerin çok daha iyi yürüdüğünü gerçekten anlayabiliyorum. Bazen uyumu zorlayamazsınız.

Laura Klein: “Benimle müzakere etmediğiniz ve sizin için yapabileceğimden emin olmadığım şu diğer şeyi istiyorsunuz.” Users Know için iş geliştirme yaptığım zamanların yarısında—çünkü bazen tam zamanlı işlerim oluyor, bazen de tamamen dolu oluyorum—insanlara “Bunu yapmıyorum. Şunu yapan tanıdığım biriyle konuşmak isteyebilirsiniz; onunla çok daha mutlu olacaksınız çünkü bu konuda benden daha iyi,” diyorum.

İnsanları geri çevirmekle zamanımın yaklaşık yarısını geçiriyorum. Çünkü tek bir siz varsınız ve yalnızca birkaç projeye ihtiyacınız var. Gerçekten “Bunu çok iyi yapabilirim,” diyeceğiniz işleri bulmak istiyorsunuz, değil mi?

Hannah Clark: Evet, bence bu, hem sizi hem de müşterinizi ulaşmak istediğiniz yere götürecek projeleri gerçekten seçebildiğiniz bir konumda olmanın neredeyse başarı göstergesi. Buna çok saygı duyuyorum.

Bugün, ürün bağlamında daha iyi kararlar almak için nitel ve nicel araştırmayı birleştirmeye odaklanacağız. Kendi deneyiminizden, bu iki disiplini birleştirme konusunda ekiplerin ne gibi zorluklar yaşadığını görüyorsunuz?

Laura Klein: Her konuda. Çalışma biçimimin çok özel olduğu noktalardan biri bu. Bence sorun şu: İnsanların bunun her iki tarafında da tuhaf biçimde zorlandığını görüyorum. Pek çok kişi nitel kullanıcı araştırması yapmakta gerçekten zorlanıyor. Pek çok kişi de nicel kullanıcı araştırması yapmakta gerçekten zorlanıyor.

İkisini birleştirmeye gelince, tek boynuzlu at peşinde koşuyorsunuz, değil mi? Bu gerçekten zor bir şey, çünkü o kadar çok şeyi doğru yapmanız gerekiyor. Ve şaka yapmıyorum. İnsanlar her konuda zorlanıyor. Pek çok kişi iyi nitel araştırma yapmayı bilmiyor.

Ne zaman yapacaklarını bilmiyorlar. Bunu meslek olarak yapan, işinde harika ve ne yaptığını gerçekten bilen muhteşem profesyonelleri ne zaman işe almaları gerektiğini bilmiyorlar. Nicel tarafta matematik zordur, değil mi? Mesele yalnızca matematiğin zor olması değil; istatistik de aslında hiç kimse için sezgisel değildir.

Bunun ötesinde, doğru verileri elde edebilmek için ürününüzü ölçümlenecek şekilde yapılandırmak zordur. Pek çok şirket bütün verileri topluyor ama bir şekilde bunların hiçbiri doğru değil. Her iki taraf da tam bir karmaşa. Sonra gerçek sorunları ele almamış ya da temelde yanıtladıkları iyi bir sorusu olmayan kötü yapılmış nitel araştırmayı, gelişigüzel toplanmış ve belki de doğru olmayan verilerle birleştiriyorsunuz.

Sonra ikisini birleştirmeye çalışıyorsunuz. Elde ettiğiniz şey bu oluyor ve hiçbir şey iyi olmuyor. Bu herkes için geçerli değil; bu en kötü senaryo. Sıklıkla, belki gerçekten harika bir nitel araştırma ekibine sahip şirketler görüyorum. Bu ekipler bilgiyi toplamakta çok iyi ama ürün kararlarına entegre etmekte o kadar iyi olmayabiliyor.

Ya da bazen veriye o kadar odaklanmış ürün yöneticileri görüyorsunuz ki işlerin nitel tarafına hiç bakmıyorlar. Bu nedenle hiçbir şeyin neden olduğunu gerçekten anlamıyorlar. Bütün gün yalnızca sayılara bakıyorlar ve “Belki budur. Belki şu diğer şeydir. Belki başka bir şeydir,” diyorlar.

Bu çok yaygın bir kalıp: “veri odaklı” ürün yöneticisi. Bakın, verilerle bilgilenen ürün kararlarını destekliyorum ama veriler size hiçbir şeyin neden olduğunu anlatmaz. Yalnızca ne olduğunu söyler.

Bazen bunu bile iyi yapamazlar. Yani evet, her şey zor. Bu yüzden uğraşmamalı ve içgüdülerinize güvenmelisiniz. Hayır, bu doğru değil. Özür dilerim.

Hannah Clark: Evet, kesinlikle çıkarılacak sonuç bu değil.

Laura Klein: Kesinlikle değil. Çıkarılacak asıl sonuç pes etmemek.

Hannah Clark: Hayır, devam ediyoruz. Gösteri devam etmeli.

Laura Klein: Evet, yaptığımız şeyin zor olduğunu kabul ediyor, yeni şeyler öğrenmek için kendimize alan tanıyor ve her şeyi bilmeyebileceğimizi itiraf ediyoruz. Her iki taraf hakkında da sürekli yeni şeyler öğrendiğimi söylüyorum. Her iki alanda da iyi olan uzmanlarla çalışıyor ve elimizden gelenin en iyisini yapıyoruz.

Hannah Clark: Biraz daha derine inmeyi ve topladığımız verilerin biraz daha güvenilir olmasını ya da ulaşmaya çalıştığımız şey için daha iyi bir içgörü kaynağı sunmasını nasıl sağlayabileceğimizi konuşmayı sabırsızlıkla bekliyorum.

Ama bu arada, yalnızca bu örneğin amacı doğrultusunda, nitel ve nicel araştırma tarafında iyi kaliteli verilere sahip olduğumuzu varsayalım.

Laura Klein: Evet, ikisinde de harikayız.

Hannah Clark: Evet. Evet. İşin başında en iyilerin en iyisi varmış gibi düşünelim. Ürün kararları bağlamında bu iki araştırma türünü bir araya getirmeye nasıl başlayabiliriz?

Laura Klein: Şöyle diyelim: Harika verilere sahip olduğumuzu bile söylemeyeceğiz.

Harika verileri elde edebilmemiz için insanların ve süreçlerin yerinde olduğunu söyleyeceğiz. Çünkü ilk adım, yanıtlamaya çalıştığınız soruyu bulmaktır. Bu da diğer her şey kadar zordur. Pek çok kişinin “Kontrol panellerimiz hazır. Sürekli kullanılabilirlik testleri yapıyoruz ve bütün bu şeyleri gerçekleştiriyoruz,” dediğini görüyorum.

Tamam ama bir karar vermeye çalışıyorsunuz, değil mi? Belirli bir karar vermeye çalışıyorsunuz. X’i yapmak istiyor muyuz? Sırada hangi yeni özelliği geliştirmek istiyoruz? Önceliğim ne? Ürün insanları olarak her gün verdiğimiz her türlü karar.

Harika. Şu anda hangisini vermeye çalışıyorsunuz? Bu belirli özellikte etkinleştirmeyi nasıl iyileştirebiliriz? Edinmeyi nasıl geliştirebiliriz? İnsanların X ay sonra ayrılmasını nasıl engelleyebiliriz? Bunlar kendimize sormamız gereken soru türleri, değil mi? Bazen “Bu özellik mi, yoksa şu özellik mi?” diye sormamız gerekir.

En çok yapmam gereken şeyi hangisinin gerçekleştirme ihtimali daha yüksek? Bu da bizi yine “Ölçümlerim neler ve onlarla ne yapmaya çalışıyorum?” sorusuna getiriyor. Yanıtlanabilecek iyi bir soruyla başlamalısınız. “Birisi bunun için ne kadar öder?” gibi bir soru olamaz. Gerçi olabilir ama her iki açıdan da yanıtlanması son derece zor bir sorudur.

Bazen bu soruyu yine de yanıtlamanız gerekir ama gerçekten daraltmalısınız. Yanıtlamaya çalıştığım şey ne? Sonra şuna bakmalısınız: Nicel veriler ürününüzde şu anda neler olduğunu söyleyecek. Nicel verilerden bahsederken mutlaka pazar araştırmasını kastetmiyorum; bu da belki daha erken aşamalarda dahil etmek isteyeceğiniz bir şey olabilir.

Özellikle analitikten, ürününüzde ölçtüğünüz ölçümlerden bahsediyorum. Örneğin nicel veriler, ürün öncesi aşamadayken size çoğu zaman pek bir şey anlatmaz. Ortada bir ürün yoksa nicel veriniz de yoktur. Ya da henüz çok fazla kullanıcınız yoksa yeterli nicel veriye sahip olmayabilirsiniz.

Bu nedenle bunları ne zaman kullanacağınızı düşünmelisiniz. Ama temelde size söyleyecekleri şudur: İnsanlar ne yapıyor? Neye tıklıyorlar? Ne satın alıyorlar? Buna tıklarlarsa gidip şu diğer şeyi satın alıyorlar mı? Bunlar size pek çok şey söyler ama nedenini söylemez.

Nitel verilerden bahsederken kullanıcı araştırmasını ve/veya kullanılabilirlik testini kastediyoruz; bunlar iki farklı şeydir. Genel olarak kullanıcı araştırması, kullanıcılarınızı, zihinsel modellerini, bağlamlarını, ne yapmaya çalıştıklarını, genel olarak ve ürününüzle ilgili ne tür sorunlar yaşadıklarını gerçekten anlamaktır. Tüm bunlar, gerçekleşen şeylerin neden gerçekleştiğini anlamanıza yardımcı olur.

Hepsi bu. Size ne olduğunu söylemez. Aslında nitel araştırmalar genellikle çok daha küçük insan gruplarıyla yapıldığı için—bu yinelemeli bir süreçtir, beş kişiyle yapıp sonsuza dek bitirmezsiniz—beş kişiyle konuşmaya dayanarak bazı kararlar veriyor olabilirsiniz.

İnsanlarla konuşuyorsunuz, sonra başka bir tur yapıyor ve daha fazla insanla konuşuyorsunuz; yani sürekli insanlarla konuşuyorsunuz. Ancak yalnızca belirli sayıda insanla konuşabilirsiniz ve bunu uzun bir zamana yayarsınız. İnsanlarla konuşarak kim oldukları ve ne yaptıkları hakkında gerçekten iyi bir fikir edinmeniz mümkündür. Fakat yalnızca insanlarla konuşarak neler olup bittiğine dair nicel veriler kadar iyi bir tablo elde edemezsiniz.

Ama nedenini anlarsınız. Örneğin bir ödeme süreciniz olduğunu varsayalım. Hepimizin yaptığı, belki hepimizin geliştirdiği, oldukça kolay bir şeyden bahsedelim. Bu çok yaygın bir şeydir. Buradaki herkes bir tür dijital üründe ödeme sürecinden geçmiştir.

Genellikle oldukça doğrusaldırlar. Birkaç adımları vardır. Şirketin sizden mutlaka alması gereken bazı bilgiler bulunur. Verileriniz doğru şekilde ölçümlenmişse insanların bu süreçte nerede ayrıldığını görebilirsiniz. Ve garanti ederim ki birileri bu süreçten ayrılmıştır.

Buna huni diyoruz. Aslında daha çok bir eleğe benziyor, değil mi? Neredeyse herkes sona ulaşıyor. En iyi senaryoda bu bir huni. Gerçek senaryoda insanlar sürekli ayrılıyor. Berbat bir huni. Olan bu. Veriler size tam olarak nerede ayrıldıklarını söyler. Bu harika. Sonra pek çok ürün yöneticisinin şunu yaptığını görüyorum: “Herkes kredi kartı bilgilerini girmeleri gereken bu bölümde ayrılıyor,” diyorlar ve hemen çözüm üretmeye ya da fikir geliştirmeye başlıyorlar.

“Bunu yapmalıyız. Bu değişikliği yapmalıyız. Bunu görmeyi kolaylaştırmalıyız. Tamam düğmesini değiştirmeliyiz.” Ya da birkaç kişinin şu lanet ödeme sürecini kullanmasını izleyip burada bariz bir şey olup olmadığını anlamaya çalışabilirsiniz. Çünkü birçok şey olabilir. İnsanların ödeme süreçlerinden, işe alıştırma süreçlerinden ya da herhangi bir veri toplama sürecinden ayrılmasına neden olan düzinelerce farklı şey gördüm.

Önemli olan, bunun neden önemli olduğu, nedenin önemli olmasının sebebi, bu soruna doğru çözümün lanet sorunun ne olduğuna bağlı olmasıdır. Sorunun insanların ayrılması olduğunu söylemek sizin sorununuzdur. Onların sorunu “Bu şeyi anlamadım,” olabilir. Ya da daha önce gördüğüm gibi, bunu yapmamı engelleyen bir hata vardır. Bunu görmez veya var olduğunu bilmezseniz asla düzeltemezsiniz.

Ödeme sorununu asla çözemezsiniz. Ya da doğru ödeme yöntemlerine sahip değilsinizdir veya bunun gibi düzinelerce başka şey vardır. Birini izlediğinizde “Bu küçücük şeymiş, bunu düzeltebilirim,” demek gerçekten şaşırtıcıdır. Kullanıcı araştırması ya da kullanılabilirlik testi yapmamı izleyen mühendislerin, test sırasında soruna neden olan hatayı düzelttiği ve üretime gönderdiği oldu.

Bir sorun yakaladık. Bunun açıkça bir sorun ve açıkça bir hata olduğu belliydi. İzleyen mühendis, kucağındaki dizüstü bilgisayarda hatayı düzeltti. Oturumun ilerleyen bölümünde buna geri döndük ve kişi “Bunun bozuk olduğunu sanıyordum,” dedi.

“Ben de öyle sanıyordum,” dedim. Arkama döndüğümde mühendis başını sallayıp bana başparmağıyla onay işareti yapıyordu. “Sanırım artık sorun değil,” dedim. Yani mesele yalnızca ne olduğunu anlayıp çözümle ilgili bir sürü fikre atlamak değil; gerçekten neden olduğunu bulmak.

Sonra belki çok basit bir çözüm vardır, bunu uygular ve hayatınıza, daha önemli sorunlara devam edersiniz.

Hannah Clark: Sizce önce çözüm üretmek yerine bu çözüme yönelmemizi engelleyen şey ne? Sizin bakış açınıza göre neden bu tercih edilen yöntem değil?

Laura Klein: Nitel araştırma zordur. Genellikle zaman alıcı olarak görülür. Gerçekten de zaman alabilir. Bazı kuruluşlarda bunu yapmak diğerlerinden çok daha zordur. Örneğin insanlarla konuşmanıza izin verilen kişi sayısı çok sınırlı olabilir, insanları işe almak zor olabilir ya da insanları işe almanıza yardımcı olacak sağlam bir araştırma operasyonları süreciniz olmayabilir.

Çok fazla iştir. Gerçekten çok iş olabilir. Doğru zamanda doğru türde araştırmayı hızla başlatabilmeniz için her şeyi önceden hazırladıysanız makul ölçüde kolay olabilir. Bazı insanların bu konuda uzmanlığı yoktur. Dışarı çıkıp insanlarla konuşmaktan çekinirler.

Ayrıca fikir geliştirmek kolay ve eğlencelidir; bunu bir odada oturarak yapabilirsiniz. Bu, insan doğasına çok uygun bir şeydir. Ürünlerle ilgili olmayan herhangi bir konuda insanlarla kaç kez konuştuğumu anlatamam. “Akşam yemeğinde ne istiyorsun?” “Bilmiyorum.” Sonra farklı yiyecek türleri hakkında konuşmaya başlarsınız.

Orada oturup bunu çözmek için eksiksiz bir süreç düşünmezsiniz. Bence insan beyinleri fikir üretmek için tasarlanmış; fikirler eğlenceli ve kolaydır. Her zaman harika değildirler.

Her zaman doğru da değildirler. Mesele biraz bu. Ayrıca pek çok ürün insanının ürünlerindeki sorunlarla ilgili çok güçlü fikirleri olduğunu düşünüyorum. Hepimiz yaptığımız şeylerin kusursuz olmadığını biliyoruz ve bir sorunun var olduğuna dair güçlü kanaatlere sahip olabiliriz.

“Bunun bir sorun olduğunu biliyordum çünkü falan filan,” deyip, karşılaştığınız sorunla teknik olarak ilişkili olmasa bile bildiğiniz bu sorunu çözmeye çalışabilirsiniz. Bunu da sıkça görüyorum. “Ama yapay zekâ eklemek istiyorum. O hâlde bütün sorunlar yeterince yapay zekâmız olmamasından kaynaklanıyor.” Hayır, üzgünüm. Şu anda size söyleyebilirim ki sorununuz yeterince yapay zekâya sahip olmamanız değil.

Hannah Clark: Arka sıralardakilerin duyacağı kadar yüksek sesle söyleyin. Bununla ilgili başlı başına bir bölüm yapabilirim.

Laura Klein: Evet, ben de. Yapay zekâyla çözebileceğiniz sorunlar elbette var. Hatta bazılarını yapay zekâyla daha iyi çözebilirsiniz. Kim bilir? Ama sorun, yeterince yapay zekâya sahip olmamanız değil. Her zaman şaka yaptığım gibi, sorun ürününüzün yeterince özelliğe sahip olmaması değil.

Hannah Clark: Buna kadeh kaldırıyorum. Evet, kesinlikle bir yapay zekâ özelliğine sahip olmaması da değil.

Laura Klein: Belirli bir özelliğe sahip olmaması da değil. Sorununuz, kullanıcıların sorunlarını onlar için yararlı ve değerli olacak şekilde çözmemesi.

Hannah Clark: Bunun dövmesini yaptırmam gerekiyor.

Laura Klein: Belki bir yastığa işletebilirsin.

Hannah Clark: Evet.

Laura Klein: Biraz uzun.

Hannah Clark: Daha fazla katılamazdım. Vücutta pek akıcı durmaz.

Her neyse, nitel ve nicel araştırmalardan hangisinin ne zaman uygulanmasının uygun olduğu farklı durumlardan biraz bahsedelim. Birinin diğerini nasıl bilgilendirdiği konusunda verdiğiniz kısa ve öz örneğin gerçekten iyi olduğunu düşünüyorum. Açıkçası birinin diğerinden daha değerli olduğu bağlamlar var. Biraz da istisnalardan bahsedelim.

Laura Klein: Hatırlamanız gereken şeylerden biri, bazen bu iki yöntemden birinin ya da diğerinin sizin için kesinlikle erişilebilir olmamasıdır.

Bu durumda elinizdekiyle yapabileceğinizin en iyisini yaparsınız. Dediğim gibi, belirli ortamlarda, özellikle kurumsal ortamlarda, doğru kişilerden nitel veri elde etmek çok zor olabilir. Kurumsal ortamlar büyüleyicidir çünkü birden fazla kullanıcı türünüz vardır. Çoğu zaman alıcı ve müşteri birbirinden tamamen farklıdır ve ihtiyaçlarıyla beklentileri de tamamen farklıdır.

Bu nedenle birinden ya da diğerinden görüş almak çok daha kolay olabilir. Yöneticilerden hiç bahsetmeyelim. Her ne kadar onlarla çok araştırma yapmış ve bunun son derece yararlı olduğunu görmüş olsam da onlara ulaşmak zordur. Bazen bu veriyi elde etmek çok zordur ama yine de tamamen buna değer.

Bu durumda tavsiyem, bu kişileri bulmanıza yardımcı olacak bir süreç oluşturmaktır. Nicel verilerde de kurumsal ortam iyi bir örnektir. Bazen yeterli veriniz olmaz. Özellikle sıklıkla bahsettiğim ve belirli koşullarda son derece yararlı olduğunu düşündüğüm A/B testleri açısından nicel verilerden söz ediyorsanız.

A/B testi, farkı görebilecek kadar çok kişiniz varsa harikadır. Ancak doğrudan tüketiciye yönelik bir pazarda erken aşamadaysanız, farkı anlayamayacağınız kadar çok farklı segmentiniz varsa ya da yeterince kullanıcınızın olmadığı bir kurumsal ortamdaysanız bu veriyi asla elde edemezsiniz.

Bu sizin için bir seçenek değildir. Üzgünüm. Nitel araştırma yapmanız ve en iyi tahmininizi kullanmanız gerekecek.

Hannah Clark: Hedeflerimizi belirlemeden önce ne kadar büyük bir örnekleme ihtiyacımız olduğunu nasıl belirleriz?

Laura Klein: Veri tarafında gerçek bir veri bilimciyle konuşmanız gerektiğini söyleyeceğim. Matematiğin zor olduğunu söylerken şaka yapmıyordum ve bu özel matematik türü inanılmaz derecede zor. İnsanların bunu pek çok kez yanlış yaptığını gördüm. Beklemediğiniz her türlü tuhaf sorun ortaya çıkabilir; örneğin veriye erken bakma sorunu.

Bu, veriler tamamlanmadan onlara bakmamanız gerektiği anlamına gelir. Her neyse, bu başlı başına bir konu. Dışarıda çok fazla bilgi var. Bu matematiği size açıklayacak kişi ben değilim. Çok değişken ve A/B testinin her kolunda ihtiyaç duyduğunuz kişi sayısına çok fazla bağlı.

Ayrıca varyantlar meselesi var. Veri kümenizde aşırı uç değerler olabilecek bir durumla sıkça karşılaşıyoruz. Örneğin çok yüksek harcama yapan müşterileriniz varsa; bazıları on binlerce dolar harcarken çoğu bir dolar harcıyorsa, bu durum A/B veri kümelerinizi kolayca çarpıtabilir.

Verilerinizi doğru elde etmek için incelemeniz gereken her türlü farklı değişken var. Bu nedenle çoğu insanın bu konuda başarısız olduğunu söylüyorum; çünkü zor ve bunu uzmanların yapması gerekiyor. Nitel araştırmayı da uzmanların yapmasını tavsiye ederim; o da zor ama tamamen farklı bir biçimde.

Nitel araştırmada örneklem büyüklüğü konusunda her zaman şunu söylerim: İstatistiksel anlamlılık aramıyorsunuz. Elde edeceğiniz şey bu değil. “İstatistiksel olarak anlamlı bir nitel araştırma yaptık,” diyen insanlara “Hayır, yapmadınız,” diyorum. Hadi ama. Aradığınız şey tekrarlanan ve öngörülebilir örüntülerdir.

Bu nedenle, sanırım araştırma yapmaya 90’larda başladığımdan beri var olan eski bir araştırma, sorunlarınızın çoğunu beş kişide göreceğinizi söylüyordu. Ama bu, özellikle kullanılabilirlik testiyle ilgili. Bir ürünün belirli bir arayüzündeki engelleri bulmakla ilgili. Herkesin ürünü aynı şekilde kullandığına dair pek çok varsayım içeriyor.

Bu, yalnızca tek bir ülkede kullanılan ve yalnızca birkaç farklı kullanıcı türüne sahip bir ödeme akışı için doğru olabilir. Kullanılabilirlik sorunlarınızın çoğunu dört ya da beş kişide bulabilirsiniz. Daha önce bahsettiğimiz hatayı tek bir kişide buldum. O kişinin başına geliyorsa muhtemelen pek çok kişinin başına geliyordur. Bunu düzeltmeliyiz. Gerçekten de öyleydi.

Bu tür bazı şeyleri çok kolay ve hızlı biçimde bulabilirsiniz. Ancak göreceğiniz örüntüleri tahmin etmeye başlayabilene kadar çoğu zaman insanlarla konuşmanız gerekir. Benim yapmayı sevdiğim şeylerden biri verilerin sürekli sentezini gerçekleştirmektir. Biriyle konuştuktan sonra geri dönüp verileri sentezleriz: Çıkarımlar neydi? Gözlemler neydi? Bu kişinin davranışları nelerdi? İhtiyaçları nelerdi? Sorunları nelerdi? Hedefleri nelerdi?

Sonra bunu sürekli geliştiririm ve “Gelen kişi şu türden biri. Sanırım şu grupta,” diyebilecek hâle gelirim. Persona, organizasyon personeli ya da her ne kullanıyorsanız, bu tür kişinin geldiğini ve muhtemelen bu şekilde davranıp şu sorunları yaşayacağını öngörebilirsiniz.

Haklıysanız örüntüleri görmeye başladığınızı anlarsınız. Dediğim gibi, nitel araştırma sürekli devam eden bir şey olmalı. İnsanlarla her zaman konuşmalısınız. Bu nedenle örneklem büyüklüğü konusunda fazla endişelenmenize gerek yok.

Birkaç kişinin bir şeyle gerçekten zorlandığını görüyorsanız, bu sorunu yaşayan dünyadaki tek üç kişi muhtemelen onlar değildir. Benzersiz biçimde aptal kullanıcılar bulmuş olmanız pek olası değil. Eğer öyleyse, eleme sürecinize bakmanız ilginç olabilir.

Genel olarak insanlarla bir şeyler hakkında konuşmak için onları davet ettiğinizde aynı şeyleri oldukça hızlı ve tekrar tekrar görürsünüz. Eğer görmüyorsanız ve birbirinden tamamen farklı şeyler görüyorsanız, araştırma katılımcılarınızı doğru biçimde segmentlere ayırmadığınız bir sorunla karşı karşıya olabilirsiniz.

Herkes ürünleri aynı amaçla kullanmaz. Herkes ürünleri aynı şekilde kullanmaz. Deneyimli kullanıcılarla yeni kullanıcılarla konuşuyorsanız muhtemelen farklı sorunlarla karşılaşırsınız.

Belirli bir biçimde satın alan kişilerle ya da toptan satın alan kişilerle yalnızca aileleri için satın alan kişilerle konuşuyorsanız farklı davranışlar görürsünüz ve muhtemelen farklı ihtiyaçları vardır. Bu kişilerin tümünden birbirinden tamamen farklı ihtiyaçlar görüyorsanız, belki de neden farklı olduklarını bulmanız gerekir. Gerçekten farklı gruplarda mı yer alıyorlar?

Hannah Clark: Evet. Segmentasyondan bahsetmenize çok sevindim. Gerçekten karar verebileceğimiz bir veri kümesi geliştirmeye çalışırken bu konu çoğu zaman gözden kaçıyor.

Nitel ya da nicel bir araştırma sürecine girerken segmentasyonun önemli bir etken olacağını biliyorsak, bu konuda bize ne gibi tavsiyeler verirsiniz? Buna proaktif biçimde nasıl yaklaşmalıyız?

Laura Klein: Segmentasyon neredeyse her zaman büyük önem taşır. Ama yine söyleyeceğim. Tanrım, bunu söyleyeceğim. Özür dilerim. Bir UX tasarımcısı gibi davranacağım: Duruma göre değişir. Burada durmayacağım.

Neye bağlı olduğunu açıklayayım. Pek çok farklı etkene. Örneğin bir zamanlar uygulanmış bir yapay zekâ özelliğinden bahsedelim. Bu ürün, işe alım uzmanlarının potansiyel iş arayanlara ulaşmasına yardımcı oluyordu.

Hangi platformda olursanız olun, “Özgeçmişinizi gördük ve X ile ilgilenebileceğinizi düşündük,” şeklinde bir mesaj aldığınızda ne demek istediğimi biliyorsunuz. Görünen o ki pek çok insan bu e-postaları yazmakta gerçekten kötü. Bunu profesyonel olarak yapan bazı insanlar bile kötü yazıyor. Bu e-postaları yazmak zor.

Özellikle bunu sürekli yapmayan insanlar kötü yazıyor. Bir ya da iki kişi arayan işe alım yöneticileri, “Bu kişiye ulaşıp görüşmeye gelmek isteyip istemediğini nasıl söyleyeceğim?” sorusunu daha önce düşünmemiş olabilir.

Şirket, insanların daha iyi iletişim e-postaları yazmasına yardımcı olmak için yapay zekâ sihri kullanmaya karar verdi. Yapay zekânın kullanım alanlarından biri, bir konuyu özetlemek ve daha iyi bir e-posta yazmaktır. E-postayı daha samimi ya da daha resmî hâle getirmenize izin veriyorlardı.

Sonuç genel olarak gerçekten yararlı oldu. Yapay zekânın yazdığı e-postalar, iş ilanındaki önemli bilgileri dahil etmeye yardımcı oldu, metni daha açık ve daha az istenmeyen ileti gibi hissettirdi. Genel olarak harika sonuç verdi, işleri iyileştirdi ve daha fazla yanıt alınmasını sağladı.

Sorun şuydu: Bu ürünü kullanan küçük bir grup insan bu konuda gerçekten uzmandı. Yaptıkları tek şey bu tür iletişim e-postalarını yazmaktı. E-postaları kendi başlarına A/B test ediyor, uymaları gereken kurumsal standartlara sahip oluyorlardı.

Bütün gün bu e-postaları gönderen son derece profesyonel bir işe alım uzmanını düşünün. Hangi e-postaların daha iyi sonuç verdiğini bulmak için kendi taraflarında veri bilimcilerden oluşan ekipleri vardı. Yapay zekâ onlara yardımcı olmadı. Hatta yapay zekâ iş akışlarını bozabilirdi.

Kurumsal standartlara uyan, gerekli tüm hukuki bilgileri içeren ve A/B testinden geçirilmiş bir şablonun yeniden yazılmasını kesinlikle istemiyorlardı. Şablonlarını kullanmak istiyorlardı. Elbette ürünü en çok kullanan ve ürün için ödeme yapma ihtimali en yüksek kişiler de onlardı.

Burada çok az para ödeyen büyük bir grup insan ve çok para ödeyen küçük bir grup insan var. Şimdi bununla nasıl başa çıkacağınıza karar vermeniz gerekiyor. Açıkçası yanıt, insanlara bunu kullanma seçeneği sunmak ama zorunlu kılmamak.

Yalnızca verilere bakıp “İnsanlar, genel olarak bütün kullanıcılarımız yapay zekâyla daha iyi sonuç aldı,” derseniz yanılırsınız. İnsanların çoğu yapay zekâyla daha iyi sonuç aldı. Size en çok para ödeyen küçük grup ise yapay zekâyla daha kötü sonuç aldı.

Bu nedenle bunu herkese zorla kullandırmıyoruz. Herkesin sahip olması gereken bir şey değil. Çok farklı insan gruplarına sahip olabileceğinizi ve davranışları açısından bazı grupların şirketiniz için diğerlerinden daha önemli olabileceğini aklınızda tutmalısınız.

Hannah Clark: Bu, segmentasyonun yalnızca kimi segmentlere ayırdığınızla ya da segmentlerinizin kim olduğuyla ilgili olmadığını; onların genel iş değerindeki ve ürün stratejisindeki rolüyle de ilgili olduğunu gösteren çok iyi bir örnek. Bunu gündeme getirmenize sevindim çünkü özellikle yapay zekâ özelliklerini entegre ederken hepimizin bunu hesaba katmasını isterim.

Laura Klein: Bu bütün özelliklerle ilgili ama evet, özellikle yapay zekâyla ilgili.

Hannah Clark: Buna karşı gerçekten söyleyecek çok şeyim var. Ama neyse, konudan sapıyorum. Zamanımızın sonuna geldiğimiz için araştırma sürecinde nasıl eğlenebileceğimizden biraz bahsetmek istedim.

Araştırmanın kuru ya da zaman emen bir şey olarak görüldüğünü hissediyorum. Oysa insanlarla konuşup içgörü elde edebilmekte çok fazla değer var ve bu süreç aynı zamanda çok eğlenceli olabilir. Sizin de bundan bahsettiğinizi düşünüyorum. Bir araştırma projesinde yaşadığınız en eğlenceli deneyim neydi?

Laura Klein: Bazen el işi çalışmalarına dönüşüyor; benim gibiyseniz bu oldukça keyifli. Ama herkes benim gibi değil ve Excel tablolarıyla, özet tablolarla ve verilerle uğraşmaya bayılmıyor. Bunu anlıyorum. Bunların eğlenceli olduğuna sizi ikna etmeye çalışmayacağım; gerçi benim için eğlenceli.

Verinin bu tarafını seviyorum. Bu kısım eğlenceli. Nitel taraf ise gerçekten yaratıcı olabilir. Yaratıcı biriyseniz sorunlara yanıt bulmanın yaratıcı ve ilginç yollarını keşfetmek çok havalıdır.

Yüz yüze çalışmalar yapıyorsanız, havaalanlarını tasarlayan insanlar için çok eğlenceli bir hizmet tasarımı çalışması vardır. Bazen sahte bir hastane kurarlar. Gerçek bir hastaneye girip orada bir şeyleri değiştirmeye başlamak istemezsiniz; insanların öldüğü bir ortamda bunu yapmak hoş karşılanmaz.

İnsanların akışını incelemek için sahte hastaneler kurulduğunu gördüm. Arabalar sığıyor mu? Teknoloji entegre edilecek. Nereye konmalı? Taşınan bir şey mi olmalı? İnsanların gerçekten bir şeyler yaptığını görüyorsunuz. Büyüleyici.

İnsanları işlerinin başındayken takip etmekten ne kadar keyif aldığımı söylediğimde kulağa ürkütücü geliyor ama bundan gerçekten hoşlanıyorum. İnsanları bir şeyler satarken ya da işlerini yaparken takip etmek ve hayatlarını nasıl yaşadıklarını anlamak eğlenceli.

Belki gizlice antropolog olmalıydım. İnsanların bir şeyleri nasıl yaptığına dair daha fazla şey anlamanın keyifli bir yanı var. Gerçekten eğlenceli ortak tasarım çalışmaları düzenleyebilirsiniz. Bazıları Lego içerir. Ortak tasarım çalışmalarına bakın; gerçekten keyiflidir.

İnsanlara bir şeyler çizdirebilir, haritalar oluşturabilir veya onlarla birlikte çalışabilirsiniz. Tüm bu karma yöntemli nitel araştırmalar yalnızca eğlenceli olmakla kalmaz; insanların zihinsel modellerini anlamanıza da yardımcı olur. Bu kişinin yapmaya çalıştığı şey hakkında nasıl düşündüğünü anlamanızı sağlar.

Benim gibiyseniz—ki sizin iyiliğiniz için umarım değilsinizdir—bu gerçekten keyiflidir. İnsanların zihninin içine küçük bir bakış atmak gibidir. Daha az eğlenceli kısımları da vardır. Örneğin inşa ettiğiniz ve heyecan duyduğunuz şey iyi gitmediğinde kullanılabilirlik testlerini izlemek zor olabilir.

Bir mühendis tanıyordum; kullanılabilirlik testlerini izlemekte gerçekten zorlanıyordu. Testleri, kişinin çok zorlandığı ve dehşete kapılmış göründüğü için “rehine videoları” olarak adlandırıyordu. Yaptığınız bir şeyi birinin kullanmasını izlemek ve beklediğiniz gibi gitmediğini görmek gerçekten acı verici olabilir.

Hannah Clark: Ama gerekli bir acı.

Laura Klein: Bunun eğlenceli tarafını biliyor musunuz? Sorunu düzeltmek ve bir sonraki insan grubunun süreçte rahatça ilerlemesini izlemek. Eğlenceli olan kısım bu.

Zor kısmı yaşamazsanız, onunla zorlanan insanlar siz izlemek zorunda kalmasanız bile hâlâ orada olur ve ürününüzü satın almazlar. Eğlenceli tarafın sorunu görmek, anlamak, o aydınlanma anını yaşamak ve “Artık bunu nasıl düzelteceğime dair gerçekten harika bir fikir bulabilirim,” demek olduğunu düşünüyorum.

Bence bu harika. Ama yine de özet tabloları seviyorum. Herkesin zevki kendine.

Hannah Clark: Şahsen insanlarla konuşmayı ve duvardaki bir sinek gibi gözlem yapmayı çok ilginç buluyorum. Podcast’i bu kadar sevmemin nedenlerinden biri de bu. Eğlenceden bahsetmişken, bu sohbet benim için çok eğlenceliydi. Sizinle konuşmaktan gerçekten keyif aldım. Eminim diğer herkes de sizi dinlemekten keyif almıştır. Sizi daha fazla çevrim içi takip etmek isteyenler nereden ulaşabilir?

Laura Klein: Şu anda ne yaptığımı, bunu ara sıra kamuya açık şekilde yaptığımda, gerçekten görebileceğiniz tek yer LinkedIn. Blue Sky’da da varım. Orada işle ilgili pek konuşmuyorum ama belki ileride konuşurum.

Umarım bu yıl içinde bir gün Maven’de nitel ve nicel veriler ve bunların nasıl birleştirileceği hakkında bir ders başlatacağım. Benden doğrudan bir şeyler öğrenmek isterseniz bu ders bundan çok daha uzun olacak ve çok daha fazla ayrıntı, alıştırma ve şablon içerecek.

Birkaç kitap yazdım ama bir süredir yayımdalar. Okuyabilirsiniz. Ayrıca bazen What is Wrong with Hiring? adlı bir podcast’te yer alıyorum. Bu podcast tasarım, araştırma ve ürün alanlarında işe alımla ilgili.

Hannah Clark: Eğer orada da bu sohbetteki gibiseniz, dinlemek için sabırsızlanıyorum.

Laura Klein: Çok daha fazla küfür ediyorum. Özür dilerim.

Hannah Clark: Beni de yazın. Abone oldum bile.

Pekâlâ, Laura, zaman ayırdığınız için çok teşekkür ederim. Bu sohbet son derece eğlenceli ve çok bilgilendiriciydi. İnsanların bu bölümle ilgili geri bildirimlerini duymayı gerçekten sabırsızlıkla bekliyorum.

Laura Klein: Çok teşekkür ederim. Burada olmak harikaydı.

Hannah Clark: Bizi dinlediğiniz için teşekkürler. Daha fazla harika içgörü, nasıl yapılır rehberi ve araç incelemesi için theproductmanager.com/subscribe adresinden bültenimize abone olun. Podcast’inizi dinlediğiniz her yerde The CPO Club’a abone olarak bunun gibi daha fazla sohbeti dinleyebilirsiniz.