Ürün-Süreç Açığı: Kuruluşunuzun Bütçesindeki Bu Sızıntıyı Nasıl Durdurabilirsiniz?

Transkript’i Okuyun:

Podcast’lerimizin transkripsiyonunu bir yazılım programı kullanarak deniyoruz. Bot her zaman yüzde 100 doğru çalışmadığı için lütfen yazım hatalarını mazur görün.

Hannah Clark: Çevik kuruluşlarla ilgili harika şeylerden biri, kuruluşlarımızı ve sunduğumuz ürünleri geliştirmek için sürekli deney yapıp öğrenmemizdir. Teknolojideki her ilerleme, bir tür denemenin sonucudur; ancak madalyonun diğer yüzü de var: Deneyler her zaman olumlu sonuçlara yol açmaz. Aslında birçok deney ciddi kusurlar içerir ve bir deneyin sonucuna yüz binlerce dolar bağlıyken, istediğimiz son şey hatalı verilerle karar vermektir. İşin korkutucu yanı şu: Çoğu zaman verilerin hatalı olduğunu, artık çok geç olana kadar fark etmeyiz.

Bugünkü konuğum, Effective Experiments’ın kurucusu Manuel Da Costa. Kuruluşunun adından da anlayabileceğiniz gibi Manuel, temel olarak kuruluşların daha iyi deneyler yapmasına ve bunun sonucunda daha iyi ürün kararları almasına yardımcı olmakla ilgileniyor. Doğru araçlar deney ve veri analizi süreçlerini geliştirmemize kesinlikle yardımcı olabilir; ancak kendisi aynı zamanda kuruluş şemasının sınırlarında ortaya çıkan ve ürün-süreç açığı adını verdiği bir olgu da tespit etmiş. Bu açık, teknoloji şirketlerine sessizce milyonlara mal oluyor. Hemen konuya girelim.

CPO Kulübü podcast’ine tekrar hoş geldiniz. Bugün Manuel Da Costa ile birlikteyim.

Manuel, bugün bize katıldığınız için çok teşekkür ederim.

Manuel Da Costa: Herkese merhaba! Hannah, beni davet ettiğin için teşekkürler.

Hannah Clark: Bize geçmişinizden ve bugün bulunduğunuz noktaya nasıl geldiğinizden biraz bahsedebilir misiniz?

Manuel Da Costa: Elbette. Effective Experiments’ın kurucusuyum. Şirketimiz, şirketlerin daha iyi iş birliği yapmasına ve daha iyi ürün kararları almasına yardımcı olan yazılımlar sunuyor. Geçmişim, yalın girişim ortamında başladı. Orada doğrulama için kullanılan test et ve öğren yaklaşımını öğrendim. Daha sonra dönüşüm optimizasyonu dünyasına ve giderek kendi ürünümü geliştirmeye yöneldim. Şimdi ürün ve müşteri deneyimi ekiplerinin birlikte daha iyi çalışmasına yardımcı oluyoruz.

Kariyerimde beni bugün bulunduğum noktaya getiren şey de bu. Bu podcast’te anlatmak istediğimiz hikâye bu.

Hannah Clark: Bu konuya derinlemesine girmeyi sabırsızlıkla bekliyorum.

Bugün, sizin ürün-süreç açığı olarak adlandırdığınız bir olguya odaklanacağız. Öncelikle bunun ne anlama geldiğini ve bu açığın ortaya çıktığı koşulları bize anlatabilir misiniz?

Manuel Da Costa: Elbette. McKinsey kısa süre önce bir araştırma yaptı ve iyi ile kötü ürün yönetimi uygulamaları arasındaki farkı inceledi. Konu aslında liderliğin ürünün nasıl yürütülmesi gerektiğine ilişkin beklentileriyle, ürün yöneticilerinin sahada gerçekten yaptıkları arasındaki farka dayanıyor. Tespit ettiğimiz bir kopukluk var. Buna ürün-süreç açığı adını verdim; ancak gerçekte bu, beklentiler ile gerçeklik arasındaki fark.

Bunun birçok nedeni var ve bunlara değineceğiz. Ancak temel olarak yönetim daha iyi ürünler istiyor, ürün yöneticileri ve ürün sahipleri ise bunu sunamıyor. Bunun da pek çok nedeni bulunuyor.

Hannah Clark: Bunu biraz daha açalım. Bunun gerçekleşmesinin birçok etkeni olduğunu söylediniz. Peki bu açığın ortaya çıkma süreci ya da kaynağı nedir? Buraya nasıl geliyoruz?

Manuel Da Costa: Günümüzde ürün ekiplerinden ne yapmalarının istendiğine bakalım: Aldıkları her ürün kararını doğrulamaları. Deney yapmak, ürün ekiplerinin hipotezlerini ve doğru ürünü sunup sunmadıklarını doğrulamak için kullandıkları bir araç hâline geldi.

Deney yürütmekle görevlendirilen birçok ürün ekibinin bu konuda deneyimi veya bilgisi yok. Bilgileri olsa bile deney yapma konusunda genellikle yüzeysel bir bilgiye sahipler. Sonuç olarak deneyler yoluyla kararlar alınıyor; ancak deneyin kendisi hatalı olabilir. Yeterince titiz olmayabilir. Bunun yanında başka unsurlar da var.

Ekipler arası iş birliğinden, ne yapılması gerektiğinin farkında olmaktan ve etkili önceliklendirmeden söz ediyoruz. Ürün alanında, özellikle ne yapılması gerektiği konusunda çok sayıda çelişen öncelik var. Deneyler de sürece dâhil edildiğinde, en yüksek çıktıyı elde etmek için iş listesinin nasıl etkili biçimde önceliklendirileceği önem kazanıyor.

Bunlar sahada gördüğümüz belirtilerden bazıları. Ürün ekiplerinden hem uygulama yapmaları hem de deney yapmayı uygulamalarına yerleştirmeleri isteniyor; ancak bunun için gerekli destek sağlanmıyor.

Hannah Clark: Bu denklemde ne eksik? Bu konuma getirilen ürün yöneticilerinde gelişmemiş bir kullanıcı deneyimi araştırması beceri seti varmış gibi görünüyor. Bunun da en azından kusurlu çıktılar açısından bir domino etkisi yarattığını düşünürsek, ürün yöneticilerinin kendilerini hazırlıksız bulmalarının temel nedenleri sizce neler?

Manuel Da Costa: Deney yapmanın hangi alana aktarıldığına bakalım. Birçok kuruluşta deneyleri esas olarak pazarlama veya dönüşüm oranı optimizasyonu ekipleri yürütüyordu.

Belki birkaç kişiden oluşan küçük bir mükemmeliyet merkezi ekibiydiler. Zamanla ürün ekiplerine becerilerini aktarmaları ve bu ekiplerin kendi deneylerini bağımsız biçimde yürütebilmesi istendi. İlk zorluk bilgi eksikliğiyle başlıyor. Kuruluşlar bazı eğitim çalışmaları veya nasıl yapılacağını gösteren rehberli oturumlar düzenleyebilir.

Ancak süreç burada sona eriyor. İnsanlara bazı araçlara erişim ve yüzeysel bir eğitim veriliyor; fakat gelişip gelişmediklerini gerçekten anlamalarına yardımcı olacak kaynaklar bulunmuyor. Sonuç olarak sayılara bakıyorlar. “X kadar deney yaptık” diyorlar; ancak hiç kimse deneyin doğru tasarlanıp tasarlanmadığını, doğru yürütülüp yürütülmediğini veya doğru analiz edilip edilmediğini izleyip değerlendirmiyor.

Bu beceri setini geliştirmek oldukça uzun zaman alır. Bunu bir kas gibi düşünün. Bir kez yapıp hemen ustalaşabileceğiniz bir şey değil. Bazı ürün yöneticileri iyi deneyler yapabilir; ancak bu deneyler fazla basit olabilir. Karmaşık deneyler yürütebilirler, fakat deneyler yanlış şekilde kurulmuş olabilir. Sonuç olarak liderliğe sonraki adımların ne olması gerektiğini aktarırken, bilgiler hatalı olabilir. Ancak bunu bilmezler; çünkü süreci denetleyen kimse yoktur.

Bu da beni bir sonraki noktaya getiriyor: Denetim unsuru eksik. Çoğu zaman bu ekiplere “Deneyleri yürütün, bize aktardığınız her şeye inanacağız” deniyor. Kaynak eksikliği nedeniyle kimse sonuçların gerçekten doğru olup olmadığını doğrulamaya zaman ayırmıyor.

Sonuçların iyi uygulamalardan mı yoksa kötü uygulamalardan mı kaynaklandığına bakılmıyor. Bu bir etken. Diğer etken ise liderlik düzeyinin eksikliği. Liderlik düzeyi derken ürün sahibini kastetmiyorum. Ürün başkan yardımcılarından ve baş ürün sorumlularından söz ediyorum. Bu ekipleri gerçekten sorumlu tutması gereken kişiler onlar.

Ancak yalnızca sorumlu tutmaları yetmez; ekiplerin bu kası geliştirmek, daha iyi deney yapmayı, daha iyi kararlar almayı ve daha iyi önceliklendirme yapmayı öğrenmek için zaman ayırabilmelerine de olanak tanımaları gerekir. Bu iki etken nedeniyle beklentiler ile gerçeklik arasında büyük bir boşluk oluşuyor. Ürün yöneticileri ve ürün uzmanları zorlanıyor; çünkü yavaşlayıp bunları yerli yerine oturtacak zamanları yok.

Dolayısıyla sorumluluğun bir kısmı liderliğe ait. Ekiplerin bu konuda gelişebilmesi için hem yetkiyi hem de zamanı onlara vermeleri gerekiyor.

Hannah Clark: Peki pratik açıdan bu, liderlik perspektifinden nasıl görünüyor? Liderler bu ürün-süreç açığının oluşmasını önlemek için hangi adımları atabilir?

Manuel Da Costa: İlk adım doğru temel performans göstergelerini belirlemek. Gördüğümüz temel sorun, ters teşviklerin oluşturulması. Ters teşvik derken şunu kastediyorum: Örneğin bu çeyrekte veya bu yıl belirli sayıda özellik yayımlamanız gerektiği söyleniyor. O sayıya ulaşmanız bekleniyor.

Böylece konu nicelik oyununa dönüşüyor; nitelikle ilgilenilmiyor. Karmaşık bir özellik veya birkaç basit özellik yayımlayabilirsiniz; yeter ki sayıya ulaşın. Bu ekipler için doğru temel performans göstergelerini belirlemekle ilgilidir. Ekipleri, yalnızca bir hedefe ulaşmak için her şeyi yapmaya yönlendirmek yerine doğru şekilde teşvik etmek gerekir.

İkinci konu, ekipleri ve onları denetleyen kişileri ürün ekiplerine koçluk yapmak, onları izlemek ve zaman içinde geliştirmek için yeterli zamanla donatmak. Daha önce söylediğim gibi hiç kimse doğru şekilde deney yapmayı bilerek başlamaz. Bu zaman alır; yalnızca bir eğitim çalışması düzenleyip süreci bitiremezsiniz.

Bu ekiplerin zaman içinde koçluk ve mentorluk alması gerekir. Gördüğümüz kadarıyla zaman eksikliği, ekiplerin belirli sayılara ulaşmak zorunda olmasından kaynaklanıyor. Zamanları olmadığı için gelişemiyorlar. Böylece sürekli devam eden bir kısır döngü oluşuyor. Her şey liderliğin “Bir kuruluş olarak gelişmek ve daha iyi ürün kararları almak istiyoruz” demesiyle başlıyor.

Daha iyi ürün kararlarını nasıl alırız? Varsayımlarımızı deneyerek ve doğrulayarak. İlk adım bu. Bunu yapmak için ürün ekiplerimizi bu varsayımları sınayabilecek şekilde donatmamız gerekir. Onlara zaman, imkân ve yetki vermeli; ayrıca yanılabilecekleri bir güven ortamı sağlamalıyız. Çünkü deney yapmanın temelinde yanılabilmek vardır. Temel performans göstergelerini nicelik üzerinden belirlerseniz veya belirli bir başarı oranına sahip deneyler yayımlamalarını isterseniz, insanlar bu sayıya ulaşmak için sistemi manipüle eder.

Deney yapmak, bir şeyin işe yarayabileceğine dair bir fikrimiz olması; ancak gerçek hayatta uygulanana kadar işe yarayıp yaramadığını bilmememiz demektir. Bir şeyi uygulamaya koyduğumuzda müşterilerimizden ve pazardan geri bildirim alırız.

Ardından bu yolda devam edip etmeyeceğimize karar verebiliriz. Güvenlik unsuru oldukça önemlidir; çünkü ürün sahipleri ve ürün yöneticileri bu güven ortamına sahip olmazsa, temel performans göstergelerine ulaşmalarına yardımcı olacak en güvenli seçeneği tercih ederler. Böylece güvenli ürün kararları alırsınız, ancak yenilikçi ürün kararları alamazsınız.

Hannah Clark: Ürün-süreç açığının, temel performans göstergelerine ulaşıldığı, insanların genel olarak mutlu olduğu ve işletmenin ayakta kaldığı bir ortamda fark edilmeden kalabileceğini görebiliyorum. Ancak bir şey eksik. Bir kuruluşun bu açıktan sessizce zarar gördüğünü, önemli iyileştirmelerin mümkün olduğunu ve hatalı deneyler nedeniyle hatalı kararlar alındığını gösteren belirtiler nelerdir?

Manuel Da Costa: Hatalı deneyler yapılıyorsa, baş ürün sorumlularının ve başkan yardımcılarının “Bu deney sonuçlarına aslında güvenmiyoruz” dediğini gördük. Bunun sonucunda içgüdüsel karar alma süreci başlıyor. Ortada veriler olmasına rağmen insanlar bu verilere güvenmedikleri için kararlarını içgüdülerine göre veriyor.

Bir şirket şu anda güvendeyse, şu anda kelimesinin altını çizelim, deney yapmıyor ve yenilik üretmiyorsa güvenli oynuyordur. Er ya da geç piyasa güçleri onları gelişmek için daha fazla çalışmaya zorlar veya şirketin kaderini belirler. Deney sonuçlarına ya da karar alma sürecine duyulan güven eksikliği, öncelikle geliştirmemiz gereken şeydir.

Bir diğer belirti, şirketlerin veri odaklı, ürün odaklı veya müşteri odaklı olduklarını söylemesi; ancak bunların yalnızca moda sözcükler olmasıdır. Bunu kamuya açık açıklamalarında değil, uygulamalarında görürsünüz. Müşterilerin istekleriyle gerçekten örtüşmeyen özellikler ve ürün güncellemeleri yayımlanır.

Günün sonunda bu, bir özellik fabrikasına dönüşür. Müşteriye veya işletmeye değer sunmak yerine, yalnızca bir şeyler yayımlamak için ürünler piyasaya sürülür.

Hannah Clark: Daha iyi deneyler yapmak için veya pratik açıdan hangi adımları atmamız gerektiği konusunda önerebileceğiniz çerçeveler var mı?

Çünkü bunun, böyle bir uçuruma neden olan bozulmaya katkıda bulunan birçok etkenin bulunduğu bir sorun olduğu anlaşılıyor. Kuruluşumuzda bu olgunun yaşandığını fark ediyorsak sizce ilk adım nedir?

Manuel Da Costa: Kesinlikle. Bence ilk adım süreçleri standartlaştırmak. Ürün ekiplerine deney yürütmeleri için araçlar verildiğinde, aynı kuruluştaki iki farklı ekibin deneyleri yürütme, verileri sınıflandırma ve verileri kaydetme biçimlerinde farklılaşmaya başladığını görüyoruz. İlk adım, sürecin nasıl olması gerektiğini anlamaktır.

Sürecin nasıl olması gerektiğini öğrendikten sonra onu standartlaştırırsınız. Standartlaştırma kelimesini kullandığımda insanlar tepki gösterebiliyor; çünkü çok katı olmaları ve esnekliğe yer kalmaması gerektiğini düşünüyorlar. Ancak diğer uçtaki aşırı esnek yaklaşımın sorunu, zaman içinde kaos yaratması ve verilerin gelecekte onlara bakan herkes için neredeyse işe yaramaz hâle gelmesidir.

Süreçleri standartlaştırmak; süreci, veri sınıflandırmasını, kullanılan adlandırma sistemini, analiz uygulamalarını ve kimin onay vereceğini standartlaştırmak anlamına gelir. Kimin sorumlu ve hesap verebilir olduğunu, kimin bilgilendirilmesi gerektiğini belirleyen sorumluluk modellerinin uygulanması da buna dâhildir.

Bunlar katı kurallar gibi görünebilir; ancak aslında insanlara koruyucu sınırlar oluştururlar. Ekip zaman içinde değişse, yeni insanlar katılsa veya biri başka bir ekibe ya da şirkete geçse bile bu uygulamanın yürütülen her deneye ve alınan her karara yerleşmesini sağlar.

Bir diğer konu, kararlarla işletme hedefleri arasındaki bağlantıyı ayrıntılı biçimde kurmaktır. Kararları rastgele alıp sonuç almayı ummak yerine, kararların yalnızca temel performans göstergeleriyle değil, işletme hedefleriyle de uyumlu olması gerekir. Bu iki unsuru yerleştirdiğinizde çok daha sağlam bir temeliniz olur. Başlangıçta süreç yavaş ilerler; çünkü insanların iş listelerini nasıl önceliklendireceklerini, neyi deneyeceklerine nasıl karar vereceklerini, deneyleri nasıl başlatacaklarını ve bunların tam bir özellik olarak ilerletilip ilerletilmeyeceğini anlamaları zaman alır.

Bunlar temel unsurlardır. Sonrasında açık bir denetim olduğundan emin olmanız gerekir. Açık denetim, herkesin bir ekibin veya kişinin ne kadar iyi çalıştığını geriye dönük olarak inceleyebilmesi anlamına gelir. Amaç kusur bulmak değil, boşlukların nerede olduğunu ve ekibe nasıl daha iyi koçluk yapılabileceğini anlamaktır.

Örneğin, “Bu çeyrekte beş deney başlattınız; ancak bazılarının güçlü bir hipotezi yok veya değerlendirme sırasında doğru ölçümleri seçmemişsiniz. Şöyle geliştirebilirsiniz” diyebilmek gerekir. İnsanlar ancak bu şekilde gelişir. Onlara geri bildirim verir ve izlersiniz. Bu, olumsuz geri bildirim vermek değil; gelişebilecekleri noktalar konusunda yapıcı geri bildirim sunmaktır.

Bu iki unsur birlikte uygulandığında kuruluşun bu açığı kapatma konusundaki temel yetkinliği gelişir.

Hannah Clark: Bu konu ilginç; çünkü bu şekilde etkili liderlik yapabilmek için liderlik düzeyinde gerçekten duygusal zekâ gerektiği anlaşılıyor. Liderlik ekibinin ve ürün ekibinin, hata yapmaya ve beklenenden farklı sonuçlanan deneyler yürütmeye izin veren güvenli bir ilişkiye sahip olması gerekiyor.

Ekipler arasında ve özellikle kuruluş şemasının farklı bölümleri arasında daha güçlü ilişkiler kurmak için hangi önerilerde bulunursunuz? Böyle yeni bir süreçte birlikte çalışırken birbirimize güvenme konusunda nasıl gelişebiliriz?

Manuel Da Costa: Söylemesi yapmaktan kolay; çünkü işin içinde insanlar ve egolar var. İnsanların kendilerini savunmasız bırakması gerekiyor ve en zor kısım bu. Ancak liderliğin belirli bir psikolojik güvenlik düzeyi sağlaması ve kullanılan dili biraz değiştirmesi önemli.

“Bu test başarılı oldu” veya “Bu test başarısız oldu” dememeliyiz. Bunun yerine öğrenilenlere odaklanmalıyız. Konuşmayı kazanma ve kaybetme ekseninden çıkarıp şu şekilde değiştirebilirsiniz: “Bir deney yaparak bu özelliğe ihtiyaç olduğunu doğruladık” veya “Müşterinin ihtiyacını doğruladık ve şirketimize şu şekilde katkı sağladık.”

Bu deneyin potansiyeli budur. Ya da “Bunu yaparak bu özelliği geliştirmeye ihtiyaç olmadığını doğruladık. Böylece geliştirme ekiplerimize şu kadar maliyet tasarrufu sağladık ve bunu daha fazla öğrenmek için kullanacağız” diyebilirsiniz. Zihniyeti, deneyleri yalnızca deney yapmak veya kazanmak için yapmaktan uzaklaştırmak gerekir. Bu nedenle temel performans göstergeleri ve bunları nasıl şekillendirdiğiniz çok önemlidir.

Ürün yöneticileri, ürün uzmanları ve ürün sahipleri bunu dinleyip “Bunu yapmak isteriz ama yapamayız, çünkü temel performans göstergelerimiz farklı” diyebilir. İşte bu yüzden liderliğin konuya dikkat etmesi gerekiyor. Bunu yapmazsak kuruluşlar günün sonunda özellik fabrikalarına dönüşür. Bir şeyler uzun sürüyor gibi görünebilir ve ürünler yayımlanabilir; ancak gerçekte ne ölçüde değer sunuluyor?

Hannah Clark: Evet, bu iyi bir nokta.

Liderlik düzeyinin pratik unsurlarından söz ederken bir şeyi de merak ediyorum. Temel performans göstergeleri ekipten ekibe ve ekiplerin büyüklüğü de birbirinden farklı olacaktır. Ölçeklenmeye başladığımızda, farklı bilgi seviyelerine sahip yeni çalışanlar katıldığında bir ürün ekibini nasıl etkili biçimde denetleyebiliriz?

Özellikle bize bağlı ekip üyelerinin sayısı liderlerin sayısından çok fazlaysa, doğru denetim düzeyini sağladığımızdan ve bunu standartlaştırdığımızdan nasıl emin olabiliriz?

Manuel Da Costa: Bizim dünyamızda orkestra şefi rolünü oluşturduk. Ekiplerin ve bu ekiplerdeki kişilerin sayısına bağlı olarak, daha az sayıda ekibi veya belirli sayıda kişiyi denetleyen bir orkestra şefi rolü oluşturabilirsiniz. Bu kişi ekiplerin işe alıştırılmasından, koçluğundan ve mentorluğundan sorumlu olur. Kendi alanındaki her şeyin olması gerektiği gibi ilerlemesini sağlar ve bir üst düzeye rapor verir.

Tek bir liderin herkesi denetlemesi yerine, bir ekipten veya birkaç ekipten sorumlu bir kişinin bulunmasını istersiniz. Bu kişinin özel görevi işe alıştırma, koçluk ve mentorluk yaparak kendisine bağlı insanların daha iyi deneyler yürütmesini ve doğru ürün kararları almasını sağlamaktır.

Ayrıca belirlenen süreç ve yapıların koruyucu sınırları içinde çalışmalarını güvence altına alır. Kuruluşun nasıl yapılandırıldığına bakarken bunun çok önemli olduğunu düşünüyorum. Bir orkestra şefi birden fazla ekibi denetleyebilir; ancak bu yine ekibin büyüklüğüne bağlıdır.

Hannah Clark: Koruyucu sınırlar kavramına ben de katılıyorum. Bu ifade insanları yetkisizleştiriyormuş gibi görünebilir; ancak uygulamada sağlam koruyucu sınırlar bulunmasının karar yorgunluğunu azalttığını gördüm. İnsanlar geliştirdikleri ürünlere ek olarak süreçlerini sürekli değiştirmek zorunda kalmadığında işlerinin ne olduğu çok daha netleşiyor. Bu yaklaşımın güçlü bir gerekçesi olduğunu düşünüyorum.

Ancak şu anda denetimi standartlaştırma ihtiyacından da söz ediyoruz. Daha küçük bir ekibimiz olsa bile bir ekibi denetlemek için kullandığımız süreci nasıl standartlaştıracağımız biraz daha soyut bir konu.

Özellikle bir lider olarak sizin de deney yapma konusunda güçlü bir geçmişiniz yoksa, denetim yaklaşımını standartlaştırmak için ne önerirsiniz?

Manuel Da Costa: Her şey bir yönetişim çerçevesi oluşturmakla başlar. Bunun neleri kapsadığına bakarsanız, bir deneyin nasıl oluşturulacağına ilişkin kuralların belirlenmesi gerektiğini görürsünüz.

Bir deneyin nasıl oluşturulacağını söylerken kastettiğim şu: Bir deney oluştururken hangi temel bilgileri kaydetmeniz gerekiyor? Bunların bazıları oldukça temel olabilir. Bazıları zorunlu olabilir; örneğin iyi bir hipotez. Hipotez ile gerçekten güçlü bir hipotez arasında fark vardır.

Bu bir boyut. Ayrıca hangi diğer ayrıntıları kaydediyorsunuz? Burada deneyin oluşturulması için yararlı olan teknik ayrıntılardan, hedef kitleden ve benzeri bilgilerden söz ediyorum. Bunun yanında işletme açısından önemli ve ilgili unsurlar da var. Bir yönetişim çerçevesi oluşturduğumuzda, kuruluştaki herkes bir deney oluşturduğunda belirli alanların veya veri noktalarının kaydedilmesi gerektiğini söyleriz.

Bunun kaydedilmesi gerekir; pazarlık payı yoktur. Bu asgari gerekliliktir. Bunun yanında isteğe bağlı unsurlar da bulunur. Bu yaklaşım, kuruluşun işe yaramaz veriler yığını üzerinde oturmasını önleyen koruyucu sınırlar oluşturur.

Çok fazla esneklik tanırsanız farklı ekipler deneyin ne olduğuna ilişkin kendi yorumlarını geliştirir. Bu nedenle yönetişim çerçevesi, deney oluşturulurken işletmeyle ve teknik süreçle ilgili bilgilerin kaydedilmesini zorunlu kılar.

Ardından izlenecek süreç gelir. Bir deney belirli adımlardan geçmeden tasarlanamaz, yürütülemez ve analiz edilemez. Örneğin kalite güvence sürecinden geçmeden bir özelliği yayımlamazsınız. Aynı şey deney için de geçerlidir. Kalite güvencesinden geçmemiş bir deneyi başlatmazsınız. Yönetişim çerçevesi, bir deneyin kalite güvencesinden geçmeden belirli aşamalardan ilerleyemeyeceğini belirtmelidir.

Bu tartışmaya açık değildir. Her deney bu süreçten geçmelidir. Böylece her deney belirli bir yol izler ve bu yoldan sapamaz. Saparsa bunun neden olduğunu izleyip öğrenebiliriz. İşte burada oluşturduğumuz deney sağlığı puan kartı kavramı devreye giriyor.

Deney sağlığı puan kartı, bir deneyin değerlendirilebileceği belirli noktaların listesidir. Örneğin bir hipotez oluşturuldu mu? Evet veya hayır. İkinci unsur, hipotezin ne zaman oluşturulduğudur. Deney fikri ortaya çıktığında mı oluşturuldu, yoksa deneyi haklı çıkarmaya çalışırken daha sonra mı?

Bu da gerçekleşiyor. Sonuçlar bilindikten sonra hipotez oluşturma anlamına gelen ve “harking” olarak adlandırılan bir eğilimle karşılaştık. Verileri yeterince uzun süre sıkıştırırsanız, size duymak istediğiniz şeyi söyler. Bazen gerçekten olan budur. Deneyler başarılı olmaz, kazanmaz; ancak ölçümleri veya hipotezi değiştirirsiniz. Sonuçta deney kazanmış olur.

Yönetişim çerçeveleri ve koruyucu sınırlar önemlidir; çünkü bunlar bu tür durumların yaşanmasını önler. İnsanların bunu bilerek yaptığını söylemiyorum. Ancak yine temel performans göstergelerine dönüyoruz: belirli sayıda ürün özelliği yayımlamak, belirli sayıda deney yürütmek veya belirli bir başarı oranına ulaşmak gerekiyor.

İnsanlar her şeyi bu sayıya ulaşacak şekilde değiştiriyor. Bu nedenle yönetişim çerçeveleri ve sağlık puanı bunları izlemeye yardımcı olur. Belirlediğimiz süreci izledi mi? Deney tamamlandığında deneyle ilgili kritik bilgilerde herhangi bir değişiklik yapıldı mı?

Bunları izlemeye başlayabiliriz. Sağlık puanı, deneyin doğru yürütülüp yürütülmediğine dair bir görüntü sunar. Sonuçta “Bu deneye, sonuçlarına ve bu sonuçlardan çıkardığımız kararlara güveniyoruz” veya “Bu deneye güvenemeyiz; nedenleri bunlar” diyebilirsiniz. Ancak bu yine koçluk için bir fırsattır.

Amaç, kuruluşun daha iyi ürün kararları almasını ve bu kararlara ulaşmak için daha iyi deneyler yürütmesini sağlamaktır.

Hannah Clark: Burada sunduğunuz çerçeveleri gerçekten takdir ediyorum. Çok faydalı oldu.

Ürün-süreç açığını ortadan kaldırarak sonuçlarını dönüştürebilen bir kuruluşla ilgili aklınıza gelen başarı hikâyeleri var mı?

Manuel Da Costa: Şirketin adını veremem; ancak mükemmeliyet merkezi ekibinden ürün ekiplerine ve pazar ekiplerine geçen bir şirketle tam olarak aynı çalışmayı yaptık. Küresel bir e-ticaret şirketiydiler ve hem pazar ekipleri hem de test yapmaya yeni başlayan ürün ekipleri olmak üzere çok çeşitli ekipleri vardı.

Önemli olan, her ürün ekibini ve her pazar ekibini doğrudan deney yapmaya başlatmamamızdı. Her ekip için bir güçlü yönler, zayıf yönler, fırsatlar ve tehditler analizi yaptık. Deney yapma konusundaki bilgilerini ve sürece dâhil olma isteklerini puanladık.

Daha sonra bu alanlarda yüksek puan alan ekipleri işe alıştırmaya başladık ve onları sosyal kanıt olarak kullandık. Birkaç ekibi işe alıştırıp iyi sonuçlar elde ettikten sonra, sonraki ekipleri dâhil ettik. Üç aylık programlar düzenledik. Her üç aylık programda ekipleri koçlukla ve işe alıştırmayla destekleyerek programın sonunda kendi kendilerine yeterli hâle gelmelerini sağlayan bir plan bulunuyordu.

Sonrasında bu ekipleri bir sonraki grubu dâhil etmek için sosyal kanıt olarak kullandık ve ekipler arasında topluluk desteği sağladık. Bunu iki yıllık bir süreçte sağlamlaştırdık. Oldukça uzun bir süreçti. Özellikle büyük bir şirkette bunun bir gecede gerçekleşmesi mümkün değil.

Kültür değişimi bir gecede gerçekleşmez. Bu süreçten geçtik. İki yıllık dönemin sonunda bu ürün ekipleri deneyleri nasıl yürütecekleri konusunda çok daha bilgiliydi. Çalışan değişimi yaşandığında, insanlar şirketten ayrıldığında ve yeni insanlar katıldığında bile yeni bir çalışanın sürece dâhil olması bir aydan kısa sürüyordu; çünkü bütün çerçeveler hazırdı.

Sistemler hazırdı ve ne yapacaklarını tam olarak biliyorlardı. Her şey yerli yerindeydi; bu nedenle hata yapmaları çok zordu. Bunu şöyle ifade edebiliriz: Kendi yöntemlerini eklemeye çalışmak yerine mevcut uygulamaları takip etmeleri çok daha kolaydı.

Hannah Clark: Paylaştığınız örnekleri gerçekten takdir ediyorum; bu çok bilgilendirici oldu.

Bize katıldığınız için çok teşekkür ederim Manuel. Çalışmalarınız ve Effective Experiments hakkında daha fazla bilgi edinmek isteyenler sizi çevrim içi olarak nereden takip edebilir?

Manuel Da Costa: Beni LinkedIn’de bulabilirsiniz. LinkedIn’de oldukça aktifim. Ayrıca EffectiveExperiments.com adresini ziyaret ederek yaptıklarımız hakkında daha fazla bilgi edinebilirsiniz. Blogumuzda da düzenli olarak içerik yayımlıyorum. Lütfen bu iki kaynaktan beni takip etmekten çekinmeyin.

Hannah Clark: Harika. Çok teşekkürler.

Bizi dinlediğiniz için teşekkürler. Daha fazla harika içgörü, nasıl yapılır rehberi ve araç incelemesi için theproductmanager.com/subscribe adresinden bültenimize abone olun. Bu tür daha fazla sohbeti, podcast’lerinizi dinlediğiniz her yerde CPO Kulübü’ne abone olarak dinleyebilirsiniz.