A/B testinin temeli basittir:
Hangisinin daha iyi performans gösterdiğini görmek için bir şeyin iki (veya daha fazla) farklı sürümünü karşılaştırın ve ardından en uygun genel deneyim için kazananı tüm kullanıcılara dağıtın.
Bu nedenle A/B testi ve CRO ekiplerinin uygulaması, site, yerel uygulama, e-posta veya başka herhangi bir dijital kanaldaki farklı alanları ve deneyimleri iyileştirmek için her türlü deneyi başlatmaya önemli ölçüde yatırım yapmak ve ardından zaman geçtikçe dönüşümlerde ve belirli KPI'larda artan artış sağlamak için bunları sürekli olarak optimize etmek olmuştur.
Bununla birlikte, bir şirket tonlarca trafik üretmiyorsa ve deney yapabileceği devasa bir dijital ortama sahip değilse, deney çıktısının (ne kadar çok test olursa olsun veya bir deney ne kadar büyük ve sofistike olursa olsun) bu ekiplerden gelen girdi açısından maksimum verime ulaştığı bir azalan getiri noktası gelebilir.
Bu büyük ölçüde, A/B testine yönelik klasik yaklaşımın ziyaretçi tercihlerine ilişkin ikili bir bakış açısı sunması ve genellikle ziyaretçilerin birey olarak kim olduklarını tanımlayan tüm faktörleri ve davranışları yakalayamamasıyla ilgilidir.
Dahası, A/B testleri bir segmentin çoğunluk tercihlerine dayalı olarak genelleştirilmiş sonuçlar verir. Bir marka belirli bir deneyimin ortalama olarak daha fazla gelir getirdiğini düşünse de, bunu tüm kullanıcılara uygulamak, farklı tercihlere sahip tüketicilerin önemli bir kısmına kötülük olacaktır.
Birkaç örnekle açıklayayım:
Hem benim hem de Warren Buffet'ın net serveti ortalama 117,3 milyar ABD doları olsaydı, aynı ürünleri bize tavsiye etmek mantıklı olur muydu?
Muhtemelen hayır.
Ya da hem erkek hem de kadın ürünleri sunan bir perakendeci, en iyi performans gösteren kahraman banner varyasyonunu belirlemek için ana sayfasında klasik bir A/B testi yapmaya karar verirse, ancak kitlesinin 70% 'i kadın olduğundan, kadın varyasyonu erkeklerinkinden daha iyi performans gösterirse ne olur?
Bu test, kadın kahraman bayrağının tüm nüfusa uygulanmasını önerecektir, ancak bu kesinlikle doğru bir karar olmayacaktır.
Basitçe söylemek gerekirse:
- Ortalamalar, farklı kullanıcı gruplarını karşılaştırmak için kullanıldığında genellikle yanıltıcıdır
- Her müşteri segmenti ve kullanıcı için en iyi performans gösteren varyasyon değişiklikleri
- Sonuçlar coğrafi konum, hava durumu ve daha fazlası gibi bağlamsal faktörlerden de etkilenebilir
Elbette bu, daha genelleştirilmiş sonuçlardan yararlanmanın yeri ve zamanı olmadığı anlamına gelmiyor. Örneğin, yeni bir web sitesi veya uygulama tasarımını test ediyorsanız, farklı kullanıcılar için düzinelerce, yüzlerce, hatta binlerce kullanıcı arayüzü varyasyonuna kıyasla ortalama olarak en iyi sonucu veren tutarlı bir kullanıcı arayüzünü hedeflemek mantıklı olacaktır.
Bununla birlikte, bir sayfanın düzenine, mesajlara, içeriğe, önerilere, tekliflere ve diğer yaratıcı unsurlara sadakatle "kazanan hepsini alır" yaklaşımını benimseme günleri sona erdi ve bu sorun değil çünkü artık her bir kullanıcıya en iyi varyasyonu sunmamakla ilişkili kaçırılan kişiselleştirme fırsatlarından masada para kalmayacağı anlamına geliyor.