Skip to main content

Mengapa Pengujian A/B dan Personalisasi Lebih Kuat Bersama-sama

Meskipun mencerminkan dua pendekatan yang berbeda untuk meningkatkan pengalaman pengguna, kombinasi keduanya dapat menawarkan manfaat eksponensial yang tidak ingin dilewatkan oleh bisnis.

 

Yaniv Navot

 

CMO, Dynamic Yield

Inilah yang perlu Anda ketahui:

  • Pengujian A/B dan personalisasi, jika digabungkan, dapat secara signifikan meningkatkan pengalaman pengguna dengan memberikan pengalaman yang paling relevan untuk setiap individu.
  • Pengujian A/B membantu mengidentifikasi variasi elemen kreatif dengan performa terbaik, sementara personalisasi menyesuaikan pengalaman untuk setiap pelanggan.
  • Menggabungkan pendekatan-pendekatan ini akan merampingkan proses, memperkuat hasil, dan meningkatkan kepuasan pelanggan.
  • Pemasar dapat memanfaatkan kekuatan ini dengan melakukan segmentasi audiens untuk pengujian A/B, menguji strategi personalisasi, dan menggunakan data waktu nyata untuk pengoptimalan berkelanjutan.

Pengujian A/B dan personalisasi mewakili dua metodologi yang berbeda. Sementara pengujian A/B berfokus pada eksperimen dengan berbagai elemen kreatif, salinan, tata letak, dan bahkan algoritme untuk meningkatkan metrik bisnis utama serta pengalaman pengguna secara keseluruhan, personalisasi bertujuan untuk mencocokkan pengalaman yang paling relevan dengan pelanggan individu pada saat yang tepat.

Meskipun pada dasarnya berbeda dalam pendekatan, menggabungkan kedua strategi ini sebenarnya dapat memberikan manfaat yang luar biasa. Dalam artikel ini, kita akan membahas mengapa demikian, serta bagaimana tim dapat melakukannya.

Keterbatasan pengujian A/B

Premis dari pengujian A/B adalah sederhana:

Bandingkan dua (atau lebih) versi yang berbeda dari sesuatu untuk melihat mana yang berkinerja lebih baik dan kemudian gunakan pemenangnya ke semua pengguna untuk pengalaman keseluruhan yang paling optimal.

Praktik pengujian A/B dan tim CRO telah berinvestasi secara signifikan dalam meluncurkan berbagai macam eksperimen untuk meningkatkan berbagai area dan pengalaman di seluruh situs, aplikasi asli, email, atau saluran digital lainnya, dan kemudian terus mengoptimalkannya untuk mendorong peningkatan konversi dan KPI tertentu seiring berjalannya waktu.

Namun, kecuali jika perusahaan menghasilkan banyak sekali lalu lintas dan memiliki lanskap digital yang sangat besar untuk bereksperimen, mungkin akan ada titik di mana hasil eksperimen (tidak peduli berapa banyak pengujian atau seberapa besar dan canggihnya sebuah eksperimen) akan mencapai hasil maksimal dalam hal input dari tim-tim ini.

Hal ini sebagian besar berkaitan dengan fakta bahwa pendekatan klasik untuk pengujian A/B menawarkan pandangan biner tentang preferensi pengunjung dan sering kali gagal menangkap berbagai faktor dan perilaku yang menentukan siapa mereka sebagai individu.

Selain itu, tes A/B memberikan hasil yang digeneralisasi berdasarkan preferensi mayoritas segmen. Dan meskipun sebuah merek mungkin menemukan pengalaman tertentu untuk menghasilkan lebih banyak pendapatan secara rata-rata, menyebarkannya ke semua pengguna akan merugikan sebagian besar konsumen dengan preferensi yang berbeda.

Izinkan saya mengilustrasikan dengan beberapa contoh:

Jika kekayaan bersih saya dan Warren Buffet rata-rata $117,3 miliar USD, apakah masuk akal untuk merekomendasikan produk yang sama kepada kami?

Mungkin tidak.

Atau bagaimana jika peritel yang menyediakan produk pria dan wanita memutuskan untuk menjalankan uji A/B klasik di beranda mereka untuk mengidentifikasi variasi spanduk pahlawan dengan performa terbaik, tetapi karena 70% dari audiens mereka adalah wanita, maka variasi wanita mengungguli variasi pria.

Tes ini akan menyarankan agar spanduk pahlawan wanita diterapkan pada seluruh populasi, tetapi tentu saja bukan keputusan yang tepat.

Sederhananya:

  • Rata-rata sering kali menyesatkan ketika digunakan untuk membandingkan kelompok pengguna yang berbeda
  • Perubahan variasi dengan performa terbaik untuk setiap segmen pelanggan dan pengguna
  • Hasil juga dapat dipengaruhi oleh faktor kontekstual seperti geografis, cuaca, dan lainnya

Tentu saja, ini tidak berarti bahwa tidak ada waktu dan tempat untuk memanfaatkan hasil yang lebih umum. Misalnya, jika Anda menguji desain situs web atau aplikasi baru, akan lebih masuk akal jika Anda memilih satu UI yang konsisten yang bekerja paling baik dibandingkan puluhan, ratusan, atau bahkan ribuan variasi UI untuk pengguna yang berbeda.

Namun, hari-hari dengan setia mengambil pendekatan "pemenang mengambil semua" pada tata letak halaman, pesan, konten, rekomendasi, penawaran, dan elemen kreatif lainnya telah berakhir - dan tidak apa-apa karena itu berarti tidak ada lagi uang yang akan ditinggalkan di atas meja dari peluang personalisasi yang terlewatkan karena tidak memberikan variasi terbaik kepada setiap pengguna.

Membuka relevansi yang lebih besar dengan personalisasi

Personalisasi adalah tentang menanggapi dan menyesuaikan pengalaman situs kepada konsumen tergantung pada perilaku, preferensi, dan niat unik mereka, yang telah menjadi harapan dalam lanskap digital saat ini. Hal ini terbukti dapat meningkatkan kepuasan dan loyalitas pelanggan.

Dan meskipun tidak selalu bergantung pada pengujian A/B, mungkin akan mengejutkan bahwa praktik terbaik dalam personalisasi didasarkan pada dasar-dasar pengujian A/B - satu-satunya perbedaan adalah menentukan versi mana dari pengalaman tertentu yang paling berhasil dilakukan pada tingkat audiens vs. rata-rata.

Mari kita uraikan struktur dasar seperti apa yang akan terlihat dalam kampanye personalisasi. Alih-alih menyertakan satu pengalaman dengan beberapa variasi untuk dibandingkan dengan kelompok kontrol, seperti halnya uji A/B tradisional, kami melangkah lebih jauh dengan menciptakan beberapa pengalaman yang ditargetkan untuk audiens yang berbeda dan beberapa variasi di dalamnya yang dapat diuji A/B untuk menentukan pengalaman dengan kinerja terbaik.

Hal ini dapat dilakukan melalui penargetan berbasis aturan sederhana, yang menggunakan logika IF/Then untuk menyesuaikan perjalanan pelanggan sesuai dengan seperangkat aturan yang diprogram secara manual, dengan tim yang dapat menguji A/B pengalaman ini, memvalidasi hasilnya setelah mencapai signifikansi statistik, dan kemudian mengulanginya.

Namun, AI dan pembelajaran mesin telah menjadi taruhan utama dalam hal penskalaan pengambilan keputusan personalisasi, karena skenario di atas dapat menjadi proses berat data yang melibatkan banyak penerapan pengujian dengan pengukuran terperinci dari setiap variasi yang diuji terhadap setiap segmen audiens untuk menentukan aturan penargetan terprogram yang optimal. Hal ini juga membantu dalam mengubah tes yang "kalah" menjadi peluang personalisasi untuk variasi spesifik yang diidentifikasi untuk berkinerja lebih baik untuk audiens tertentu.

Teknologi canggih ini menganalisis kinerja setiap variasi di setiap segmen lalu lintas secara real time untuk menyajikan konten yang paling relevan kepada kelompok audiens tertentu. Lebih lanjut, personalisasi 1:1 dapat dilakukan dengan kemampuan personalisasi berbasis afinitas, yang memanfaatkan proses profil afinitas untuk mencocokkan setiap orang secara algoritmik dengan rekomendasi, penawaran produk, dan konten yang dipersonalisasi.

Tingkat personalisasi ini memungkinkan perusahaan untuk menjadi lebih efektif dan tepat sasaran dengan strategi pemasaran mereka sekaligus melibatkan konsumen dengan cara yang lebih bernuansa, bermakna, dan relevan.

Menggabungkan pengujian A/B dengan personalisasi

Jika Anda bertanya kepada tim pengujian A/B atau CRO dan mereka yang berdedikasi pada personalisasi lebih lanjut tentang apa saja yang terlibat dalam pekerjaan mereka, Anda akan menemukan jawaban yang hampir sama.

Perhatikan diagram di bawah ini, yang digambarkan selama presentasi dari JD Sports | Finish Line dalam acara Personalization Pioneers (rekap lengkapnya di sini):

Ini adalah sentimen yang dimiliki oleh banyak orang lain yang mulai menyadari bahwa pengujian A/B dan personalisasi:

  • Berbagi fokus untuk menciptakan pengalaman pelanggan yang positif
  • Ingin memengaruhi dan meningkatkan KPI yang sama
  • Dapat mengambil manfaat dari pembelajaran yang dikumpulkan secara bersamaan

Selain itu, sering kali, tim-tim ini memerlukan sumber daya internal dan bahkan alat yang sama! Inilah sebabnya mengapa sangat penting bahwa pengujian dan personalisasi A/B tidak hidup dalam ruang hampa, dan sebaliknya, menjadi bagian dari peta jalan bersama dengan KPI yang selaras.

Kombinasi keduanya tidak hanya dapat merampingkan proses dan operasi, tetapi juga menghasilkan hasil yang eksponensial karena memungkinkan wawasan yang luas dan tepat mengenai perilaku konsumen.

Berikut ini cara Anda dapat menggabungkan kekuatan gabungan keduanya ke dalam strategi pemasaran Anda untuk hasil yang lebih baik:

1. Pengujian A/B Berbasis Segmen

Alih-alih melakukan tes A/B pada seluruh audiens Anda, bagilah audiens Anda ke dalam segmen yang bermakna berdasarkan karakteristik yang sama (cobalah pendekatan Audiens Utama, yang dimaksudkan untuk mengukur dari makro ke mikro). Kemudian, lakukan tes A/B pada segmen-segmen ini. Pendekatan eksperimen tersegmentasi ini dapat memberikan pemahaman yang lebih bernuansa tentang perilaku konsumen yang berbeda dan membantu menyesuaikan pengalaman untuk kelompok tertentu.

Sebagai contoh, Synchrony meningkatkan tingkat pengajuan aplikasinya sebesar 4,5% di antara pengguna yang berniat tinggi dengan menjalankan eksperimen untuk segmen ini yang menguji penghapusan tombol ajakan bertindak yang tidak relevan dari banner.

Setelah dianalisis, perusahaan melihat satu perubahan UX yang spesifik - menghapus tombol CTA "Play Video" dari bannernya - menghentikan pengguna yang berniat baik agar tidak terganggu, sehingga memungkinkan mereka untuk mempelajari lebih lanjut tentang berbagai layanan Synchrony.

2. Strategi Personalisasi Uji A/B

Gunakan pengujian A/B untuk menentukan strategi personalisasi mana yang paling berhasil. Misalnya, Anda dapat menguji algoritme rekomendasi produk dan apakah produk yang ditargetkan ke audiens tertentu menghasilkan rasio klik-tayang atau add-to-cart yang lebih baik daripada yang lain.

3. Adaptasi Strategi Waktu Nyata

Saat Anda mengumpulkan data dari pengujian A/B, gunakan informasi ini untuk pengoptimalan dan penyempurnaan strategi personalisasi Anda secara terus-menerus. Adaptasi waktu nyata ini memungkinkan strategi pemasaran yang lebih dinamis dan efektif yang terus berkembang untuk memenuhi kebutuhan konsumen.

Sebagai contoh, Build with Ferguson menghasilkan 89% peningkatan pembelian dari rekomendasi dengan melakukan hal ini, yang pertama kali dimulai dengan menerapkan strategi yang mengutamakan audiens (berdasarkan kerangka kerja Rooted Personalization ).

Tim ini menguji berbagai strategi rekomendasi dan pada akhirnya menemukan bahwa segmen audiens 'Konsumen' cenderung berinteraksi dengan item yang direkomendasikan oleh pengguna lain dengan perilaku dan minat yang sama.

Dengan menggunakan temuan ini, Build with Ferguson mengoptimalkan kinerja rekomendasinya di seluruh situs dan juga menemukan bahwa pengguna yang berinteraksi dengan rekomendasi menghabiskan 13% lebih banyak dan membeli 2,4 lebih banyak item secara rata-rata.

Pengujian A/B dan personalisasi - perpanjangan alami dari satu sama lain

Pengujian A/B secara historis adalah tentang menentukan pengalaman terbaik secara keseluruhan, sementara personalisasi bertujuan untuk memberikan pengalaman terbaik pada tingkat audiens atau individu. Meskipun ada waktu dan tempat untuk keduanya, menggabungkan keduanya dapat meningkatkan kepuasan dan loyalitas pelanggan untuk bisnis - dengan pengalaman utama yang dibuat lebih relevan melalui personalisasi dan hasil maksimal yang dihasilkan per strategi melalui pengujian A/B.

P.S. Untuk informasi lebih lanjut tentang bagaimana kedua praktik ini bersatu, saya sarankan Anda melihat kursus A/B Testing & Optimizationini , yang membahas tentang cara mengatur konfigurasi atribusi yang tepat, memilih objektif yang tepat, menganalisis hasil pengujian personalisasi, dan memastikan masing-masing memberikan hasil yang berarti.