Premisa testării A/B este simplă:
Comparați două (sau mai multe) versiuni diferite ale unui produs pentru a vedea care are performanțe mai bune și apoi implementați versiunea câștigătoare pentru toți utilizatorii, pentru o experiență generală optimă.
Practica echipelor de testare A/B și CRO a fost, așadar, de a investi semnificativ în lansarea tot felul de experimente pentru a îmbunătăți diferite domenii și experiențe pe site, în aplicația nativă, în e-mail sau în orice alt canal digital, și apoi de a le optimiza continuu pentru a genera o creștere incrementală a conversiilor și a indicatorilor cheie de performanță (KPI) specifici pe măsură ce trece timpul.
Totuși, dacă o companie nu generează tone de trafic și nu dispune de un peisaj digital imens din care să experimenteze, poate exista un punct de randament descrescător în care rezultatul experimentării (indiferent de numărul de teste sau de amploarea și sofisticarea experimentului) atinge un randament maxim în ceea ce privește contribuția acestor echipe.
Acest lucru are legătură în mare măsură cu faptul că abordarea clasică a testării A/B oferă o viziune binară asupra preferințelor vizitatorilor și adesea nu reușește să surprindă întreaga gamă de factori și comportamente care îi definesc ca indivizi.
Mai mult, testele A/B produc rezultate generalizate bazate pe preferințele majorității unui segment. Și, deși un brand poate considera că o anumită experiență generează, în medie, mai multe venituri, implementarea acesteia pentru toți utilizatorii ar fi un deserviciu pentru o parte semnificativă a consumatorilor cu preferințe diferite.
Permiteți-mi să ilustrez cu câteva exemple:
Dacă averea netă atât a mea, cât și a lui Warren Buffet ar fi în medie de 117,3 miliarde de dolari, ar avea sens să ne recomand aceleași produse?
Probabil că nu.
Sau ce-ar fi dacă un comerciant cu amănuntul care oferă atât produse pentru bărbați, cât și pentru femei decide să ruleze un test A/B clasic pe pagina sa principală pentru a identifica varianta de banner principal cu cele mai bune performanțe, dar, din moment ce 70% din publicul său este format din femei, varianta pentru femei o depășește pe cea pentru bărbați.
Acest test ar sugera ca steagul eroinei femeilor să fie aplicat întregii populații, dar cu siguranță nu ar fi decizia corectă.
Simplu spus:
- Mediile sunt adesea înșelătoare atunci când sunt utilizate pentru a compara diferite grupuri de utilizatori
- Cele mai performante modificări ale variantelor pentru fiecare segment de clienți și utilizator
- Rezultatele pot fi influențate și de factori contextuali precum geografia, vremea și alții
Aceasta nu înseamnă, desigur, că nu există un moment și un loc pentru valorificarea unor rezultate mai generalizate. De exemplu, dacă ați testa un design nou de site web sau aplicație, ar fi logic să vizați o interfață cu utilizatorul consistentă care să funcționeze cel mai bine în medie, față de zeci, sute sau chiar mii de variante de interfață cu utilizatorul pentru diferiți utilizatori.
Totuși, zilele în care se adopta cu fidelitate o abordare de tipul „câștigătorul ia totul” în ceea ce privește aspectul unei pagini, mesajele, conținutul, recomandările, ofertele și alte elemente creative au apus – și asta e în regulă, pentru că înseamnă că nu se vor mai pierde bani din oportunitățile de personalizare ratate, asociate cu neoferirea celei mai bune variante fiecărui utilizator în parte.