Premisa testării A/B este simplă:
Comparați două (sau mai multe) versiuni diferite ale unui element pentru a vedea care performează mai bine și apoi implementați versiunea câștigătoare pentru toți utilizatorii, asigurând cea mai bună experiență generală.
Practica echipelor de testare A/B și CRO a fost să investească semnificativ în lansarea diverselor experimente pentru a îmbunătăți diferite domenii și experiențe pe site, aplicația nativă, e-mail sau orice alt canal digital și apoi să le optimizeze continuu pentru a stimula creșterea incrementală a conversiilor și a KPI-urilor specifice pe măsură ce trece timpul.
Cu toate acestea, dacă o companie nu generează un volum mare de trafic și nu dispune de un peisaj digital vast pentru a experimenta, poate ajunge la un punct de randament descrescător, unde rezultatul experimentării (indiferent de câte teste sau cât de mari și sofisticate ar fi experimentele) atinge un randament maxim în raport cu contribuția acestor echipe.
Acest lucru are legătură în mare măsură cu faptul că abordarea clasică a testării A/B oferă o perspectivă binară asupra preferințelor vizitatorilor și adesea nu reușește să surprindă întreaga gamă de factori și comportamente care definesc cine sunt ei ca indivizi.
În plus, testele A/B oferă rezultate generalizate bazate pe preferințele majoritare ale unui segment. Și, deși un brand poate constata că o anumită experiență generează mai multe venituri în medie, implementarea acesteia pentru toți utilizatorii ar fi un deserviciu pentru o parte semnificativă a consumatorilor cu preferințe diferite.
Permiteți-mi să ilustrez cu câteva exemple:
Dacă valoarea netă a mea și a lui Warren Buffet ar fi, în medie, de 117,3 miliarde USD, ar avea sens să ni se recomande aceleași produse?
Probabil că nu.
Sau ce-ar fi dacă un retailer care oferă produse atât pentru bărbați, cât și pentru femei ar decide să efectueze un test A/B clasic pe pagina lor principală pentru a identifica cea mai performantă variantă de banner principal, dar, având în vedere că 70% din publicul lor este format din femei, varianta pentru femei o depășește pe cea pentru bărbați.
Acest test ar sugera că bannerul principal pentru femei să fie aplicat întregii populații, dar cu siguranță nu ar fi decizia corectă.
Pe scurt:
- Mediile sunt adesea înșelătoare atunci când sunt folosite pentru a compara diferite grupuri de utilizatori
- Cea mai performantă variație se schimbă pentru fiecare segment de client și utilizator
- Rezultatele pot fi influențate și de factori contextuali precum locația geografică, condițiile meteorologice și alți factori.
Desigur, asta nu înseamnă că nu există un moment și un loc pentru a valorifica rezultate mai generalizate. De exemplu, dacă testați un nou design de site web sau aplicație, ar fi logic să vizați o interfață de utilizare unitară care să funcționeze cel mai bine în medie, în loc de zeci, sute sau chiar mii de variații UI pentru utilizatori diferiți.
Cu toate acestea, zilele în care se adopta o abordare de tipul „câștigătorul ia totul” pentru aspectul unei pagini, mesaje, conținut, recomandări, oferte și alte elemente creative au luat sfârșit – și acest lucru este în regulă, deoarece înseamnă că nu vor mai fi pierdute oportunități de personalizare din cauza faptului că nu se oferă cea mai bună variantă fiecărui utilizator individual.