Premisa A/B testiranja je jednostavna:
Usporedite dvije (ili više) različitih verzija nečega kako biste vidjeli koja ima bolje performanse, a zatim pobjednika implementirajte svim korisnicima za najoptimalnije cjelokupno iskustvo.
Praksa A/B testiranja i CRO timova stoga je bila značajno ulaganje u pokretanje svih vrsta eksperimenata za poboljšanje različitih područja i iskustava na web-mjestu, nativnoj aplikaciji, e-pošti ili bilo kojem drugom digitalnom kanalu, a zatim njihovo kontinuirano optimiziranje kako bi se s vremenom povećalo broja konverzija i specifičnih KPI-jeva.
Međutim, osim ako tvrtka ne generira tone prometa i nema ogroman digitalni krajolik za eksperimentiranje, može doći do točke smanjenja prinosa gdje učinak eksperimentiranja (bez obzira na broj testova ili koliko velik i sofisticiran eksperiment može biti) doseže maksimalni prinos u smislu doprinosa tih timova.
To je uvelike povezano s činjenicom da klasični pristup A/B testiranju nudi binarni pogled na preferencije posjetitelja i često ne uspijeva obuhvatiti cijeli niz čimbenika i ponašanja koji definiraju tko su oni kao pojedinci.
Štoviše, A/B testovi daju generalizirane rezultate temeljene na preferencijama većine segmenta. I dok brend može pronaći određeno iskustvo koje u prosjeku donosi veći prihod, njegova primjena na sve korisnike bila bi medvjeđa usluga značajnom dijelu potrošača s različitim preferencijama.
Dopustite mi da ilustriram s nekoliko primjera:
Ako bi neto vrijednost i mene i Warrena Buffetta u prosjeku iznosila 117,3 milijarde američkih dolara, bi li imalo smisla preporučiti nam iste proizvode?
Vjerojatno ne.
Ili što ako trgovac koji nudi i muške i ženske proizvode odluči provesti klasični A/B test na svojoj početnoj stranici kako bi identificirao najuspješniju varijaciju glavnog bannera, ali budući da 70% njihove publike čine žene, ženska varijacija nadmašuje mušku.
Ovaj test bi sugerirao da se zastava ženskih heroja primijeni na cijelu populaciju, ali to sigurno ne bi bila ispravna odluka.
Jednostavno rečeno:
- Prosjeci su često zavaravajući kada se koriste za usporedbu različitih korisničkih skupina
- Varijacije s najboljim rezultatima mijenjaju se za svaki segment kupaca i korisnika
- Na rezultate mogu utjecati i kontekstualni čimbenici poput geografskih podataka, vremena i drugih
To, naravno, ne znači da nema vremena i mjesta za korištenje općenitijih rezultata. Na primjer, ako testirate novi dizajn web stranice ili aplikacije, imalo bi smisla ciljati na jedno dosljedno korisničko sučelje koje u prosjeku najbolje funkcionira u odnosu na desetke, stotine ili čak tisuće varijacija korisničkog sučelja za različite korisnike.
Međutim, dani vjernog prihvaćanja pristupa "pobjednik uzima sve" u pogledu izgleda stranice, poruka, sadržaja, preporuka, ponuda i drugih kreativnih elemenata su prošli - i to je u redu jer znači da više neće ostati novca na stolu zbog propuštenih prilika za personalizaciju povezanih s neisporučivanjem najbolje varijacije svakom pojedinom korisniku.