Premisa A/B testiranja je jednostavna:
Uporedite dvije (ili više) različitih verzija nečega da biste vidjeli koja bolje funkcioniše, a zatim implementirajte pobjednika svim korisnicima za najoptimalnije cjelokupno iskustvo.
Praksa A/B testiranja i CRO timova je stoga bila da značajno ulažu u pokretanje svih vrsta eksperimenata kako bi poboljšali različita područja i iskustva na web stranici, nativnoj aplikaciji, e-pošti ili bilo kojem drugom digitalnom kanalu, a zatim ih kontinuirano optimiziraju kako bi s vremenom povećali konverzije i specifične KPI-jeve.
Međutim, osim ako kompanija ne generira ogroman promet i nema ogroman digitalni pejzaž za eksperimentiranje, može doći do tačke opadanja prinosa gdje učinak eksperimentiranja (bez obzira na broj testova ili koliko velik i sofisticiran eksperiment može biti) dostiže maksimalni prinos u smislu doprinosa ovih timova.
To uglavnom ima veze s činjenicom da klasični pristup A/B testiranju nudi binarni pogled na preferencije posjetitelja i često ne uspijeva obuhvatiti cijeli niz faktora i ponašanja koji definiraju ko su oni kao pojedinci.
Štaviše, A/B testovi daju generalizovane rezultate zasnovane na preferencijama većine segmenta. I dok brend može smatrati da određeno iskustvo u prosjeku donosi veći prihod, njegova primjena na sve korisnike bila bi šteta za značajan dio potrošača s različitim preferencijama.
Dozvolite mi da ilustrujem s nekoliko primjera:
Ako bi neto vrijednost i mene i Warrena Buffetta u prosjeku iznosila 117,3 milijarde američkih dolara, bi li imalo smisla preporučivati nam iste proizvode?
Vjerovatno ne.
Ili šta ako trgovac koji nudi i muške i ženske proizvode odluči provesti klasični A/B test na svojoj početnoj stranici kako bi identificirao najuspješniju varijaciju banera, ali budući da 70% njihove publike čine žene, ženska varijacija nadmašuje mušku.
Ovaj test bi sugerirao da se zastava ženskih heroja primijeni na cijelu populaciju, ali to sigurno ne bi bila ispravna odluka.
Jednostavno rečeno:
- Prosjeci često zavaravaju kada se koriste za poređenje različitih korisničkih grupa.
- Varijacije s najboljim učinkom mijenjaju se za svaki segment kupaca i korisnika
- Na rezultate mogu utjecati i kontekstualni faktori poput geografskih podataka, vremena i drugih
To, naravno, ne znači da nema vremena i mjesta za korištenje općenitijih rezultata. Na primjer, ako testirate novi dizajn web stranice ili aplikacije, imalo bi smisla ciljati na jedan konzistentan korisnički interfejs koji u prosjeku najbolje funkcionira u odnosu na desetine, stotine ili čak hiljade varijacija korisničkog interfejsa za različite korisnike.
Međutim, dani vjernog primjenjivanja pristupa "pobjednik uzima sve" na izgled stranice, poruke, sadržaj, preporuke, ponude i druge kreativne elemente su prošli - i to je u redu jer znači da više neće ostati novac na stolu zbog propuštenih prilika za personalizaciju povezanih s neisporučivanjem najbolje varijacije svakom pojedinačnom korisniku.