Pretpostavka A/B testiranja je jednostavna:
Uporedite dve (ili više) različitih verzija nečega da biste videli koja ima bolji učinak, a zatim primenite pobednika svim korisnicima za najoptimalnije sveukupno iskustvo.
Praksa A / B testiranja i CRO timova je stoga bila da se značajno uloži u pokretanje svih vrsta eksperimenata kako bi se poboljšale različite oblasti i iskustva na sajtu, izvornoj aplikaciji, e-pošti ili bilo kom drugom digitalnom kanalu, a zatim ih kontinuirano optimizuju kako bi se povećalo inkrementalno povećanje konverzija i specifičnih KPI-a kako vreme prolazi.
Međutim, osim ako kompanija ne generiše tone saobraćaja i nema ogroman digitalni pejzaž iz kojeg može eksperimentirati, može doći do tačke smanjenja prinosa gde rezultat eksperimentisanja (bez obzira koliko testova ili koliko veliki i sofisticiran eksperiment može biti) dostigne maksimalni prinos u smislu unosa ovih timova.
Ovo u velikoj meri ima veze sa činjenicom da klasični pristup A/B testiranju nudi binarni prikaz preferencija posetilaca i često ne uspeva da obuhvati čitav niz faktora i ponašanja koji definišu ko su oni kao pojedinci.
Štaviše, A/B testovi daju generalizovane rezultate zasnovane na većinskim preferencijama segmenta. I dok brend može pronaći određeno iskustvo koje će u prose ku donijeti veći prihod, njegovo primenu svim korisnicima bila bi loša usluga značajnom delu potrošača sa različitim preferencijama.
Dozvolite mi da ilustrujem sa nekoliko primera:
Ako je neto vrednost i mene i Varrena Buffeta u proseku iznosila 117,3 milijarde dolara, da li bi imalo smisla preporučiti nam iste proizvode?
Verovatno ne.
Ili kako bi bilo ako prodavac koji služi i muške i ženske proizvode odluči da izvrši klasični A/B test na svojoj početnoj stranici kako bi identifikovao varijaciju banera heroja sa najboljim performansama, ali pošto su 70% njihove publike žene, ženska varijacija nadmašuje mušku.
Ovaj test bi sugerisao da se baner ženskog heroja primeni na celu populaciju, ali to sigurno ne bi bila prava odluka.
Jednostavno rečeno:
- Proseci su često pogrešni kada se koriste za upoređivanje različitih korisničkih grupa
- Varijacije sa najboljim performansama menjaju se za svaki segment kupaca i korisnika
- Na rezultate mogu uticati i kontekstualni faktori kao što su geo, vreme i još mnogo toga
To, naravno, ne znači da nema vremena i mesta za korišćenje generalizovanijih rezultata. Na primer, ako testirate novi dizajn veb stranice ili aplikacije, imalo bi smisla ciljati na jedan dosledan korisnički interfejs koji je najbolje funkcionisao u proseku u odnosu na desetine, stotine ili čak hiljade varijacija korisničkog interfejsa za različite korisnike.
Međutim, dani vernog zauzimanja pristupa „pobednik uzme sve“ izgledu stranice, porukama, sadržaju, preporukama, ponudama i drugim kreativnim elementima su prošli - i to je u redu jer to znači da više neće ostati novac na stolu od propuštenih mogućnosti personalizacije povezanih sa neisporukom najbolje varijacije svakom pojedinačnom korisniku.