Premisa A/B testiranja je jednostavna:
Uporediti dvije (ili više) različite verzije nečega kako bi se vidjelo koja bolje performira, a zatim primijeniti pobjedničku verziju na sve korisnike za najoptimalnije ukupno iskustvo.
Praksa A/B testiranja i CRO timova je da značajno investiraju u lansiranje svih vrsta eksperimenata kako bi poboljšali različite oblasti i iskustva na sajtu, u aplikacijama, putem emaila, ili bilo kojeg drugog digitalnog kanala i zatim ih kontinuirano optimizuju za postizanje inkrementalnog povećanja u konverzijama i specifičnim KPI-jevima kroz vrijeme.
Međutim, ako kompanija ne generiše mnogo saobraćaja i nema ogromni digitalni krajolik za eksperimentisanje, može doći do tačke opadajuće dobiti gde rezultat eksperimentisanja (bez obzira koliko testova ili koliko velika i sofisticirana eksperimenta mogu biti) doseže maksimalan prinos u smislu doprinosa ovih timova.
Uglavnom se radi o tome da klasičan pristup A/B testiranju nudi binaran pogled na preferencije posetilaca i često ne uspeva da obuhvati potpuni spektar faktora i ponašanja koji definišu ko su oni kao pojedinci.
Štaviše, A/B testovi daju generalizovane rezultate zasnovane na većinskim preferencijama segmenta. I dok brend može otkriti da određeno iskustvo donosi više prihoda u proseku, primena istog za sve korisnike bila bi loša usluga značajnom delu potrošača s različitim preferencijama.
Dopusti mi da ilustrujem sa nekoliko primjera:
Ako bi neto vrednost i moja i Warren Buffet-a bila prosečno 117,3 milijardi američkih dolara, da li bi imalo smisla da nam se preporuče isti proizvodi?
Vjerovatno ne.
Ili šta ako trgovac koji pruža proizvode za muškarce i žene odluči da sprovede klasičan A/B test na svojoj početnoj stranici kako bi identifikovao najbolje varijacije hero bannera, ali pošto je 70% njegove publike žene, ženska varijanta nadmašuje mušku.
Ovaj test bi sugerisao da se hero baner za žene primeni na celu populaciju, ali to sigurno ne bi bila prava odluka.
Jednostavno rečeno:
- Proseci često zavaravaju kada se koriste za poređenje različitih korisničkih grupa
- Promjene najbolje performirajuće varijacije se mijenjaju za svaki segment korisnika i kupaca.
- Rezultati mogu biti pod uticajem kontekstualnih faktora kao što su geolokacija, vreme i drugo.
Naravno, to ne znači da nema vremena i mjesta za korišćenje generičkih rezultata. Na primjer, ako ste testirali novi dizajn web stranice ili aplikacije, imalo bi smisla ciljati konzistentan korisnički interfejs koji najbolje funkcionira u prosjeku, umjesto na desetke, stotine ili čak hiljade varijacija korisničkog interfejsa za različite korisnike.
Međutim, dani lojalnog pristupa "pobednik uzima sve" na dizajn stranice, poruke, sadržaj, preporuke, ponude i druge kreativne elemente su prošli - što je u redu jer to znači da neće više biti ostavljen novac na stolu zbog propuštenih prilika za personalizaciju povezanih s neisporučivanjem najbolje varijacije za svakog pojedinačnog korisnika.