Predpostavka A/B testiranja je preprosta:
Primerjajte dve (ali več) različnih različic nečesa, da vidite, katera deluje bolje, nato pa zmagovalno različico namestite vsem uporabnikom za najbolj optimalno splošno izkušnjo.
Praksa ekip za A/B testiranje in CRO je bila torej, da znatno vlagajo v izvajanje vseh vrst eksperimentov za izboljšanje različnih področij in izkušenj na spletnem mestu, v izvorni aplikaciji, e-pošti ali katerem koli drugem digitalnem kanalu, nato pa jih nenehno optimizirajo, da sčasoma povečajo število konverzij in določenih ključnih kazalnikov uspešnosti.
Vendar pa lahko pride do točke zmanjševanja donosov, ko rezultati eksperimentiranja (ne glede na število testov ali velikost in sofisticiranost eksperimenta) dosežejo največji izkupiček glede na prispevek teh ekip, razen če podjetje ustvari ogromno prometa in ima ogromno digitalno pokrajino, na kateri lahko eksperimentira.
To je v veliki meri povezano z dejstvom, da klasični pristop k A/B testiranju ponuja binarni pogled na preference obiskovalcev in pogosto ne zajame celotnega nabora dejavnikov in vedenja, ki opredeljujejo, kdo so kot posamezniki.
Poleg tega A/B testi dajejo posplošene rezultate, ki temeljijo na večinskih preferencah segmenta. In čeprav blagovna znamka lahko ugotovi, da ji določena izkušnja v povprečju prinaša več prihodkov, bi bila njena uvedba za vse uporabnike škoda za pomemben del potrošnikov z različnimi preferencami.
Naj ponazorim z nekaj primeri:
Če bi bila neto vrednost mene in Warrena Buffetta v povprečju 117,3 milijarde ameriških dolarjev, ali bi bilo smiselno, da nama priporočamo iste izdelke?
Verjetno ne.
Ali pa, če se trgovec, ki ponuja tako moške kot ženske izdelke, odloči za izvedbo klasičnega A/B testa na svoji domači strani, da bi ugotovil najuspešnejšo različico glavne pasice, vendar ker je 70 % njihove publike žensk, ženska različica prekaša moško.
Ta preizkus bi nakazoval, da bi se zastava ženskih junakinj uporabila za celotno populacijo, vendar to zagotovo ne bi bila prava odločitev.
Preprosto povedano:
- Povprečja so pogosto zavajajoča, če se uporabljajo za primerjavo različnih uporabniških skupin.
- Najbolj uspešne različice se spreminjajo za vsak segment strank in uporabnika
- Na rezultate lahko vplivajo tudi kontekstualni dejavniki, kot so geografski podatki, vreme in drugo.
Seveda to ne pomeni, da ni časa in prostora za uporabo bolj posplošenih rezultatov. Na primer, če bi testirali novo spletno mesto ali zasnovo aplikacije, bi bilo smiselno, da si prizadevate za en dosleden uporabniški vmesnik, ki bi v povprečju deloval najbolje, v primerjavi z desetinami, stotinami ali celo tisoči različic uporabniškega vmesnika za različne uporabnike.
Vendar so dnevi, ko smo pri postavitvi strani, sporočilih, vsebini, priporočilih, ponudbah in drugih ustvarjalnih elementih zvesto uporabljali pristop »zmagovalec vzame vse«, mimo – in to je v redu, saj pomeni, da ne bo več denarja, ki bi ga izgubili zaradi zamujenih priložnosti za personalizacijo, povezanih z neizpolnjevanjem najboljših različic za vsakega posameznega uporabnika.