Az A/B tesztelés alapfeltevése egyszerű:
Hasonlítsa össze valaminek két (vagy több) különböző verzióját, hogy megnézze, melyik teljesít jobban, majd a győztes változatot telepítse az összes felhasználóhoz a legoptimálisabb általános élmény érdekében.
Az A/B tesztelés és a CRO-csapatok gyakorlata tehát az, hogy jelentős összegeket fektetnek be mindenféle kísérlet elindításába, hogy javítsák a különböző területeket és élményeket a webhelyen, a natív alkalmazásban, az e-mailben vagy bármely más digitális csatornán, majd folyamatosan optimalizálják őket, hogy idővel növeljék a konverziók és a konkrét KPI-k növekedését.
Ha azonban egy vállalat nem generál rengeteg forgalmat, és nem rendelkezik hatalmas digitális tájképpel, ahol kísérletezhet, akkor elérkezhet a csökkenő hozam egy pontja, ahol a kísérletezés kimenete (függetlenül attól, hogy hány teszt, vagy milyen nagy és kifinomult kísérletről van szó) eléri a maximális hozamot e csapatok inputjainak tekintetében.
Ez nagyrészt azzal a ténnyel függ össze, hogy az A/B tesztelés klasszikus megközelítése a látogatói preferenciák bináris nézetét kínálja, és gyakran nem képes megragadni a tényezők és viselkedés teljes skáláját, amelyek meghatározzák, hogy kik is ők, mint egyének.
Az A/B tesztek továbbá általánosított eredményeket adnak egy szegmens többségi preferenciái alapján. És bár egy márka úgy találhatja, hogy egy adott élmény átlagosan több bevételt hoz, ha azt az összes felhasználóra kiterjeszti, az rossz szolgálatot tenne a fogyasztók jelentős részének, akiknek más preferenciái vannak.
Hadd illusztráljam néhány példával:
Ha az én és Warren Buffet nettó vagyona átlagosan 117,3 milliárd USD lenne, lenne értelme ugyanazokat a termékeket ajánlani nekünk?
Valószínűleg nem.
Vagy mi a helyzet akkor, ha egy kiskereskedő, amely férfi és női termékeket egyaránt kínál, úgy dönt, hogy klasszikus A/B tesztet futtat a honlapján, hogy meghatározza a legjobban teljesítő hero banner variációt, de mivel a közönségük 70% része nő, a női variáció felülmúlja a férfi variációt.
Ez a teszt azt sugallná, hogy a női hős bannert a teljes lakosságra alkalmazni kell, de ez biztosan nem lenne helyes döntés.
Egyszerűen fogalmazva:
- Az átlagok gyakran félrevezetőek, ha különböző felhasználói csoportok összehasonlítására használják őket.
- A legjobban teljesítő variáció változik az egyes ügyfélszegmensek és felhasználók esetében.
- Az eredményeket olyan kontextuális tényezők is befolyásolhatják, mint a földrajzi, időjárási és egyéb tényezők.
Ez persze nem jelenti azt, hogy nincs helye és ideje az általánosíthatóbb eredmények kihasználásának. Ha például egy új weboldal vagy alkalmazás dizájnját tesztelné, akkor érdemes lenne egy konzisztens felhasználói felületre törekedni, amely átlagosan a legjobban működik, szemben a több tucat, száz vagy akár ezer különböző felhasználói felületváltozattal.
Az oldal elrendezésének, az üzenetküldésnek, a tartalomnak, az ajánlásoknak, az ajánlatoknak és más kreatív elemeknek a hűséges "mindent a győztes kap" megközelítése azonban már a múlté - és ez nem baj, mert ez azt jelenti, hogy többé nem marad pénz az asztalon az elszalasztott személyre szabási lehetőségek miatt, amelyek azzal járnak, hogy nem a legjobb variációt kínáljuk minden egyes felhasználónak.