Princíp A/B testovania je jednoduchý:
Porovnajte dve (alebo viac) rôznych verzií niečoho, aby ste zistili, ktorá funguje lepšie, a potom nasaďte víťaznú verziu všetkým používateľom pre čo najoptimálnejší celkový zážitok.
Prax tímov A/B testovania a CRO preto spočíva v tom, že výrazne investujú do spustenia všetkých druhov experimentov na zlepšenie rôznych oblastí a skúseností na webe, v natívnej aplikácii, e-maile alebo akomkoľvek inom digitálnom kanáli a následne ich neustále optimalizujú s cieľom postupne zvyšovať konverzie a špecifické KPI.
Pokiaľ však spoločnosť negeneruje obrovské množstvo návštevnosti a nemá obrovské digitálne prostredie, v ktorom môže experimentovať, môže nastať bod klesajúcej návratnosti, keď výstup experimentovania (bez ohľadu na to, koľko testov alebo aký veľký a sofistikovaný experiment môže byť) dosiahne maximálny výnos z hľadiska vstupov od týchto tímov.
To do značnej miery súvisí s tým, že klasický prístup k A/B testovaniu ponúka binárny pohľad na preferencie návštevníkov a často nedokáže zachytiť celú škálu faktorov a správania, ktoré definujú, kým sú ako jednotlivci.
Navyše, A/B testy prinášajú zovšeobecnené výsledky založené na preferenciách väčšiny segmentu. A hoci značka môže zistiť, že konkrétny zážitok jej v priemere prináša vyššie príjmy, jeho nasadenie pre všetkých používateľov by bolo nevýhodou pre značnú časť spotrebiteľov s rôznymi preferenciami.
Dovoľte mi to ilustrovať niekoľkými príkladmi:
Ak by čistý majetok mňa aj Warrena Buffetta bol v priemere 117,3 miliardy USD, malo by zmysel odporúčať nám rovnaké produkty?
Pravdepodobne nie.
Alebo čo keby sa predajca, ktorý ponúka pánske aj dámske produkty, rozhodl spustiť klasický A/B test na svojej domovskej stránke, aby identifikoval najvýkonnejšiu variáciu hero bannera, ale keďže 70 % ich publika tvoria ženy, dámska variácia prevyšuje pánsku.
Tento test by naznačoval, že vlajka hrdiniek by sa mala vzťahovať na celú populáciu, ale určite by to nebolo správne rozhodnutie.
Zjednodušene povedané:
- Priemery sú často zavádzajúce pri porovnávaní rôznych skupín používateľov.
- Najvýkonnejšie zmeny variácií pre každý segment zákazníkov a používateľa
- Výsledky môžu byť ovplyvnené aj kontextovými faktormi, ako je geografia, počasie a ďalšie
To samozrejme neznamená, že nie je čas a miesto na využitie všeobecnejších výsledkov. Napríklad, ak by ste testovali nový dizajn webovej stránky alebo aplikácie, malo by zmysel zamerať sa na jedno konzistentné používateľské rozhranie, ktoré by v priemere fungovalo najlepšie, v porovnaní s desiatkami, stovkami alebo dokonca tisíckami variácií používateľského rozhrania pre rôznych používateľov.
Časy, keď sa pri rozložení stránky, správ, obsahu, odporúčaní, ponukách a ďalších kreatívnych prvkoch dôsledne uplatňoval prístup „víťaz berie všetko“, sú však preč – a to je v poriadku, pretože to znamená, že už nebudú chýbať peniaze z premeškaných príležitostí na personalizáciu spojených s neposkytnutím najlepšej variácie každému jednotlivému používateľovi.