Предпоставката на A/B тестването е проста:
Сравнявайте две (или повече) различни версии на нещо, за да видите коя от тях е по-добра, и след това внедрете победителя сред всички потребители за най-оптимално цялостно изживяване.
Затова практиката на екипите, занимаващи се с A/B тестване и CRO, е да инвестират значителни средства в стартирането на всякакви експерименти за подобряване на различни области и преживявания в сайта, родното приложение, имейла или друг цифров канал и след това непрекъснато да ги оптимизират, за да постигнат постепенно повишаване на конверсиите и конкретните KPI с течение на времето.
Въпреки това, ако компанията не генерира тонове трафик и не разполага с огромен дигитален пейзаж, в който да експериментира, може да настъпи момент на намаляваща възвръщаемост, в който резултатите от експериментирането (без значение колко много тестове или колко голям и сложен може да бъде експериментът) достигат максимален резултат по отношение на приноса на тези екипи.
Това до голяма степен е свързано с факта, че класическият подход към A/B тестването предлага двоичен поглед върху предпочитанията на посетителите и често не успява да обхване пълния набор от фактори и поведение, които определят кои са те като личности.
Освен това A/B тестовете дават обобщени резултати въз основа на предпочитанията на мнозинството от сегмента. И макар че дадена марка може да установи, че определено изживяване носи повече приходи средно, внедряването му при всички потребители би било лоша услуга за значителна част от потребителите с различни предпочитания.
Нека илюстрирам с няколко примера:
Ако нетното състояние на мен и Уорън Бъфет е средно 117,3 милиарда щатски долара, би ли имало смисъл да ни препоръчваме едни и същи продукти?
Вероятно не.
Или ако търговец на дребно, който предлага продукти за мъже и жени, реши да проведе класически A/B тест на началната си страница, за да определи най-добре представящата се вариация на банера с герои, но тъй като 70% от аудиторията му са жени, вариацията за жени превъзхожда тази за мъже.
Този тест би подсказал, че знамето на женския герой трябва да се приложи към цялото население, но това със сигурност не би било правилното решение.
Казано по-просто:
- Средните стойности често са подвеждащи, когато се използват за сравняване на различни групи потребители.
- Промяна на най-добре представящата се вариация за всеки сегмент на клиента и потребител
- Резултатите могат да бъдат повлияни и от контекстуални фактори като географски, метеорологични и други.
Това, разбира се, не означава, че няма време и място за използване на по-обобщени резултати. Например, ако тествате нов уебсайт или дизайн на приложение, би било логично да се стремите към един последователен потребителски интерфейс, който работи най-добре средно, в сравнение с десетки, стотици или дори хиляди варианти на потребителски интерфейс за различните потребители.
Дните, в които вярно се прилага подходът "победител-всичко" по отношение на оформлението на страницата, съобщенията, съдържанието, препоръките, офертите и други творчески елементи, обаче отминаха - и това е добре, защото означава, че вече няма да се оставят пари на масата от пропуснатите възможности за персонализация, свързани с непредоставянето на най-добрите варианти за всеки отделен потребител.