Передумова A/B-тестування проста:
Порівняйте дві (або більше) різних версій чогось, щоб побачити, яка з них працює краще, а потім розгорніть переможну версію для всіх користувачів для найоптимальнішого загального досвіду.
Таким чином, практика команд A/B-тестування та CRO полягає в тому, щоб значними зусиллями інвестувати в запуск різноманітних експериментів для покращення різних областей та взаємодії на сайті, в нативному додатку, електронній пошті чи будь-якому іншому цифровому каналі, а потім постійно оптимізувати їх для поступового збільшення конверсій та певних KPI з часом.
Однак, якщо компанія не генерує величезний трафік і не має величезного цифрового ландшафту для експериментів, може настати точка зменшення віддачі, коли результат експериментів (незалежно від кількості тестів чи того, наскільки великим і складним може бути експеримент) досягне максимальної віддачі з точки зору внеску цих команд.
Це значною мірою пов'язано з тим, що класичний підхід до A/B-тестування пропонує бінарний погляд на вподобання відвідувачів і часто не враховує весь спектр факторів та поведінки, які визначають, ким вони є як особистості.
Більше того, A/B-тести дають узагальнені результати на основі уподобань більшості сегмента. І хоча бренд може виявити, що певний досвід у середньому приносить більше доходу, його розгортання для всіх користувачів буде ведмежою послугою для значної частини споживачів з різними вподобаннями.
Дозвольте мені проілюструвати це кількома прикладами:
Якби середній чистий капітал мене та Воррена Баффета становив 117,3 мільярда доларів США, чи мало б сенс рекомендувати нам ті самі продукти?
Напевно, ні.
Або як щодо того, що роздрібний продавець, який пропонує товари як для чоловіків, так і для жінок, вирішує провести класичне A/B-тестування на своїй головній сторінці, щоб визначити найефективніший варіант головного банера, але оскільки 70% його аудиторії складають жінки, жіночий варіант перевершує чоловічий.
Цей тест передбачає застосування прапора жіночої героїні до всього населення, але це точно не було б правильним рішенням.
Простіше кажучи:
- Середні значення часто вводять в оману, коли їх використовують для порівняння різних груп користувачів.
- Найефективніші варіації змінюються для кожного сегмента клієнтів та користувача
- На результати також можуть впливати контекстуальні фактори, такі як географічне розташування, погода тощо
Звичайно, це не означає, що немає часу та місця для використання більш узагальнених результатів. Наприклад, якщо ви тестуєте новий дизайн веб-сайту або застосунку, має сенс прагнути до одного узгодженого інтерфейсу користувача, який працює найкраще в середньому, порівняно з десятками, сотнями або навіть тисячами варіацій інтерфейсу користувача для різних користувачів.
Однак часи сумлінного застосування підходу «переможець отримує все» до макета сторінки, повідомлень, контенту, рекомендацій, пропозицій та інших креативних елементів минули – і це нормально, адже це означає, що гроші більше не залишатимуться на столі через втрачені можливості персоналізації, пов’язані з тим, що не було надано найкращого варіанту кожному окремому користувачеві.