Skip to main content

Почему A/B тестирование и персонализация вместе эффективнее

Хотя это отражает два различных подхода к улучшению пользовательского опыта, их сочетание может принести экспоненциальные преимущества, которые компании не хотят упускать.

 

Янив Навот

 

CMO, динамический доход

Вот что вам нужно знать:

  • A/B-тестирование и персонализация в сочетании могут значительно улучшить пользовательский опыт, предоставляя наиболее релевантный опыт каждому человеку.
  • A/B-тестирование помогает выявить наиболее эффективные варианты креативных элементов, а персонализация адаптирует пользовательский опыт к индивидуальным потребностям клиентов.
  • Сочетание этих подходов оптимизирует процессы, повышает результаты и повышает удовлетворённость клиентов.
  • Маркетологи могут использовать эту возможность, сегментируя аудиторию для A/B-тестирования, тестируя стратегии персонализации и используя данные в реальном времени для непрерывной оптимизации.

A/B тестирование и персонализация представляют собой две разные методологии. В то время как A/B-тестирование сосредоточено на экспериментах с различными креативными элементами, текстами, макетами и даже алгоритмами для улучшения ключевых бизнес-показателей и общего пользовательского опыта, персонализация стремится подобрать наиболее релевантный опыт для конкретного клиента в нужный момент.

Несмотря на принципиально разные подходы, сочетание этих двух стратегий может принести значительную выгоду. В этой статье мы рассмотрим, почему это так, а также как команды могут это сделать.

Ограничения A/B-тестирования

Суть A/B тестирования проста:

Сравните две (или более) разные версии чего-то, чтобы понять, какая работает лучше, а затем разверните победитель для всех пользователей для максимально оптимального общего опыта.

Таким образом, практика A/B-тестирования и работы команд по оптимизации конверсии (CRO) заключается в значительных инвестициях в запуск всевозможных экспериментов для улучшения различных областей и пользовательского опыта на сайте, в мобильном приложении, электронной почте или любом другом цифровом канале, а затем в их постоянной оптимизации для постепенного увеличения конверсий и конкретных KPI с течением времени.

Однако, если компания не генерирует огромный трафик и не имеет огромного цифрового пространства для экспериментов, может наступить момент убывающей отдачи, когда результат экспериментов (независимо от количества тестов или масштаба и сложности эксперимента) достигнет максимального результата по сравнению с вводом этих команд.

Это во многом связано с тем, что классический подход к A/B тестированию предлагает бинарное представление о предпочтениях посетителей и часто не охватывает весь спектр факторов и поведения, определяющих их личность.

Кроме того, A/B тесты дают обобщённые результаты, основанные на предпочтениях большинства сегмента. И хотя бренд может находить определённый опыт для получения в среднем больше дохода, развертывание его для всех пользователей было бы несправедливым по отношению к значительной части потребителей с разными предпочтениями.

Позвольте привести несколько примеров:

Если бы среднее состояние меня и Уоррена Баффета составляло 117,3 миллиарда долларов США, имело бы смысл рекомендовать нам одни и те же продукты?

Скорее всего, нет.

А что, если ритейлер, продающий как мужскую, так и женскую продукцию, решит провести классический A/B-тест на своей главной странице, чтобы определить наиболее эффективный вариант баннера-заставки, но поскольку 70% его аудитории составляют женщины, женский вариант окажется более эффективным, чем мужской?

Этот тест предполагал, что женское знамя героя применяется ко всему населению, но это явно не было бы правильным решением.

Проще говоря:

  • Средние значения часто вводят в заблуждение при сравнении различных групп пользователей
  • Наиболее эффективная вариация меняется для каждого сегмента клиента и пользователя
  • Результаты также могут зависеть от контекстуальных факторов, таких как география, погода и другие

Это, конечно, не означает, что нет времени и места для использования более обобщенных результатов. Например, при тестировании нового дизайна веб-сайта или приложения было бы логично стремиться к одному единому, стабильному пользовательскому интерфейсу, который в среднем работает лучше всего, вместо десятков, сотен или даже тысяч вариантов интерфейса для разных пользователей.

Однако времена верного подхода «победитель получает всё» в макете страницы, сообщениях, контенте, рекомендациях, предложениях и других творческих элементах прошли — и это нормально, потому что больше не останутся деньги на столе из-за упущенных возможностей персонализации, связанных с тем, что не дать наилучшее разнообразие каждому отдельному пользователю.

Раскрытие большей значимости с помощью персонализации

Персонализация — это прежде всего реагирование на сайт и адаптация опыта пользователей в зависимости от их уникального поведения, предпочтений и намерений, что стало ожиданием в современном цифровом пространстве. Это само по себе доказано повышает удовлетворённость клиентов и лояльность.

И хотя это не обязательно зависит от A/B-тестирования, может показаться удивительным, что лучшие практики персонализации основаны на принципах A/B-тестирования – единственное различие заключается в том, что определение того, какой вариант конкретного опыта работает лучше всего, проводится на уровне аудитории, а не на уровне средних значений.

Давайте разберем базовую структуру того, как это будет выглядеть в рамках персонализированной кампании. Вместо того чтобы предлагать один вариант с несколькими вариациями для сравнения с контрольной группой, как это делается в традиционном A/B-тестировании, мы идем дальше, создавая несколько вариантов, ориентированных на разные аудитории, и множество вариаций внутри каждого из них, которые можно протестировать с помощью A/B-тестирования, чтобы определить наиболее эффективный из них.

Это можно сделать с помощью простого таргетирования на основе правил, которое использует логику «ЕСЛИ/ТО» для адаптации пути клиента в соответствии с набором правил, запрограммированных вручную. При этом команды могут проводить A/B-тестирование этих вариантов взаимодействия, подтверждать результаты после достижения статистической значимости и затем вносить соответствующие изменения.

Однако искусственный интеллект и машинное обучение стали необходимым условием для масштабирования принятия решений в области персонализации, поскольку описанный выше сценарий может превратиться в ресурсоемкий процесс, включающий многочисленные тестовые развертывания с детальными измерениями каждого тестируемого варианта для каждого сегмента аудитории, чтобы определить оптимальные правила программного таргетинга. Это также помогает превратить «проигрышные» тесты в возможности персонализации для конкретных вариантов, которые, как было установлено, лучше подходят для определенной аудитории.

Эти передовые технологии анализируют производительность каждого варианта трафика в каждом сегменте в режиме реального времени, чтобы предоставлять наиболее релевантный контент выбранным группам аудитории. Кроме того, персонализация «один к одному» может быть достигнута с помощью возможностей персонализации на основе предпочтений, которые используют процесс профилирования предпочтений для алгоритмического сопоставления каждого человека с персонализированными рекомендациями, предложениями продуктов и контентом.

Такой уровень персонализации позволяет компаниям быть более эффективными и целенаправленными в реализации маркетинговой стратегии, одновременно вовлекая потребителей более тонко, значимо и релевантно.

Сочетание A/B-тестирования с персонализацией

Если бы вы спросили команду A/B тестирования или CRO, а также тех, кто занимается персонализацией, подробно объяснили бы конкретику их работы, их ответы были бы пугающе похожи.

Возьмём впечатляющую диаграмму ниже, которая была показана во время основного доклада JD Sports | Финишная линия во время мероприятия Personalization Pioneers (полный обзор здесь):

Это мнение разделяют многие другие, начинающие понимать, что как A/B-тестирование, так и персонализация:

  • Делитесь акцентом на создании позитивного клиентского опыта
  • Стремлюсь влиять и улучшать те же KPI
  • Могут извлечь пользу из тех же самых накопленных знаний.

Кроме того, часто этим командам нужны одни и те же внутренние ресурсы и даже инструменты! Вот почему так важно, чтобы A/B тестирование и персонализация не оставались в вакууме, а становились частью общей дорожной карты с согласованными KPI.

Сочетание этих двух методов не только упрощает процессы и операции, но и даёт экспоненциальные результаты, поскольку позволяет получить как широкое, так и тонкое понимание поведения потребителей.

Вот как вы можете использовать их объединенную мощь в своей маркетинговой стратегии для достижения лучших результатов:

1. Сегментное A/B тестирование

Вместо того чтобы проводить A/B-тесты всей аудитории, разделите аудиторию на значимые сегменты на основе общих характеристик (попробуйте подход Primary Audiences, который рассчитан на масштабирование от макро до микроуровня). Затем проведите A/B-тесты на этих участках. Такой сегментированный подход к экспериментам может дать более тонкое понимание различных потребительских поведений и помочь адаптировать опыт под конкретные группы.

Например, Synchrony увеличила уровень подачи заявок среди пользователей с высокими намерениями на 4,5 %, проведя эксперимент для этого сегмента, в котором проверялось удаление лишних кнопок призыва к действию из баннера.

В ходе анализа компания заметила одно конкретное изменение в пользовательском интерфейсе — удаление кнопки призыва к действию «Воспроизвести видео» из баннера — которое предотвратило отвлечение пользователей с высокой степенью заинтересованности, позволив им узнать больше о многочисленных услугах Synchrony.

2. Стратегии персонализации тестов A/B

Используйте A/B-тестирование, чтобы определить, какие стратегии персонализации работают лучше всего. Например, вы можете протестировать алгоритмы рекомендаций товаров и выяснить, приводят ли те из них, которые ориентированы на определенную аудиторию, к более высоким показателям кликабельности или добавления товаров в корзину, чем другие.

3. Адаптация стратегии в реальном времени

Собирая данные из A/B-тестов, используйте их для постоянной оптимизации и совершенствования стратегии персонализации. Такая адаптация в реальном времени позволяет разрабатывать более динамичную и эффективную маркетинговую стратегию, которая постоянно развивается для удовлетворения потребностей потребителей.

Например, Build with Ferguson привёл к 89% увеличению покупок от рекомендаций благодаря этому, что изначально началось с реализации стратегии «аудитория прежде всего» (основанной на фреймворке Rooted Personalization).

Команда протестировала различные стратегии рекомендаций и в итоге выяснила, что сегмент аудитории «Потребитель» обычно взаимодействует с рекомендованными товарами, с которыми взаимодействовали другие пользователи с похожим поведением и интересами.

Используя эти данные, Build with Ferguson оптимизировала производительность своих рекомендаций на сайте и также обнаружила, что пользователи, взаимодействующие с рекомендациями, тратят на 13% больше и в среднем покупают на 2,4 товара больше.

A/B-тестирование и персонализация — естественные продолжения друг друга

A/B-тестирование исторически было направлено на определение лучшего опыта в целом, тогда как персонализация направлена на предоставление наилучшего опыта на уровне аудитории или на индивидуальном уровне. И хотя для обоих подходов есть время и место, сочетание их может привести к повышению удовлетворённости клиентов и лояльности для бизнеса — при этом ключевые опыты становятся более актуальными благодаря персонализации, а максимальные результаты каждой стратегии достигаются через A/B-тестирование.

P.S. Для получения дополнительной информации о том, как эти две практики сочетаются, советую ознакомиться скурсом A/B Testing and Optimization, где рассказывается, как настроить правильные конфигурации атрибуции, выбрать правильную цель, проанализировать результаты персонализационных тестов и убедиться, что каждый из них даёт значимые результаты.