주 컨텐츠로 이동

A/B 테스트와 개인화가 함께 사용하면 더 강력한 이유

사용자 경험을 개선하기 위한 두 가지 접근 방식이 서로 다르지만, 이 두 가지를 결합하면 비즈니스가 놓치고 싶지 않은 기하급수적인 이점을 제공할 수 있습니다.

 

야니브 나봇

 

CMO, 동적 수익률

알아야 할 사항은 다음과 같습니다:

  • A/B 테스트와 개인화를 함께 사용하면 각 개인에게 가장 관련성 높은 경험을 제공함으로써 사용자 경험을 크게 개선할 수 있습니다.
  • A/B 테스트는 크리에이티브 요소의 가장 효과적인 변형을 식별하는 데 도움이 되며, 개인화는 개별 고객에 맞게 경험을 맞춤화합니다.
  • 이러한 접근 방식을 결합하면 프로세스가 간소화되고 결과가 증폭되며 고객 만족도가 높아집니다.
  • 마케터는 오디언스를 세분화하여 A/B 테스트를 진행하고, 개인화 전략을 테스트하고, 실시간 데이터를 사용하여 지속적으로 최적화함으로써 이 기능을 활용할 수 있습니다.

A/B 테스트와 개인화는 서로 다른 두 가지 방법론입니다. A/B 테스트는 다양한 크리에이티브 요소, 카피, 레이아웃, 심지어 알고리즘을 실험하여 주요 비즈니스 지표와 전반적인 사용자 경험을 개선하는 데 중점을 두지만, 개인화는 적절한 순간에 개별 고객에게 가장 관련성 높은 경험을 제공하는 것을 목표로 합니다.

접근 방식은 근본적으로 다르지만, 이 두 가지 전략을 결합하면 실제로 기하급수적인 이점을 얻을 수 있습니다. 이 게시물에서는 그 이유와 팀이 어떻게 하면 그렇게 할 수 있는지 살펴봅니다.

A/B 테스트의 한계

A/B 테스트의 전제는 간단합니다:

두 가지 이상의 서로 다른 버전을 비교하여 어느 것이 더 나은지 확인한 다음, 가장 최적의 전체 경험을 위해 모든 사용자에게 배포합니다.

따라서 A/B 테스트 및 CRO 팀의 관행은 사이트, 네이티브 앱, 이메일 또는 기타 디지털 채널 전반에서 다양한 영역과 경험을 개선하기 위해 모든 종류의 실험을 실행하는 데 상당한 투자를 한 다음 시간이 지남에 따라 전환과 특정 KPI를 점진적으로 향상시키기 위해 지속적으로 최적화하는 것이었습니다.

그러나 회사가 엄청난 양의 트래픽을 생성하고 실험할 수 있는 방대한 디지털 환경을 갖추고 있지 않은 한, 아무리 많은 테스트를 수행하거나 실험의 규모와 정교함에 상관없이 실험의 결과물이 이러한 팀의 투입 대비 최대 수익률에 도달하는 시점이 올 수 있습니다.

이는 A/B 테스트에 대한 기존의 접근 방식이 방문자 선호도에 대한 이분법적 관점을 제공하고 방문자를 개인으로 정의하는 모든 요소와 행동을 포착하지 못하는 경우가 많다는 사실과 크게 관련이 있습니다.

또한 A/B 테스트는 세그먼트의 다수 선호도를 기반으로 일반화된 결과를 도출합니다. 브랜드가 특정 경험을 통해 평균적으로 더 많은 수익을 창출할 수 있지만, 이를 모든 사용자에게 배포하는 것은 선호도가 다른 상당수의 소비자에게 해가 될 수 있습니다.

몇 가지 예를 들어 설명해 드리겠습니다:

저와 워렌 버핏의 순자산이 평균 1,173억 달러라면 같은 상품을 추천하는 것이 합리적일까요?

아마 아닐 겁니다.

또는 남성용과 여성용 제품을 모두 제공하는 리테일러가 홈페이지에서 가장 실적이 좋은 영웅 배너 변형을 파악하기 위해 기존의 A/B 테스트를 실행하기로 결정했는데, 대상 고객 중 70% 이 여성이기 때문에 여성용 변형이 남성용보다 실적이 더 좋다면 어떨까요?

이 테스트는 여성 영웅 배너를 전체 인구에 적용하는 것을 제안하지만, 이는 올바른 결정이 아닙니다.

간단히 말해서

  • 평균은 다른 사용자 그룹을 비교할 때 종종 오해의 소지가 있습니다.
  • 각 고객 세그먼트 및 사용자별로 가장 실적이 좋은 변형 변경 사항
  • 결과는 지역, 날씨 등과 같은 상황적 요인에 의해서도 영향을 받을 수 있습니다.

물론 보다 일반화된 결과를 활용할 수 있는 시기와 장소가 없다는 것은 아닙니다. 예를 들어, 새로운 웹사이트나 앱 디자인을 테스트하는 경우 사용자별로 수십, 수백, 수천 가지의 UI 변형을 만드는 것보다 평균적으로 가장 잘 작동하는 하나의 일관된 UI를 목표로 하는 것이 합리적일 수 있습니다.

하지만 페이지 레이아웃, 메시지, 콘텐츠, 추천, 오퍼 및 기타 크리에이티브 요소에 대해 '승자 독식' 방식을 충실히 따르던 시대는 끝났으며, 개별 사용자에게 최상의 변형을 제공하지 못해 개인화 기회를 놓치는 데 따른 비용 손실이 더 이상 발생하지 않을 것이기 때문에 괜찮습니다.

개인화를 통한 관련성 향상

개인화는 소비자의 고유한 행동, 선호도, 의도에 따라 사이트 경험을 반응하고 조정하는 것으로, 오늘날의 디지털 환경에서 기대되는 기능입니다. 이것만으로도 고객 만족도와 충성도를 높일 수 있다는 것이 입증되었습니다.

개인화의 모범 사례가 반드시 A/B 테스트에 의존하는 것은 아니지만, 특정 경험의 어떤 버전이 가장 효과적인지 결정하는 것은 고객 수준과 평균 수준에서 이루어질 뿐이라는 점에서 A/B 테스트의 기초를 기반으로 한다는 점이 놀랍게 느껴질 수 있습니다.

개인화 캠페인 내에서 이것이 어떻게 보이는지 기본 구조를 분석해 보겠습니다. 기존 A/B 테스트처럼 대조 그룹과 비교하기 위해 하나의 경험에 여러 가지 변형을 포함하는 대신, 한 단계 더 나아가 서로 다른 대상을 대상으로 하는 여러 경험을 만들고 각 경험 내에서 A/B 테스트를 통해 가장 성과가 좋은 경험을 결정할 수 있는 여러 가지 변형을 만듭니다.

이는 IF/Then 로직을 활용하여 수동으로 프로그래밍된 일련의 규칙에 따라 고객 여정을 맞춤화하는 간단한 규칙 기반 타겟팅을 통해 수행할 수 있으며, 팀은 이러한 경험을 A/B 테스트하고 통계적 유의성에 도달하면 결과를 검증한 다음 그에 따라 반복할 수 있습니다.

그러나 위의 시나리오는 최적의 프로그래매틱 타겟팅 규칙을 결정하기 위해 각 잠재고객 세그먼트에 대해 테스트된 모든 변수를 세밀하게 측정하는 수많은 테스트 배포를 포함하는 데이터 집약적인 프로세스가 될 수 있기 때문에 개인화 의사 결정을 확장할 때 AI와 머신러닝은 매우 중요한 요소가 되었습니다. 또한 특정 대상에게 더 나은 성과를 내는 것으로 확인된 특정 변형에 대한 개인화 기회로 '실패한' 테스트를 전환하는 데에도 유용합니다.

이러한 고급 기술은 모든 트래픽 세그먼트에서 각 변형의 성과를 실시간으로 분석하여 일부 오디언스 그룹에 가장 관련성 높은 콘텐츠를 제공합니다. 또한 선호도 기반 개인화 기능을 통해 1:1 개인화를 달성할 수 있으며, 선호도 프로파일링 프로세스를 활용하여 각 개인에게 맞춤화된 추천, 제품 제안 및 콘텐츠를 알고리즘적으로 매칭합니다.

이러한 수준의 개인화를 통해 기업은 보다 효과적이고 타겟화된 마케팅 전략을 수립하는 동시에 보다 미묘하고 의미 있으며 관련성 있는 방식으로 소비자의 참여를 유도할 수 있습니다.

A/B 테스트와 개인화의 결합

A/B 테스트 팀이나 CRO 팀과 개인화 전담 팀에게 업무의 구체적인 내용에 대해 자세히 물어보면 대답이 매우 비슷하다는 것을 알 수 있습니다.

개인화 선구자 이벤트의 JD 스포츠 | 피니시 라인 기조연설에서 소개된 아래 도표를 참고하세요(전체 요약은 여기에서 확인하세요):

이는 A/B 테스트와 개인화의 필요성을 깨닫기 시작한 많은 사람들이 공유하는 감정입니다:

  • 긍정적인 고객 경험을 만드는 데 중점을 두는 방법 공유
  • 동일한 KPI에 영향을 미치고 개선하고자 하는 경우
  • 수집된 동일한 학습 정보를 활용할 수 있습니다.

또한 이러한 팀에는 종종 동일한 내부 리소스와 도구가 필요합니다! 그렇기 때문에 A/B 테스트와 개인화가 진공 상태로 존재하지 않고 조정된 KPI를 통해 공유 로드맵의 일부가 되는 것이 매우 중요합니다.

이 두 가지를 결합하면 프로세스와 운영을 간소화할 수 있을 뿐만 아니라 소비자 행동에 대한 광범위하고 세밀한 인사이트를 얻을 수 있기 때문에 기하급수적인 결과를 창출할 수 있습니다.

더 나은 결과를 위해 이 두 가지를 마케팅 전략에 통합하는 방법은 다음과 같습니다:

1. 세그먼트 기반 A/B 테스트

전체 오디언스에 대해 A/B 테스트를 수행하는 대신 공유된 특성에 따라 오디언스를 의미 있는 세그먼트로 나누세요(매크로에서 마이크로로 확장할 수 있는 기본 오디언스 접근 방식을 사용해 보세요). 그런 다음 이러한 세그먼트에 대해 A/B 테스트를 수행합니다. 이러한 세분화된 실험 접근 방식은 다양한 소비자 행동을 보다 미묘하게 이해하고 특정 그룹에 맞게 경험을 맞춤화하는 데 도움이 될 수 있습니다.

예를 들어, Synchrony는 배너에서 불필요한 클릭 유도 문안 버튼을 제거하는 실험을 통해 의도가 높은 사용자의신청서 제출률을 4.5배(% ) 증가시켰습니다.

분석 결과, 배너에서 '동영상 재생' CTA 버튼을 제거한 한 가지 특정 UX 변경으로 의도가 높은 사용자들의 주의를 분산시키지 않고 실제로 Synchrony의 다양한 서비스에 대해 더 자세히 알아볼 수 있게 되었다는 사실을 발견했습니다.

2. A/B 테스트 개인화 전략

A/B 테스트를 사용하여 어떤 개인화 전략이 가장 효과적인지 결정하세요. 예를 들어,제품 추천 알고리즘을 테스트하여 특정 고객을 타겟팅하는 알고리즘이 다른 알고리즘보다 클릭률이나 장바구니 추가율이 더 높은지 여부를 확인할 수 있습니다.

3. 실시간 전략 조정

A/B 테스트에서 데이터를 수집할 때 이 정보를 사용하여 개인화 전략을 지속적으로 최적화하고 개선하세요. 이러한 실시간 적응을 통해 소비자의 니즈에 맞춰 지속적으로 진화하는 보다 역동적이고 효과적인 마케팅 전략이 가능합니다.

예를 들어, 퍼거슨과 함께 구축한 빌드에서는 추천을 통한 구매가 89%(% ) 증가했는데, 이는 먼저 고객 우선 전략( 루팅된 개인화 프레임워크 기반)을 구현하는 것에서 시작되었습니다.

다양한 추천 전략을 테스트한 결과, '소비자' 오디언스 세그먼트는 비슷한 행동과 관심사를 가진 다른 사용자들이 상호작용한 추천 아이템에 더 많이 참여하는 경향이 있다는 사실을 발견했습니다.

이러한 결과를 바탕으로 Build with Ferguson은 사이트 전반에서 추천 성능을 최적화했으며, 추천과 상호작용하는 사용자가 평균 13달러(% )를 더 지출하고 2.4개의 상품을 더 구매한다는 사실도 발견했습니다.

A/B 테스트와 개인화 - 서로 자연스럽게 확장되는 기능

지금까지 A/B 테스트는 전체적으로 최상의 경험을 결정하는 것이었지만, 개인화는 대상 또는 개별 수준에서 최상의 경험을 제공하는 것을 목표로 합니다. 두 가지 모두 적절한 시기와 장소가 있지만, 개인화를 통해 주요 경험을 더욱 관련성 있게 만들고 A/B 테스트를 통해 전략별로 최대의 결과를 도출함으로써 이 두 가지를 결합하면 고객 만족도와 충성도를 높일 수 있습니다.

추신: 이 두 가지 방법을 함께 사용하는 방법에 대한 자세한 내용은 올바른 어트리뷰션 구성 설정, 올바른 목표 선택, 개인화 테스트 결과 분석 및 각 테스트가 의미 있는 결과를 도출하는 방법에 대해 다루는A/B 테스트 & 최적화 과정을확인해 보시기 바랍니다 .