A/B 테스트의 전제는 간단합니다:
두 가지 이상의 서로 다른 버전을 비교하여 어느 것이 더 나은지 확인한 다음, 가장 최적의 전체 경험을 위해 모든 사용자에게 배포합니다.
따라서 A/B 테스트 및 CRO 팀의 관행은 사이트, 네이티브 앱, 이메일 또는 기타 디지털 채널 전반에서 다양한 영역과 경험을 개선하기 위해 모든 종류의 실험을 실행하는 데 상당한 투자를 한 다음 시간이 지남에 따라 전환과 특정 KPI를 점진적으로 향상시키기 위해 지속적으로 최적화하는 것이었습니다.
그러나 회사가 엄청난 양의 트래픽을 생성하고 실험할 수 있는 방대한 디지털 환경을 갖추고 있지 않은 한, 아무리 많은 테스트를 수행하거나 실험의 규모와 정교함에 상관없이 실험의 결과물이 이러한 팀의 투입 대비 최대 수익률에 도달하는 시점이 올 수 있습니다.
이는 A/B 테스트에 대한 기존의 접근 방식이 방문자 선호도에 대한 이분법적 관점을 제공하고 방문자를 개인으로 정의하는 모든 요소와 행동을 포착하지 못하는 경우가 많다는 사실과 크게 관련이 있습니다.
또한 A/B 테스트는 세그먼트의 다수 선호도를 기반으로 일반화된 결과를 도출합니다. 브랜드가 특정 경험을 통해 평균적으로 더 많은 수익을 창출할 수 있지만, 이를 모든 사용자에게 배포하는 것은 선호도가 다른 상당수의 소비자에게 해가 될 수 있습니다.
몇 가지 예를 들어 설명해 드리겠습니다:
저와 워렌 버핏의 순자산이 평균 1,173억 달러라면 같은 상품을 추천하는 것이 합리적일까요?
아마 아닐 겁니다.
또는 남성용과 여성용 제품을 모두 제공하는 리테일러가 홈페이지에서 가장 실적이 좋은 영웅 배너 변형을 파악하기 위해 기존의 A/B 테스트를 실행하기로 결정했는데, 대상 고객 중 70% 이 여성이기 때문에 여성용 변형이 남성용보다 실적이 더 좋다면 어떨까요?
이 테스트는 여성 영웅 배너를 전체 인구에 적용하는 것을 제안하지만, 이는 올바른 결정이 아닙니다.
간단히 말해서
- 평균은 다른 사용자 그룹을 비교할 때 종종 오해의 소지가 있습니다.
- 각 고객 세그먼트 및 사용자별로 가장 실적이 좋은 변형 변경 사항
- 결과는 지역, 날씨 등과 같은 상황적 요인에 의해서도 영향을 받을 수 있습니다.
물론 보다 일반화된 결과를 활용할 수 있는 시기와 장소가 없다는 것은 아닙니다. 예를 들어, 새로운 웹사이트나 앱 디자인을 테스트하는 경우 사용자별로 수십, 수백, 수천 가지의 UI 변형을 만드는 것보다 평균적으로 가장 잘 작동하는 하나의 일관된 UI를 목표로 하는 것이 합리적일 수 있습니다.
하지만 페이지 레이아웃, 메시지, 콘텐츠, 추천, 오퍼 및 기타 크리에이티브 요소에 대해 '승자 독식' 방식을 충실히 따르던 시대는 끝났으며, 개별 사용자에게 최상의 변형을 제공하지 못해 개인화 기회를 놓치는 데 따른 비용 손실이 더 이상 발생하지 않을 것이기 때문에 괜찮습니다.