メインコンテンツにスキップ

A/Bテストとパーソナライゼーションを組み合わせることで、より強力な効果が得られる理由

これらはユーザーエクスペリエンスを向上させるための2つの異なるアプローチを反映しているものの、それらを組み合わせることで、企業が見逃したくない飛躍的なメリットをもたらす可能性がある。

 

ヤニフ・ナヴォット

 

CMO、Dynamic Yield

知っておくべきことは以下のとおりです。

  • A/Bテストとパーソナライゼーションを組み合わせることで、各ユーザーにとって最も関連性の高い体験を提供し、ユーザーエクスペリエンスを大幅に向上させることができます。
  • A/Bテストは、クリエイティブ要素の中で最もパフォーマンスの高いバリエーションを特定するのに役立ち、パーソナライゼーションは個々の顧客に合わせて体験をカスタマイズします。
  • これらのアプローチを組み合わせることで、プロセスが効率化され、成果が増幅され、顧客満足度が向上します。
  • マーケターは、A/Bテストのためのオーディエンスのセグメンテーション、パーソナライゼーション戦略のテスト、リアルタイムデータを用いた継続的な最適化などによって、この力を活用できる。

A/Bテストとパーソナライゼーションは、それぞれ異なる手法である。A/Bテストは、主要なビジネス指標と全体的なユーザーエクスペリエンスを向上させるために、さまざまなクリエイティブ要素、コピー、レイアウト、さらにはアルゴリズムを実験することに重点を置いているのに対し、パーソナライゼーションは、適切なタイミングで個々の顧客に最も関連性の高いエクスペリエンスを提供することを目指しています。

アプローチは根本的に異なるものの、これら2つの戦略を組み合わせることで、実際には飛躍的なメリットが得られる可能性がある。この記事では、その理由と、チームがそれを実現するための方法について探っていきます。

A/Bテストの限界

A/Bテストの前提はシンプルです。

2つ(またはそれ以上)の異なるバージョンを比較して、どちらがより優れたパフォーマンスを発揮するかを確認し、最も優れたバージョンをすべてのユーザーに展開することで、最適な全体的なユーザーエクスペリエンスを実現します。

そのため、A/BテストやCROチームの実践は、サイト、ネイティブアプリ、メール、その他のデジタルチャネル全体にわたるさまざまな領域やエクスペリエンスを改善するために、あらゆる種類の実験に多額の投資を行い、その後、コンバージョンや特定のKPIを徐々に向上させるために、それらを継続的に最適化することにある。

しかし、企業が膨大なトラフィックを生み出し、実験を行うための広大なデジタル環境を持っていない限り、実験の成果(どれだけ多くのテストを実施しても、どれだけ大規模で高度な実験であっても)が、これらのチームからの投入という観点から見て最大の効果に達する、収穫逓減の法則が働く時点が来る可能性がある。

これは主に、従来のA/Bテスト手法では訪問者の嗜好を二元的にしか捉えることができず、個々の訪問者を特徴づけるあらゆる要因や行動を十分に把握できないという事実に起因している。

さらに、A/Bテストは、セグメントの大多数の嗜好に基づいて、より一般的な結果をもたらします。あるブランドは特定の体験が平均的に高い収益をもたらすと見込んだとしても、それをすべてのユーザーに展開することは、異なる嗜好を持つ多くの消費者にとって不利益となるだろう。

いくつか例を挙げて説明しましょう。

もし私とウォーレン・バフェットの純資産が平均で1173億ドルだったとしたら、私たちに同じ商品を勧めるのは理にかなっているだろうか?

おそらく違うだろう。

あるいは、男性用と女性用の両方の商品を扱う小売業者が、ホームページで最もパフォーマンスの高いヒーローバナーのバリエーションを特定するために、古典的なA/Bテストを実施することにしたとしましょう。しかし、顧客の70%が女性であるため、女性向けのバリエーションが男性向けのバリエーションよりも優れたパフォーマンスを発揮するかもしれません。

このテスト結果は、女性の英雄という称号を全人口に適用すべきであることを示唆しているが、それは決して正しい判断ではないだろう。

簡単に言うと:

  • 平均値は、異なるユーザーグループを比較する際には誤解を招くことが多い。
  • 最もパフォーマンスの高いバリエーションは、顧客セグメントとユーザーごとに異なります。
  • 結果は、地理、天候などの状況要因によっても影響を受ける可能性があります。

もちろん、より一般的な結果を活用すべき時と場所がないというわけではない。例えば、新しいウェブサイトやアプリのデザインをテストする場合、異なるユーザー向けに数十、数百、あるいは数千ものUIバリエーションを用意するよりも、平均的に最も効果的な一貫したUIを一つ目指す方が理にかなっています。

しかし、ページのレイアウト、メッセージ、コンテンツ、おすすめ、オファー、その他のクリエイティブ要素に関して、「勝者総取り」のアプローチを忠実に採用する時代は終わりました。そしてそれは良いことです。なぜなら、個々のユーザーに最適なバリエーションを提供しないことで生じるパーソナライゼーションの機会損失によって、収益を逃すことがなくなるからです。

パーソナライゼーションでより高い関連性を引き出す

パーソナライゼーションとは、消費者の固有の行動、好み、意図に応じてサイト体験に対応し、調整することであり、今日のデジタル環境においては当然のこととして期待されている。これだけでも、顧客満足度と顧客ロイヤルティを高めることが証明されている。

必ずしもA/Bテストに依存するわけではありませんが、パーソナライゼーションにおけるベストプラクティスがA/Bテストの基礎に基づいているというのは意外に思われるかもしれません。唯一の違いは、特定のエクスペリエンスのどのバージョンが最も効果的かを判断する際に、平均レベルではなくオーディエンスレベルで判断するという点です。

パーソナライゼーションキャンペーンにおける、この基本的な構造を詳しく見ていきましょう。従来のA/Bテストのように、複数のバリエーションを持つ1つの体験を対照群と比較するのではなく、私たちはさらに一歩進んで、異なるオーディエンスを対象とした複数の体験を作成し、それぞれの体験内で複数のバリエーションを作成してA/Bテストを行い、最もパフォーマンスの高い体験を決定します。

これは、シンプルなルールベースのターゲティングによって実現できます。IF/Thenロジックを使用して、手動でプログラムされた一連のルールに従って顧客体験をカスタマイズし、チームはこれらの体験をA/Bテストし、統計的に有意な結果が得られたら結果を検証し、それに応じて反復することができます。

しかし、パーソナライゼーションの意思決定を大規模に行う場合、AIと機械学習は必須条件となっています。なぜなら、上記のようなシナリオでは、多数のテスト展開と、各オーディエンスセグメントに対するテストされたすべてのバリエーションの詳細な測定が必要となり、最適なプログラマティックターゲティングルールを決定するために、データ量の多いプロセスになる可能性があるからです。また、不合格だったテストを、特定の対象者に対してより良いパフォーマンスを発揮することが確認された特定のバリエーションへのパーソナライズの機会へと転換するのにも役立ちます。

これらの先進技術は、あらゆるトラフィックセグメントにおける各バリエーションのパフォーマンスをリアルタイムで分析し、特定のオーディエンスグループに最も関連性の高いコンテンツを提供します。さらに、1対1のパーソナライゼーションは、アフィニティベースのパーソナライゼーション機能によって実現できます。この機能は、アフィニティプロファイリングのプロセスを活用し、アルゴリズムによって各ユーザーに合わせたパーソナライズされた推奨事項、製品オファー、コンテンツを提供します。

このレベルのパーソナライゼーションにより、企業はマーケティング戦略をより効果的かつ的確に展開できるだけでなく、消費者をより繊細で有意義かつ関連性の高い方法で惹きつけることができる。

A/Bテストとパーソナライゼーションの連携

A/BテストやCROチーム、そしてパーソナライゼーションに携わる人々に、それぞれの仕事の具体的な内容について詳しく尋ねてみると、彼らの答えは驚くほど似通っていることに気づくでしょう。

JD Sports | Finish Lineがパーソナライゼーション・パイオニアーズ・イベントで行った基調講演で示された、以下の目を見張るような図をご覧ください(イベントの全容はこちら)。

これは、A/Bテストとパーソナライゼーションの両方が次の点において重要であることに気づき始めた多くの人々が共有する意見です。

  • ポジティブな顧客体験の創造に注力する
  • 同じKPIに影響を与え、改善することを目指しています
  • 収集された同じ知見から恩恵を受けることができる

さらに、多くの場合、これらのチームは同じ社内リソースやツールさえも必要とします。だからこそ、A/Bテストとパーソナライゼーションは孤立して存在するのではなく、共通のロードマップと整合性の取れたKPIの一部となることが非常に重要なのです。

この2つを組み合わせることで、プロセスや業務を効率化できるだけでなく、消費者の行動に関する広範かつ詳細な洞察を得ることができるため、飛躍的な成果を生み出すことも可能です。

より良い成果を上げるために、両者の力をマーケティング戦略に組み込む方法をご紹介します。

1. セグメントベースのA/Bテスト

オーディエンス全体に対してA/Bテストを実施する代わりに、共通の特徴に基づいてオーディエンスを意味のあるセグメントに分割しましょう(マクロからミクロまで拡張可能なプライマリーオーディエンスのアプローチを試してみてください)。次に、これらのセグメントに対してA/Bテストを実施します。このセグメント化された実験アプローチは、さまざまな消費者の行動をより詳細に理解するのに役立ち、特定のグループに合わせた体験を提供するのに役立ちます。

例えば、 Synchronyは、バナーから不要な行動喚起ボタンを削除する実験をこの層向けに実施することで、意欲の高いユーザーにおける応募率を4.5%向上させた

分析の結果、同社は特定のUX変更、つまりバナーから「動画を再生」というCTAボタンを削除することで、購入意欲の高いユーザーが気を散らされるのを防ぎ、Synchronyの数多くのサービスについてより深く理解できるようになることに気づいた。

2. A/Bテストによるパーソナライゼーション戦略

どのパーソナライゼーション戦略が最も効果的かを判断するために、A/Bテストを実施してください。例えば、商品レコメンデーションアルゴリズムをテストし、特定の顧客層をターゲットにしたアルゴリズムが、他のアルゴリズムよりもクリック率やカート追加率を高めるかどうかを検証することができます。

3. リアルタイム戦略適応

A/Bテストからデータを収集したら、その情報を活用してパーソナライゼーション戦略を継続的に最適化し、改善していきましょう。このリアルタイムでの適応により、消費者のニーズを満たすために継続的に進化する、よりダイナミックで効果的なマーケティング戦略が可能になります。

例えば、Build with Fergusonは、この方法によってレコメンデーションからの購買数を89%増加させました。これは、まず( Rooted Personalizationフレームワークに基づいた)オーディエンスファースト戦略を導入することから始まりました。

チームは様々な推薦戦略をテストした結果、最終的に「消費者」層のユーザーは、同様の行動や興味を持つ他のユーザーが利用したおすすめ商品に反応する傾向があることを発見した。

これらの調査結果に基づき、Build with Fergusonはサイト全体のレコメンデーションのパフォーマンスを最適化し、さらにレコメンデーションを利用したユーザーは平均して13%多く支出し、平均で2.4点多く商品を購入することを発見した。

A/Bテストとパーソナライゼーションは、互いに自然な形で結びついた関係にある。

A/Bテストは従来、全体的な最適な体験を決定することを目的としていましたが、パーソナライゼーションは、オーディエンスレベルまたは個人レベルで最適な体験を提供することを目指しています。どちらにもそれぞれ適した場面があるものの、両者を組み合わせることで、顧客満足度と顧客ロイヤルティの向上に繋がる可能性があります。パーソナライゼーションによって重要な顧客体験がより関連性の高いものとなり、A/Bテストによって戦略ごとに最大限の成果が得られるからです。

追伸:これら2つの手法がどのように連携するのかについての詳細は、こちらの A/Bテストと最適化コース をご覧ください 。このコース では、適切なアトリビューション設定の方法、適切な目標の選択方法、パーソナライゼーションテスト結果の分析方法、そしてそれぞれのテストが有意義な結果をもたらすようにする方法などが解説されています。