So analysieren Sie Personalisierungskampagnen nach primären Zielgruppen

Wenn Sie damit beginnen, Tests nach Ihren primären Zielgruppen zu segmentieren, erhalten Sie wertvolle Einblicke darüber, was bei bestimmten Segmenten ankommt und was nicht. Diese Erkenntnisse können Ihnen dabei helfen, ein vollständiges und differenziertes Verständnis dafür zu entwickeln, wie Sie Ihre Kunden ansprechen sollten.

Die Analyse und Aufzeichnung datengetriebener Erkenntnisse im Zeitverlauf wird nicht nur Ihr Personalisierungsprogramm stärken, sondern auch alle Bereiche Ihres Unternehmens stärken und anderen Abteilungen helfen, in ihren Interaktionen mit verschiedenen Kundengruppen strategischer zu werden. Hier möchten wir einige bewährte Methoden vorstellen, die Sie beachten sollten, und Ihnen anhand eines Beispiels zeigen, wie Sie Ihre Kampagnen nach primären Zielgruppen analysieren können.

Eine präzise Berichterstattung beginnt immer mit präzisen Daten-Insights — die Sie nur dann erzielen können, wenn Sie Ihre Experimente korrekt einrichten. Wir beginnen zunächst mit einigen bewährten Best Practices für das Testen, um sicherzustellen, dass Ihre Daten gültig sind, bevor Sie mit deren Analyse beginnen.

Bitte beachten Sie, dass die folgenden Best Practices nur für langfristige Experimente gelten, bei denen das Ziel darin besteht, statistische Signifikanz oder einen Wert nahe daran zu erreichen. Natürlich möchten Sie eine Kampagne manchmal auch für einen kurzen Zeitraum ausführen, beispielsweise für eine Black Friday-Aktion, die nur wenige Tage dauert. In diesen Fällen würden Sie eine Multi-Armed-Bandit-Methode nutzen, bei der im Laufe der Zeit mehr Traffic auf die gewinnende Variante entfällt. Für Berichtsذلكzwecke werden wir Best Practices für die manuelle Traffic-Zuweisung untersuchen – den klassischen A/B-Test-Ansatz. 

Um mehr darüber zu erfahren, wie Sie die richtige Methode zur Traffic-Zuweisung für Ihre Tests auswählen, lesen Sie unseren Artikel zu diesem Thema hier.

Nehmen wir zum Beispiel an, Sie möchten die Auswirkungen von Social-Proof-Messaging in Form von Sternbewertungen auf PLPs testen. Um Ihre Hypothese zu testen und Ihre Ergebnisse präzise zu analysieren, müssen Sie als Erstes Ihre Varianten und Ihre Kontrollgruppe einrichten.

In diesem Beispiel ist das Erlebnis für alle Nutzer in zwei Varianten unterteilt: eine mit den Sternbewertungen und eine ohne (die Kontrollgruppe). In diesem Fall würden wir eine Traffic-Aufteilung von 50/50 einrichten. Das bedeutet, dass 50 % des Traffics an die Variante mit den Sternbewertungen und die anderen 50 % an die Kontrollgruppe geleitet werden.

Wenn Sie 50 % des Traffics Ihrer neuen Variation und 50 % Ihrer Kontrollgruppe zuweisen, erhalten Sie klare Einblicke in die Leistung Ihrer Testvariation bei Ihren primären Zielgruppen. Diese Methode schließt Fehlerquellen aus und kann Ihnen bei ausreichender Laufzeit statistisch signifikante Ergebnisse liefern.

Die meisten Experimentierplattformen verfügen über integrierte Analysen, um alle relevanten Kennzahlen und KPIs zu verfolgen. Bevor jedoch ein A/B-Testbericht analysiert wird, ist es wichtig, die folgenden zwei wichtigen Kennzahlen zu verstehen.

Uplift: Der Unterschied zwischen der Leistung einer Variante und der Leistung einer Basisvariante (in der Regel die Kontrollgruppe). Wenn beispielsweise eine Variante einen Umsatz pro Nutzer von 5 $ und die Kontrolle einen Umsatz pro Nutzer von 4 $ aufweist, beträgt der Uplift 25 %.

Wahrscheinlichkeit, am besten zu sein: Die Wahrscheinlichkeit einer Variante, langfristig die beste Leistung zu erbringen. Dies ist die aussagekräftigste Metrik im Bericht, anhand derer der Gewinner von A/B-Tests ermittelt wird. Während der Uplift bei kleinen Stichprobengrößen zufallsbedingt variieren kann, berücksichtigt die Wahrscheinlichkeit, am besten zu sein, die Stichprobengröße (basierend auf dem bayesianischen Ansatz). Die Wahrscheinlichkeit, am besten zu sein, wird erst berechnet, wenn 30 Conversions oder 1.000 Samples vorliegen. Einfach ausgedrückt: Die Wahrscheinlichkeit, am besten zu sein, beantwortet die Frage „Wer ist besser?“ und der Uplift beantwortet die Frage „Um wie viel?“

Zunächst empfiehlt es sich zu prüfen, wie das Experiment für alle Nutzer abgeschnitten hat. Anhand unseres Beispiels für Sternebewertungen auf PLPs ist zu erkennen, dass die Testvariante bei der von uns für den Test festgelegten Hauptmetrik (in diesem Fall Käufe pro Nutzer) zu einer Steigerung geführt hat.

Wie hier zu sehen ist, wurde die Testvariante noch nicht zum „Gewinner“ erklärt. Üblicherweise wird ein Gewinner erklärt, wenn die folgenden Bedingungen erfüllt sind:

• Eine Variante hat eine Wahrscheinlichkeit, der beste Score zu sein, von über 95 % (der Schwellenwert kann auf einigen Plattformen über die Einstellung für das Signifikanzniveau des Gewinners geändert werden).
• Die Mindesttestdauer ist abgelaufen (der Standardwert beträgt normalerweise 2 Wochen). Dies soll sicherstellen, dass die Ergebnisse nicht durch Saisonalität beeinflusst werden.

In unserem Beispiel gibt es, obwohl keine echte statistische Signifikanz erreicht wurde, klare Indikatoren dafür, dass der Test einen Uplift erzeugt und eine Wahrscheinlichkeit von 79 % aufweist, der beste zu sein. Dies sind ermutigende Informationen, die uns dazu veranlassen werden, noch tiefer in die Performance dieses Tests für unsere Hauptzielgruppen einzusteigen.

Die meisten Experimentierplattformen bieten eine Zielgruppenaufschlüsselung, die zeigt, wie sich die Testergebnisse bei einer Segmentierung des Traffics nach verschiedenen Zielgruppen unterscheiden. Wir empfehlen zu analysieren, wie der Test bei Ihren verschiedenen primären Zielgruppengruppen abschneidet, um ein tieferes Verständnis für diese zu gewinnen und mit dem Aufbau von Kampagnen zu beginnen, die besser auf die Bedürfnisse der jeweiligen Gruppe abgestimmt sind.

Aufgrund der Natur der primären Zielgruppen werden Sie bei der Analyse der Testergebnisse nach Zielgruppe höchstwahrscheinlich Verhaltensunterschiede feststellen. In unserem Beispiel zeigt die Gruppe mit hoher Kaufabsicht eine Präferenz für die Kontrollgruppe bzw. für keine PLP-Sternbewertungen.

Um Ihnen die Analyse Ihrer Ergebnisse über primäre Zielgruppen hinweg und den Vergleich des Verhaltens zwischen Ihren Segmenten zu erleichtern, haben wir eine Campaign-Analysevorlage für primäre Zielgruppen als Referenz und zur Verwendung für Sie erstellt.

Die „Primary Audiences Campaign Analysis Template“ umfasst zwei Registerkarten: ein Beispiel und eine leere Vorlage. Das Beispiel veranschaulicht, wie die Tabellenkalkulation funktioniert, wenn alle Dateneingaben ausgefüllt wurden. Auf der Registerkarte der leeren Vorlage können Sie Ihre eigenen Daten eingeben, um die Auswirkungen Ihrer Kampagnen und Tests auf Ihre primären Zielgruppen einfacher zu analysieren.

Anhand der leeren Vorlage sehen Sie drei Kategorien von Eingaben. Die erste Eingabe ist die Hauptmetrik, die Gegenstand jeder von Ihnen durchgeführten Analyse ist. Wenn Sie die Auswirkungen eines Tests auf die Klickrate (CTR) bei Ihren Hauptzielgruppen analysieren, würden Sie in diesem Feld „CTR“ eingeben.

Die nächste Eingabe ist die Stelle, an der Sie Ihre primären Zielgruppen auflisten. Diese sind in jeder Tabelle identisch. In unserem Beispiel haben wir absichtsbasierte Zielgruppen (Intent-Based Audiences) verwendet.

Im dritten Feld erfassen Sie die Performance Ihrer Kampagne für die jeweiligen Primärzielgruppen, und zwar sowohl für Ihre Kontrollgruppe als auch für Ihre Variante(n). Diese Informationen sollten Sie aus Ihrer Experimentierplattform abrufen können.

Sobald Sie Ihre Daten eingegeben haben, berechnet die Tabellenkalkulation die Differenz und erstellt ein Diagramm zur Analyse der Performance jeder primären Messgröße, die Sie über alle primären Zielgruppen hinweg messen. Ein Blick auf diese Diagramme gibt Ihnen ein klares Bild davon, wie sich das Verhalten Ihrer primären Zielgruppen je nach Experiment und primärer Messgröße verändert. Mit diesen Informationen ausgerüstet, können Sie dann damit beginnen, Ihre Erkenntnisse zu institutionalisieren, um website-weite Änderungen vorzunehmen, die die Bedürfnisse und Präferenzen Ihrer primären Zielgruppen besser widerspiegeln.

Die Betrachtung der Grafiken in der Kampagnenanalysevorlage für primäre Zielgruppen hilft Ihnen dabei, tiefere Einblicke darüber zu gewinnen, wie die Ergebnisse Ihrer Tests wichtige Informationen über die Psychologie und das Verhalten Ihrer primären Zielgruppen signalisieren.

Sobald Sie die Verhaltensunterschiede zwischen Ihren primären Zielgruppen verstanden haben, können Sie diese Erkenntnisse institutionalisieren und in Zukunft nutzen, um Ihre Marketingkampagnen zu gestalten.

• In unserem Beispiel stieg zwar der Umsatz pro Nutzer bei den Nutzern mit geringer und mittlerer Kaufabsicht um fast 6 %, als sie Sternbewertungen auf PLPs sahen, aber die Zielgruppe mit hoher Kaufabsicht bevorzugte eine übersichtlichere PLP.
• Wir können auch sehen, dass Zielgruppen mit geringer und mittlerer Kaufabsicht nicht nur mehr gekauft haben, sondern dass das herausragende Erlebnis sie auch dazu veranlasst hat, mehr zu stöbern.

Diese Daten offenbaren Insights zu den Bedürfnissen unserer Zielgruppe. In unserem Beispiel zeigt sich, dass Nutzer mit niedriger und mittlerer Kaufabsicht zusätzliche Social-Proof-Elemente auf PLPs benötigen, um unserer Marke zu vertrauen, weiterzustöbern und letztendlich einen Kauf zu tätigen. Nutzer mit hoher Kaufabsicht vertrauen unserer Marke hingegen bereits und bevorzugen daher eine übersichtlichere PLP, die zu einem optimierten Einkaufserlebnis führt.

Sobald Sie ein besseres Verständnis für das Verhalten Ihrer primären Zielgruppen entwickelt haben, können Sie diese Erkenntnisse nutzen, um Ihren nächsten Test zu gestalten.

Sobald Sie Ihre Daten analysiert und Schlüsse darüber gezogen haben, wie sich die Ergebnisse auf wichtige Verhaltensunterschiede innerhalb Ihrer primären Zielgruppen beziehen, können Sie damit beginnen, Ihren nächsten Test aufzusetzen, um Ihre Erkenntnisse weiter umzusetzen und Ihren Nutzern ein noch persönlicheres Erlebnis zu bieten.

Da wir in unserem Beispiel festgestellt haben, dass die Käufe pro Nutzer nur bei Nutzern mit geringer und mittlerer Kaufabsicht (Low and Medium Intent) beim Ansehen von Sternebewertungen auf PLPs gestiegen sind, werden wir unseren Test entsprechend segmentieren. Nutzer mit geringer und mittlerer Kaufabsicht erhalten die Variante mit Sternebewertung und Nutzer mit hoher Kaufabsicht erhalten die Variante ohne Sternebewertung.

Diese zweite Testphase ist von entscheidender Bedeutung, da sie Ihnen dabei hilft, weitere Erkenntnisse über Ihre Zielgruppen – in diesem Fall unsere Zielgruppen mit geringer und mittlerer Kaufabsicht (Low and Medium Intent) – zu gewinnen und jeder Zielgruppe gleichzeitig ein personalisierteres und relevanteres Erlebnis zu bieten.

Während Sie weitere Erkenntnisse sammeln, können Sie diesen Vorgang wiederholen, um kontinuierlich mehr über Ihre primären Zielgruppen zu erfahren, Ihre Erlebnisse zu verfeinern und jeder primären Zielgruppe die beste Variante Ihrer Website auszuspielen.