Wenn Ihr Wirkungsbericht also negativ ausfällt, was nun?

Dieser Leitfaden ist als Begleitdokument zum Wirkungsbericht in Tableau gedacht. Wenn Sie den im Bericht gekennzeichneten Aufforderungen zu „Action Items“ (siehe unten) folgen, hilft Ihnen das dabei, die Geschehnisse im großen Zusammenhang zu betrachten. Die folgenden Details dienen als tiefergehender Leitfaden zum Stellen der entscheidenden Fragen.

1. Erweiterung der Reichweite und Messung Ihres Personalisierungsprogramms

• Liste der „nicht getaggten“ Kampagnen überprüfen, sollten welche hinzugefügt werden? 
• Überprüfen Sie die Liste der Kampagnen, die den alten Evaluator verwenden, können Sie diese auf den neuen aktualisieren?
• Überprüfen Sie die Liste der Kampagnen, die keine lokale Kontrollgruppe verwenden, können Sie zu Messzwecken eine kleine hinzufügen?

2. Sättigung verstehen

• Welcher Anteil aller Erlebnisse und Kampagnen ist im Impact Report erfasst? Stellt der Bericht eine repräsentative Stichprobe des Personalisierungsprogramms oder eine Momentaufnahme dar?
• Gibt es eine große Lücke zwischen den Prozentsätzen abgedeckter Erlebnisse im Vergleich zu Kampagnen? Werden nur wenige Erlebnisse pro Kampagne einbezogen statt aller? Wie lässt sich das erklären?

3. Betrachten von übergeordneten KPIs

• Öffnen Sie den umfassenden Wirkungsbericht und stellen Sie den entsprechenden Zeitrahmen ein
• Die Leistung im Monatsvergleich auf starke Einbrüche oder Zuwächse analysieren

• Vergleichen Sie denselben Zeitraum mit den Erklärungsmetriken im Abschnitt unten – können Sie etwas erkennen, das sich in diesem Zeitraum verändert hat?

• Können Sie eine dieser strategischen Initiativen identifizieren, um sich deshalb darauf zu konzentrieren? Überlegen Sie sich die folgenden Fragen, sobald Sie den problematischen Bereich identifiziert haben:
  • Benutzeranzahl:
    • Hat sich die Strategie der bezahlten Akquise zur Generierung von mehr Traffic geändert?
    • Gab es größere Veränderungen bei den Empfehlungsquellen oder dem organischen Traffic?
    • Hat ein Produktupdate oder ein externes Ereignis das Nutzerinteresse oder die Erreichbarkeit verringert?
      • Es kann auch von Vorteil sein, das Dashboard für den Zielgruppenbericht zu nutzen, um Verschiebungen bei der Zielgruppengröße zu vergleichen, sowie das Dashboard für den segmentierten Funnel, um neue im Vergleich zu wiederkehrenden Benutzern zu vergleichen. Bsp.: Bevorzugt Ihr Programm eine bestimmte Zielgruppe, deren Größe im Laufe der Zeit abnimmt?
  • Anzahl der gemessenen Erlebnisse:
    • Wurden in letzter Zeit weniger Experiences getaggt oder in den Bericht aufgenommen?
    • Wurden Kampagnen pausiert oder aus der Messung herausgenommen?
    • Gibt es eine Diskrepanz zwischen Live-Erlebnissen und den gemessenen?
    • Gibt es technische Probleme, die verhindern, dass Experiences getrackt werden?
  • Erlebnis-Reichweite:
    • Werden Erlebnisse einer kleineren Benutzergruppe als erwartet angezeigt?
    • Ist das Targeting enger oder exklusiver Become?
    • Schließt die Targeting-Logik zu viele Nutzer aus?
  • Durchschnittliche Anzahl an Erlebnissen:
    • Betrachten die Nutzer weniger Erlebnisse pro Nutzer, während die Reichweite stabil bleibt? Was ist eine mögliche Erklärung dafür: Absprungrate, Ermüdung, irrelevante Erlebnisse?
    • Hat eine Änderung der Personalisierungslogik die Frequenz der Erlebnisse verringert?
    • Werden bestimmte Erlebnisse anderen vorgezogen?
  • CTR für Primärzielgruppen:
    • Wurde die Targeting-Logik kürzlich aktualisiert? Könnte es unbeabsichtigt wichtige Zielgruppensegmente ausgeschlossen haben?
  • CTR bei Empfehlungen:
    • Haben sich das Design oder die Platzierung von Empfehlungen geändert?
    • Sind Empfehlungen weniger relevant oder ansprechend als zuvor?
    • Hat sich der Empfehlungsalgorithmus oder die Logik in letzter Zeit geändert?
    • Sehen Benutzer zu viele repetitive oder minderwertige Empfehlungen?

Wenn Sie eine dieser oben genannten Erklärungskennzahlen als potenziellen Problembereich identifiziert haben, sollten Sie das Dokument mit den 10 Prinzipien für eine übergeordnete Strategie prüfen.

• Nutzen Sie das mit „Kampagnen + Erlebnisse“ getaggte Modul oben links, um zwischen allen aktiven im Zeitrahmen und den derzeit Live-Inhalten umzuschalten. Fragen Sie sich:
  • Wurden seit dem Zeitfenster viele Kampagnen deaktiviert oder ausgeschlossen? Wie repräsentativ für Ihr Personalisierungsprogramm ist dieser Test basierend auf seiner Sättigung?

• Bevor Sie in die Kampagnenanalyse eintauchen, entscheiden Sie, welche Metrik Sie zur Leistungsbewertung verwenden möchten
  Standardmäßig ist die primäre OS-Impact-Metrik ausgewählt, deren Name oben im Filter zu finden ist

• Beginnen Sie Ihre Untersuchung mit den Erlebnissen, die den negativsten inkrementellen KPI aufweisen. Dies sind die Erlebnisse, die im ausgewählten Zeitraum wahrscheinlich die größte negative Auswirkung auf die Performance von OS Impact hatten
  
  Beispiel:

Sobald Sie Kampagnen oder Erlebnisse zur Untersuchung identifiziert haben, stellen Sie sich folgende Frage:

1. Was ist im Laufe der Zeit aus diesen Kampagnen geworden?
2. Was kann getan werden, um seine Performance zu verbessern?

1. Gehen Sie tiefer ins Detail, indem Sie auf die Erfahrung oder den Kampagnennamen klicken.

Überprüfen Sie nun auf der rechten Seite den Leistungsverlauf im Zeitverlauf:

Und Versionshistorie für das Gesamterlebnis:

Jetzt ist es an der Zeit, sich zu fragen:

• Wann begann die Leistung abzusinken?  Was war zu diesem Zeitpunkt noch los?
• Welche Änderungen wurden in diesen Versionen vorgenommen? Hat sich eine davon negativ auf die Performance ausgewirkt?
• Wie lange lief die Kampagne vor der Änderung? Ein rascher Abfall zu Beginn könnte auf Probleme bei der Einrichtung hinweisen. Ein langsamer Abfall könnte bedeuten, dass das Interesse der Nutzer nachgelassen hat.
• Hat sich etwas außerhalb der Kampagne auf die Ergebnisse ausgewirkt? Denken Sie an saisonale Veränderungen, Produkteinführungen oder Verkäufe. Berücksichtigen Sie sich überschneidende Kampagnen auf denselben Seiten, bei denen die Kombination der Erlebnisse zu einem negativen Nettoergebnis führt
• Wie ist der Zeitplan dieser Kampagne im Vergleich zu anderen? Zeigt es einen Trend oder ist es der einzige?

2. Wenn es umgekehrt eine Version gab, die den Leistungstrend von negativ auf positiv gedreht hat, stellen Sie sich die Frage: Was wurde hier geändert? Könnte dieser Ansatz auch auf andere Erlebnisse angewendet werden?

3. Verschaffen Sie sich mehr Kontext, indem Sie auf den Tab „Admin“ wechseln – der Link wird angezeigt, wenn Sie auf das Uplift klicken:

Und wenn Sie auf die Registerkarte „Diese Kampagne im Detail anzeigen“ gehen, können Sie die Start- und Enddaten, Verkehrsdaten und mehr überprüfen.

Konzentrieren Sie sich auf Erlebnisse mit hoher Reichweite im Vergleich zu anderen Kampagnen, bei denen der inkrementelle KPI und der Zuwachs zwar positiv, aber nahe bei Null liegen. Hierbei handelt es sich um Erlebnisse, die eine relativ große Zielgruppenreichweite aufweisen, diese jedoch offenbar nicht voll ausschöpfen.

Stellen Sie sich die folgenden Fragen:

1. Was ist im Laufe der Zeit mit dieser Erfahrung geschehen? Hätte es in der Vergangenheit viel besser abschneiden können?

2. Gibt es Potenzial, mit dieser Zielgruppe mehr Wert zu generieren? Es ist möglicherweise der richtige Zeitpunkt für Experimente!