Så konsekvensrapporten din er negativ, hva nå?

Denne veiledningen er ment som et følgedokument til konsekvensrapporten i Tableau. Ved å følge instruksjonene for «Action Item» (vist nedenfor) som er angitt i rapporten, kan du tenke helhetlig om det som skjer. Detaljene nedenfor er ment som en grundigere veiledning for å stille de kritiske spørsmålene.

1. Utvidelse av rekkevidde og måling av det målte personaliseringsprogrammet

• Se gjennom listen over «uten tagg»-kampanjer, bør noen legges til? 
• Se gjennom listen over kampanjer som bruker den gamle evaluatoren, kan du oppdatere dem til den nye?
• Gå gjennom listen over kampanjer som ikke bruker en lokal kontroll; kan du legge til en liten en for måleformål?

2. Forstå metning

• Hvor stor andel av det totale antallet opplevelser og kampanjer er tagget i konsekvensrapporten? Er rapporten et representativt utvalg av personaliseringsprogrammet eller et begrenset øyeblikksbilde?
• Er det et stort gap mellom prosentandelene for dekket opplevelser versus kampanjer? Er det bare et fåtall opplevelser per kampanje som tas med i stedet for alle? Hva er forklaringen på dette?

3. Ser på overordnede KPI-er

• Åpne overordnet konsekvensrapport og angi relevant tidsramme
• Analyser ytelsen fra måned til måned for store fall eller oppganger

• Sammenlign den samme tidsperioden med forklaringsmålingene i avsnittet nedenfor – kan du identifisere noe som endret seg i løpet av den tidsperioden?

• Kan du identifisere ett av disse strategiske initiativene for å satse på på grunn av dette? Vurder følgende spørsmål når du har identifisert problemområdet:
  • Brukerantall:
    • Har den betalte oppkjøpsstrategien for å skaffe mer trafikk endret seg?
    • Var det noen store endringer i henvisningskilder eller organisk trafikk?
    • Førte en produktoppdatering eller en ekstern hendelse til redusert brukerinteresse eller tilgjengelighet?
      • Det kan også være lurt å bruke dashbordet for publikumsrapporter for å sammenligne endringer i publikumsstørrelse, samt dashbordet for segmentert trakt for å sammenligne nye versus tilbakevendende brukere. F.eks.: Foretrekker programmet ditt et spesifikt publikum hvis størrelse krymper over tid?
  • Antall målte opplevelser:
    • Har færre opplevelser blitt tagget eller inkludert i rapporten den siste tiden?
    • Ble noen kampanjer satt på pause eller fjernet fra måling?
    • Er det et avvik mellom live-opplevelser og de som måles?
    • Er det tekniske problemer som forhindrer at opplevelser blir sporet?
  • Opplev rekkevidde:
    • Vises opplevelser til en mindre delmengde av brukere enn forventet?
    • Har målrettingen Become mer smal eller eksklusiv?
    • Ekskluderer målrettingslogikken for mange brukere?
  • Gjennomsnittlig antall opplevelser:
    • Viser brukerne færre opplevelser per bruker mens rekkevidden forblir stabil? Hva er en potensiell forklaring på dette: avvisning, tretthet, irrelevante opplevelser?
    • Førte en endring i personaliseringslogikken til redusert opplevelseshyppighet?
    • Blir enkelte opplevelser prioritert fremfor andre?
  • Primærrate for publikumsmålretting:
    • Har mållogikken blitt oppdatert nylig? Kan den utilsiktet ha utelatt viktige målgruppesegmenter?
  • Klikkrate for anbefalinger:
    • Har designet eller plasseringen av anbefalingene endret seg?
    • Er anbefalingene mindre relevante eller engasjerende enn før?
    • Endret anbefalingsalgoritmen eller -logikken seg nylig?
    • Ser brukerne for mange repetitive eller lavverdige anbefalinger?

Hvis du har identifisert en av disse forklaringsmetrikkene ovenfor som en potensiell kilde til bekymring, bør du vurdere å utforske dokumentet med de 10 prinsippene for en overordnet strategitilnærming.

• Ved å bruke den modulen som er merket med kampanjer + opplevelser øverst til venstre, kan du veksle mellom alle aktive innenfor tidsrammen og de som er live nå. Still deg selv følgende spørsmål:
  • Har mange kampanjer blitt deaktivert eller ekskludert siden tidsrammen? Hvor representativ for personaliseringsprogrammet ditt er denne testen basert på metningen?

• Før du dykker ned i kampanjeanalysen, bør du bestemme hvilken metrikk du vil bruke til å evaluere ytelsen
  Som standard er den primære OS Impact-metrikken valgt, og navnet finnes øverst i filteret

• Start undersøkelsen med opplevelsene som viser den mest negative inkrementelle KPI-en. Dette er opplevelsene som sannsynligvis hadde størst negativ innvirkning på ytelsen til OS Impact i den valgte tidsrammen
  
  Eksempel:

Når du har identifisert kampanjer eller opplevelser som skal undersøkes, kan du spørre:

1. Hva skjedde med disse kampanjene over tid?
2. Hva kan gjøres for å forbedre ytelsen?

1. Gå dypere ved å klikke på opplevelses- eller kampanjenavnet.

Sjekk nå ytelsesgrafen over tid på høyre side:

Og versjonshistorikk for overordnet opplevelse:

Nå er det på tide å spørre seg selv:

• Når begynte ytelsen å falle?  Hva ellers skjedde på det tidspunktet?
• Hvilke endringer ble gjort i disse versjonene? Var det noen av dem som svekket ytelsen?
• Hvor lenge kjørte kampanjen før endringen? Et raskt fall tidlig kan bety oppsettsproblemer. Et sakte fall kan bety at brukere ble lei av det.
• Var det noe utenfor kampanjen som påvirket resultatene? Tenk på sesongendringer, produktlanseringer eller salg. Tenk på overlappende kampanjer på de samme sidene der kombinasjonen av opplevelser gir et samlet negativt resultat.
• Hvordan er tidslinjen for denne kampanjen sammenlignet med andre? Viser det en trend, eller er det et engangstilfelle?

2. Omvendt, hvis det fantes en versjon som snudde ytelsestrenden fra negativ til positiv, kan du spørre deg selv: Hva ble endret her? Kan denne tilnærmingen brukes på andre opplevelser?

3. Innhent mer kontekst ved å gå til Admin-fanen – linken vises når du klikker på oppløftet:

Og ved å gå til fanen «Se denne kampanjen i detalj» kan du sjekke start- og sluttdatoer, trafikkdata med mer.

Fokuser på opplevelser med høy rekkevidde sammenlignet med andre kampanjer, der den inkrementelle KPI-en og verdistigningen er positive, men nær null. Dette er opplevelsene som har en relativt stor publikumsrekkevidde, men som ser ut til å utnytte den for dårlig.

Still deg selv følgende spørsmål:

1. Hva har skjedde med denne opplevelsen over tid? Kunne den ha prestert mye bedre tidligere?

2. Er det potensial for å generere mer verdi fra dette publikummet? Det kan være på tide å eksperimentere!