Sådan analyseres personaliseringskampagner efter primære målgrupper

Når man begynder at opdele tests efter primære målgrupper, vil man begynde at få værdifuld indsigt i, hvad der fungerer, og hvad der ikke gør det for bestemte segmenter. Disse indsigter kan hjælpe dig med at opbygge en fuldstændig og nuanceret forståelse af, hvordan du taler til dine kunder.

Analyse og registrering af datadrevne indsigter over tid vil ikke blot styrke dit personaliseringsprogram, men det vil også styrke alle områder af din virksomhed og hjælpe andre afdelinger med at blive mere strategiske i deres interaktioner med forskellige kundegrupper. Her vil vi dele nogle af de bedste fremgangsmåder, som man bør huske på, og guide dig igennem et eksempel på, hvordan du analyserer dine kampagner fordelt på primære målgrupper.

Nøjagtig rapportering begynder altid med nøjagtige dataindsigter – hvilket du kun kan opnå, hvis du opsætter dine eksperimenter korrekt. Vi begynder først med nogle af de bedste fremgangsmåder for test for at sikre, at dine data er gyldige, før du begynder at analysere dem.

Bemærk venligst, at følgende best practices kun gælder for længerevarende eksperimenter, hvor målet er at nå statistisk signifikans eller noget der ligner. Du vil jo af og til forsøge at køre en kampagne i en kort periode, f.eks. i forbindelse med en Black Friday-kampagne, som kun kører i få dage. I disse tilfælde vil du udnytte en Multi-Armed Bandit-metode, hvor der over tid allokeres mere trafik til den vinderende variation. I forbindelse med rapportering vil vi udforske best practices for manuel trafikallokering – den klassiske A/B-testtilgang. 

Du kan læse vores artikel om emnet her, hvis du vil vide mere om, hvordan du vælger den rette trafikallokeringsmetode til dine tests.

Lad os for eksempel sige, at du vil teste effekten af budskaber om socialt bevis i form af stjernebedømmelser på PLP'er. Det første, du skal gøre for at teste din hypotese og analysere dine resultater med nøjagtighed, er at opsætte dine variationer og din kontrolgruppe.

I dette eksempel er oplevelsen målrettet mod alle brugere med to variationer: en med stjernebedømmelser og en uden (kontrolgruppen). I dette tilfælde vil vi opsætte en 50/50-trafikfordeling. Det betyder, at 50 % af trafikken sendes til variationen med stjernebedømmelse, og de resterende 50 % sendes til kontrolgruppen.

Ved at allokere 50 % af trafikken til din nye variation og 50 % til din kontrolgruppe får du et klart indblik i, hvordan din testvariation performer på tværs af dine primære målgrupper. Denne metode fjerner plads til fejl og kan, hvis den kører længe nok, give dig statistisk signifikante resultater.

De fleste eksperimenteringsplatforme har indbygget analyse til sporing af alle relevante metrics og KPI'er. Men før du analyserer en A/B-testrapport, er det vigtigt, at du forstår følgende to vigtige metrics.

Uplift: Forskellen mellem ydeevnen for en variation og ydeevnen for en baseline-variation (normalt kontrolgruppen). Hvis en variation f.eks. har en omsætning pr. bruger på 5 USD, og kontrolgruppen har en omsætning pr. bruger på 4 USD, er upliftet 25 %.

Sandsynlighed for at være den bedste: Sandsynligheden for, at en variant opnår den bedste ydeevne på lang sigt. Dette er den mest handlingsrettede metrik i rapporten, der bruges til at definere vinderen af A/B-tester. Selvom løftet kan variere på grund af tilfældigheder ved små udvalgsstørrelser, tager sandsynligheden for at være den bedste udvalgsstørrelsen i betragtning (baseret på den bayesianske tilgang). Sandsynligheden for at være den bedste begynder først at beregne, når der har været 30 konverteringer eller 1.000 visninger. Enkelt sagt besvarer sandsynligheden for at være den bedste spørgsmålet "Hvem er bedre?", og løftet besvarer spørgsmålet "Hvor meget?"

Først skal du se på, hvordan eksperimentet klarede sig for alle brugere. I vores eksempel med stjernebedømmelser på produktoversigtssider (PLP'er) kan du se, at testvariationen gav et løft på tværs af den primære metrik, vi oprettede til testen (i dette tilfælde køb pr. bruger).

Som du kan se her, er testvarianten endnu ikke blevet erklæret som "vinderen." Typisk vil en vinder blive erklæret, hvis følgende betingelser er opfyldt:

• Én variation har en sandsynlighed for at være den bedste score på over 95 % (tærsklen kan ændres på nogle platforme ved hjælp af indstillingen for vinderens signifikansniveau).
• Minimumstestvarigheden er udløbet (standardindstillingen er typisk 2 uger). Dette er designet til at sikre, at resultaterne ikke påvirkes af sæsonudsving.

I vores eksempel er der, til trods for at der ikke opnås reel statistisk signifikans, klare indikatorer på, at testen skaber vækst og har 79 % sandsynlighed for at være den bedste. Dette er opmuntrende oplysninger, som vil tilskynde os til at dykke endnu dybere ned i, hvordan denne test performer for vores primære målgrupper.

De fleste eksperimenteringsplatforme tilbyder en målgruppeopdeling, der viser, hvordan resultaterne af en test adskiller sig, når trafikken segmenteres efter forskellige målgrupper. Vi anbefaler, at du analyserer, hvordan testen performer på tværs af dine forskellige primære målgruppegrupper for at få en dybere forståelse af dine primære målgrupper og begynde at opbygge kampagner, der bedre opfylder de enkelte gruppers behov.

Betragtet i lyset af de primære målgruppers karakter vil man sandsynligvis se adfærdsforskelle opstå, når resultaterne af en test analyseres efter målgruppe. I vores eksempel viser high-intent-gruppen en præference for kontrolgruppen eller ingen PLP-stjerneanmeldelser.

For at gøre det lettere at analysere dine resultater på tværs af primære målgrupper og sammenligne adfærd på tværs af dine segmenter, har vi oprettet en skabelon til analyse af primære målgruppekampagner, som du kan henvise til og bruge.

Skabelonen til kampagneanalyse af primære målgrupper indeholder to faner: et eksempel og en tom skabelon. Eksemplet skitserer, hvordan regnearket fungerer, når alle datainput er udfyldt. Fanen med den tomme skabelon er der, hvor du kan indtaste dine egne data for nemmere at analysere indvirkningen af dine kampagner og tests på dine primære målgrupper.

Ved hjælp af den tomme skabelon vil du se tre kategorier af input. Det første input er den primære metrik, som vil være emnet for hver analyse, du kører. Hvis du analyserer virkningen af en test på klikfrekvensen på tværs af dine primære målgrupper, vil du indtaste "CTR" i dette felt.

Det næste input er der, hvor du skal angive dine primære målgrupper. Disse vil være de samme på tværs af alle borde. Vi brugte hensigtsbaserede målgrupper i vores eksempel.

Det tredje input er der, hvor du registrerer din kampagnes præstation i forhold til hvert primære publikum for både din kontrolgruppe og din(e) variation(er). Du bør kunne hente disse oplysninger fra din eksperimenteringsplatform.

Når du har indtastet dine data, vil regnearket beregne deltaet og udfylde en graf for at analysere ydeevnen af hver primær metrik, du måler på tværs af alle primære målgrupper. Et kig på disse grafer giver dig et klart billede af, hvordan dine primære målgruppers adfærd ændrer sig afhængigt af eksperimentet og den primære metrik. Udstyret med disse oplysninger kan du derefter begynde at institutionalisere din læring for at foretage ændringer på hele webstedet, der bedre afspejler dine primære målgruppers behov og præferencer.

Ved at se på graferne i skabelonen til kampagneanalyse for primære målgrupper kan du opnå bedre indsigt i, hvordan resultaterne af dine tests signalerer vigtig information om psykologien og adfærden hos dine primære målgrupper.

Når du har opnået en forståelse af adfærdsforskellene mellem dine primære målgrupper, kan du institutionalisere denne læring og bruge den fremadrettet til at kvalificere dine markedsføringskampagner.

• I vores eksempel voksede købet pr. bruger for brugere med lav og middel brugeradfærd med næsten 6 %, da de så stjernebedømmelser på PLP'er, mens målgruppen med høj brugeradfærd foretrak en renere PLP.
• Vi kan også se, at målgrupper med lav og middelstor købshensigt ikke blot foretog flere køb, men at stjerneoplevelsen også fik dem til at gennemse flere sider.

Disse data afslører indsigt i vores målgruppes behov. I vores eksempel kan vi begynde at se, at brugere med lav og middel grad af købshensigt kræver yderligere social proof på PLP'er for at stole på vores brand, fortsætte med at browse og i sidste ende foretage et køb. På den anden side har brugere med høj købshensigt allerede tillid til vores brand og foretrækker derfor en renere PLP, der fører til en mere strømlinet købsoplevelse.

Når der er opnået en bedre forståelse af de primære målgruppers adfærd, kan denne indsigt bruges til at kvalificere den næste test.

Når du har analyseret dine data og draget konklusioner om, hvordan resultaterne relaterer sig til væsentlige adfærdsmæssige forskelle inden for dine primære målgrupper, kan du begynde at oprette din næste test for yderligere at handle på din viden og levere en mere personlig oplevelse til dine brugere.

I vores eksempel, da vi fandt, at køb pr. bruger kun steg for brugere med lav og mellemhøj hensigt ved visning af stjernebedømmelser på PLP'er, vil vi segmentere vores test derefter. Brugere med lav og mellemhøj hensigt vil få stjernebedømmelsesvariationen, og brugere med høj hensigt vil få variationen uden stjernebedømmelser.

Denne anden testfase er afgørende, da den vil hjælpe dig med at afdække flere indsigter om dine målgrupper – i dette tilfælde vores målgrupper med lav og middelstiv intention (low og medium intent) – samtidig med at den leverer en mere personlig og relevant oplevelse til hver målgruppe.

Efterhånden som du fortsætter med at indsamle flere indsigter, kan du gentage denne proces for løbende at lære mere om dine primære målgrupper, finpudse dine oplevelser og levere den bedste variation af dit websted til hver primær målgruppe.