Slik analyserer du personaliseringskampanjer etter primærmålgrupper

Når du begynner å dele inn tester etter primærmålgruppene dine, vil du begynne å få verdifull innsikt i hva som treffer de ulike segmentene, og hva som ikke gjør det. Denne innsikten kan hjelpe deg med å bygge en komplett og nyansert forståelse av hvordan du bør snakke til kundene dine.

Å analysere og registrere datadreven innsikt over tid vil ikke bare styrke personaliseringsprogrammet ditt, men det vil også styrke alle deler av virksomheten din og hjelpe andre avdelinger med å Become mer strategiske i sine interaksjoner med ulike kundegrupper. Her deler vi noen retningslinjer for god praksis du bør huske på, og veileder deg gjennom et eksempel på hvordan du kan analysere kampanjene dine etter primærmålgrupper.

Nøyaktig rapportering begynner alltid med nøyaktige datainnsikter – noe du bare kan oppnå hvis du setter opp eksperimentene dine på riktig måte. Vi vil først starte med noen beste praksiser for testing for å sikre at dataene dine er gyldige før du begynner å analysere dem.

Vær oppmerksom på at følgende beste praksiser kun gjelder for langsiktige eksperimenter der målet er å nå statistisk signifikans eller noe i nærheten av det. Selv om du selvfølgelig av og til vil forsøke å kjøre en kampanje i en kort periode, kanskje i forbindelse med en Black Friday-kampanje, som bare vil gå i noen få dager. I disse tilfellene ville du brukt en Multi-Armed Bandit-metode, der mer trafikk tildeles den vinnende variasjonen over tid. I forbindelse med rapportering vil vi utforske beste praksis for manuell trafikkfordeling – den klassiske A/B-testingstilnærmingen. 

Hvis du vil vite mer om hvordan du velger riktig metode for trafikktildeling for testene dine, kan du lese artikkelen vår om emnet her.

La oss si for eksempel at du ønsker å teste effekten av sosialt bevis-meldinger (social proof), i form av stjernevurderinger på PLP-er. Det første du må gjøre for å teste hypotesen din og analysere resultatene med nøyaktighet, er å konfigurere variasjonene og kontrollgruppen.

I dette eksempelet er opplevelsen rettet mot alle brukere med to variasjoner: én med stjernevurderinger og én uten (kontrollen). I dette tilfellet ville vi satt opp 50/50 trafikkfordeling. Dette betyr at 50 % av trafikken vil bli sendt til stjernevurderingsvariasjonen, og de resterende 50 % vil bli sendt til kontrollen.

Ved å tildele 50 % av trafikken til den nye varianten din og 50 % til kontrollgruppen vil du få klar innsikt i hvordan testvarianten din presterer på tvers av primærmålgruppene dine. Denne metoden fjerner rommet for feil, og hvis den kjører lenge nok, kan den gi deg statistisk signifikante resultater.

De fleste eksperimenteringsplattformer har innebygd analyse for å spore alle relevante metrikker og KPI-er. Men før du analyserer en A/B-testrapport, er det viktig at du forstår følgende to viktige metrikker.

Løft: Forskjellen mellom ytelsen til en variant og ytelsen til en baseline-variant (vanligvis kontrollgruppen). Hvis en variant for eksempel har en inntekt per bruker på 5 USD, og kontrollgruppen har en inntekt per bruker på 4 USD, er løftet 25 %.

Sannsynlighet for å være best: Sannsynligheten for at en variasjon har den beste ytelsen på lang sikt. Dette er den mest handlingsrettede metrikken i rapporten, som brukes til å definere vinneren av A/B-tester. Mens økningen kan variere på grunn av tilfeldigheter for små utvalgsstørrelser, tar sannsynligheten for å være best utvalgsstørrelsen i betraktning (basert på den bayesianske tilnærmingen). Sannsynligheten for å være best begynner ikke å beregne før det har vært 30 konverteringer eller 1 000 utvalg. Enkel sagt svarer sannsynligheten for å være best på spørsmålet «Hvem er bedre?», og økningen svarer på spørsmålet «Hvor mye?»

Først bør du se nærmere på hvordan eksperimentet fungerte for alle brukere. I eksempelet vårt med stjernevurderinger på PLP-er kan du se at testvarianten ga en økning i den primære måleverdien vi satte opp for testen (i dette tilfellet kjøp per bruker).

Som du kan se her, har testvariasjonen ennå ikke blitt kåret til «vinneren». Vanligvis vil en vinner bli kåret hvis følgende betingelser er oppfylt:

• One variation has a probability to be best score above 95% (the threshold can be changed in some platforms using the winner significance level setting).
• Minimum testvarighet har passert (standardverdien er vanligvis 2 uker). Dette er utformet for å sikre at resultatene ikke påvirkes av sesongvariasjoner.

I eksemplet vårt, til tross for at vi ikke oppnår sann statistisk signifikans, er det tydelige indikasjoner på at testen gir løft og har en sannsynlighet på 79 % for å være best. Dette er oppmuntrende informasjon som vil få oss til å dykke enda dypere inn i hvordan denne testen presterer for primærmålgruppene våre.

De fleste eksperimenteringsplattformer tilbyr en målgruppeoversikt som viser hvordan testresultatene varierer når trafikken segmenteres etter ulike målgrupper. Vi anbefaler å analysere hvordan testen presterer på tvers av de ulike primærmålgruppene dine, for å få en dypere forståelse av dem og begynne å bygge kampanjer som bedre dekker behovene til hver enkelt gruppe.

Med tanke på de primære målgruppene vil du sannsynligvis se at det oppstår atferdsforskjeller når du analyserer resultatene av en test per målgruppe. I eksemplet vårt viser gruppen med høy hensikt en preferanse for kontrollgruppen, eller ingen stjerneanmeldelser på PLP.

For å gjøre det enklere å analysere resultatene dine på tvers av primærmålgrupper og sammenligne atferd på tvers av segmentene dine, har vi opprettet en Primary Audiences Campaign Analysis Template som du kan henvise til og bruke.

Malen for kampanjeanalyse for primærmålgrupper inneholder to faneblader: et eksempel og en tom mal. Eksemplet skisserer hvordan regnearket fungerer når alle datainndata er fylt ut. Det tomme malfanebladet er der du kan legge inn dine egne data for enklere å analysere effekten av kampanjer og tester på primærmålgruppene dine.

Ved å bruke den tomme malen vil du se tre kategorier med inndata. Den første inndataen er hovedmetrikken, som vil være temaet for hver analyse du kjører. Hvis du analyserer effekten av en test på klikkfrekvensen på tvers av hovedmålgruppene dine, kan du skrive inn «CTR» i dette feltet.

Det neste inndatafeltet er der du lister opp primærmålgruppene dine. Disse vil være de samme på tvers av alle tabeller. Vi brukte intensjonsbaserte målgrupper i eksemplet vårt.

Den tredje inndataen er der du registrerer kampanjens resultat mot hver primærmålgruppe, for både kontrollgruppen og variasjonene. Du bør kunne hente denne informasjonen fra eksperimenteringsplattformen din.

Når du har oppgitt dataene dine, vil regnearket beregne differansen og fylle ut en graf for å analysere ytelsen til hver primærmåling du måler på tvers av alle primærmålgrupper. Ved å se på disse grafene får du et klart bilde av hvordan atferden til primærmålgruppene dine endrer seg avhengig av eksperimentet og primærmålingen. Med denne informasjonen kan du deretter begynne å institusjonalisere lærdommene dine for å gjøre nettstedsomfattende endringer som bedre gjenspeiler behovene og preferansene til primærmålgruppene dine.

Ved å se på grafene i analysenemaljen for primærmålgrupper får du bedre innsikt i hvordan testresultatene signaliserer viktig informasjon om psykologien og atferden til primærmålgruppene dine.

Når du har fått en forståelse av de atferdsmessige forskjellene mellom primærmålgruppene dine, kan du institusjonalisere denne læringen og bruke den fremover i markedsføringskampanjene dine.

• I vårt eksempel økte kjøp per bruker for brukere med lav og middels intensjon med nesten 6 % da de så stjerneanmeldelser på produktsider (PLP-er), mens publikummet med høy intensjon foretrakk en renere produktside.
• Vi kan også se at målgrupper med lav og middels intensjon ikke bare kjøpte mer, men stjerneopplevelsen førte også til at de bladde gjennom mer.

Disse dataene avdekker innsikt om målgruppens behov. I eksemplet vårt kan vi begynne å se at brukere med lav og middels intensjon krever ekstra sosial bevisføring på produktsider (PLP-er) for å stole på merkevaren vår, fortsette å bla gjennom og til slutt foreta et kjøp. På den annen side stoler brukere med høy intensjon allerede på merkevaren vår og foretrekker derfor en renere produktside (PLP) som fører til en mer strømlinjeformet kjøpsopplevelse.

Når du har opparbeidet deg en bedre forståelse av atferden til målgruppene dine, kan du bruke denne innsikten som grunnlag for din neste test.

Når du har analysert dataene dine og trukket konklusjoner om hvordan resultatene relaterer seg til nøkkelforskjeller i atferd i de primære publikumsgruppene dine, kan du begynne å sette opp din neste test for å handle videre ut fra det du har lært, og levere en mer personlig opplevelse til brukerne dine.

I eksemplet vårt, ettersom vi fant at kjøp per bruker økte bare for brukere med lav og middels intensjon når de så på stjernevurderinger på PLP-er, vil vi segmentere testen deretter. Brukere med lav og middels intensjon vil få stjernevurderingsvarianten, og brukere med høy intensjon vil få varianten uten stjernevurderinger.

Denne andre testfasen er avgjørende, da den vil hjelpe deg med å avdekke mer innsikt om målgruppene dine – i dette tilfellet våre målgrupper med lav og middels intensjon – samtidig som den gir en mer personalisert og relevant opplevelse til hver målgruppe.

Ettersom du fortsetter å samle inn mer lærdom, kan du gjenta denne prosessen for å lære mer om primærmålgruppene dine, finpusse opplevelsene og levere den beste variasjonen av nettstedet til hver primærmålgruppe.