Så analyserar du personaliseringskampanjer efter primära målgrupper

När du börjar dela upp testerna efter primära målgrupper får du värdefulla insikter om vad som fungerar respektive inte fungerar för specifika segment. Dessa insikter kan hjälpa dig att bygga upp en fullständig och nyanserad förståelse för hur du ska kommunicera med dina kunder.

Att analysera och registrera datadrivna insikter över tid kommer inte bara att stärka ditt personaliseringsprogram, utan det kommer också att stärka alla områden i din verksamhet och hjälpa andra avdelningar att Become mer strategiska i sina interaktioner med olika kundgrupper. Här delar vi med oss av några bästa metoder att ha i åtanke och guidar dig genom ett exempel på hur du analyserar dina kampanjer utifrån primära målgrupper.

Exakt rapportering börjar alltid med exakta datainsikter – vilket du bara kan uppnå om du konfigurerar dina experiment korrekt. Vi börjar med några testmetodiker för att säkerställa att din data är giltig innan du börjar analysera den.

Observera att följande riktlinjer endast gäller för långsiktiga experiment där målet är att uppnå statistisk signifikans eller något som liknar det. Självklart vill man ibland köra en kampanj under en kortare period, kanske för en Black Friday-kampanj som bara pågår i några dagar. I dessa fall använder du en Multi-Armed Bandit-metod, där mer trafik fördelas till den vinnande varianten över tid. I rapporteringssyfte kommer vi att utforska metodtips för manuell trafikfördelning – den klassiska A/B-testningsmetoden. 

Vill du veta mer om hur du väljer rätt metod för trafikallokering för dina tester kan du läsa vår artikel om ämnet här.

Låt oss säga att du till exempel vill testa effekten av budskap baserade på sociala bevis i form av stjärnbetyg på produktsidor. Det första du behöver göra för att testa din hypotes och analysera resultaten med noggrannhet är att konfigurera dina varianter och din kontrollgrupp.

I det här exemplet riktar sig upplevelsen till alla användare med två varianter: en med stjärnbetyg och en utan (kontrollgruppen). I det här fallet skulle vi ställa in en trafikfördelning på 50/50. Det innebär att 50 % av trafiken skickas till varianten med stjärnbetyg och de resterande 50 % till kontrollgruppen.

Genom att allokera 50 % av trafiken till din nya variation och 50 % till din kontrollgrupp får du en tydlig inblick i hur din testvariation presterar bland dina primära målgrupper. Denna metod utesluter risken för fel och kan, om den pågår tillräckligt länge, ge dig statistiskt signifikanta resultat.

De flesta experimentplattformar har inbyggd analys för att spåra alla relevanta mätvärden och KPI:er. Men innan du analyserar en A/B-testrapport är det viktigt att du förstår följande två viktiga mätvärden.

Ökning: Skillnaden mellan prestandan för en variant och prestandan för en baslinjevariant (vanligtvis kontrollgruppen). Om en variant till exempel har en intäkt per användare på 5 $ och kontrollgruppen har en intäkt per användare på 4 $, är ökningen 25 %.

Sannolikhet att vara bäst: Chansen att en variant har den bästa prestandan på lång sikt. Detta är rapportens mest åtgärdsbara mätvärde, som används för att definiera vinnaren i A/B-tester. Medan ökningen kan variera på grund av tillfälligheter vid små urvalsstorlekar, tar sannolikheten att vara bäst hänsyn till urvalsstorleken (baserat på den bayesianska metoden). Sannolikheten att vara bäst börjar inte beräknas förrän det har skett 30 konverteringar eller 1 000 stickprov. Enkelt uttryckt svarar sannolikheten att vara bäst på frågan ”Vem är bäst?” och ökningen svarar på frågan ”Med hur mycket?”

First, you will want to take a look at how the experiment performed for all users. In our example of star ratings on PLPs, you can see that the test variation produced an uplift across the primary metric we set up for the test (in this case, purchases per user).

Som du kan se här har testvarianten ännu inte utsetts till ”vinnare”. En vinnare utses vanligtvis om följande villkor uppfylls:

• En variation har en sannolikhet att ha det bästa resultatet över 95 % (tröskeln kan ändras på vissa plattformar med inställningen för vinnarens signifikansnivå).
• Den minsta testvaraktigheten har passerat (standard är vanligtvis 2 veckor). Detta är utformat för att säkerställa att resultaten inte påverkas av säsongsvariationer.

I vårt exempel finns det tydliga indikationer på att testet ger ett uppsving och har 79 % sannolikhet att vara det bästa, trots att vi inte uppnår sann statistisk signifikans. Det här är uppmuntrande information som kommer att få oss att dyka ännu djupare i hur det här testet presterar för våra primära målgrupper.

De flesta experimentplattformar erbjuder en målgruppsanalys som visar hur ett tests resultat skiljer sig åt när trafiken segmenteras efter olika målgrupper. Vi rekommenderar att du analyserar hur testet presterar i dina olika primära målgruppsgrupper för att få en djupare förståelse för dina primära målgrupper och börja bygga kampanjer som bättre möter behoven hos varje grupp.

Med tanke på de primära målgruppernas natur kommer du sannolikt att se beteendeskillnader när du analyserar resultatet av ett test per målgrupp. I vårt exempel visar gruppen med hög köpintention en preferens för kontrollgruppen eller inga PLP-stjärnrecensioner.

För att göra det enklare att analysera dina resultat för primära målgrupper och jämföra beteenden mellan dina segment har vi skapat en analysmall för primära målgruppskampanjer som du kan hänvisa till och använda.

Kampanjanalysmallen för primära målgrupper innehåller två flikar: ett exempel och en tom mall. Exemplet beskriver hur kalkylbladet fungerar när alla datainmatningar har fyllts i. Fliken med den tomma mallen är där du kan ange din egen data för att enklare analysera effekten av dina kampanjer och tester på dina primära målgrupper.

Med den tomma mallen ser du tre kategorier av inmatningar. Den första inmatningen är det primära mätvärdet, som kommer att vara föremål för varje analys du kör. Om du analyserar effekten av ett test på klickfrekvensen bland dina primära målgrupper anger du ”CTR” i det här fältet.

Nästa inmatning är där du listar dina primära målgrupper. Dessa kommer att vara desamma i varje tabell. Vi använde avsiktsbaserade målgrupper i vårt exempel.

Det tredje indatafältet är där du registrerar din kampanjs prestanda i förhållande till varje primär målgrupp, för både din kontrollgrupp och dina varianter. Du bör kunna hämta denna information från din experimentplattform.

När du har angett dina data beräknar kalkylbladet skillnaden och fyller i en graf för att analysera resultatet för varje primärt mätvärde som du mäter för alla primära målgrupper. Genom att titta på dessa grafer får du en tydlig bild av hur dina primära målgruppers beteende förändras beroende på experimentet och det primära mätvärdet. Med denna information till hands kan du börja implementera dina insikter för att göra webbplatsövergripande ändringar som bättre återspeglar dina primära målgruppers behov och preferenser.

Genom att titta på graferna i analysmallen för primära målgrupper (Primary Audiences Campaign Analysis Template) får du bättre insikter i hur testresultaten signalerar nyckelinformation om dina primära målgruppers psykologi och beteende.

När du har fått en förståelse för de beteendemässiga skillnaderna mellan dina primära målgrupper kan du integrera dessa insikter och använda dem i fortsättningen för att utforma dina marknadsföringskampanjer.

• I vårt exempel ökade köp per användare för användare med låg och medelhög avsikt med nästan 6 % när de visade stjärnrecensioner på PLP-sidor, medan målgruppen med hög avsikt föredrog en renare PLP.
• Vi kan också se att målgrupper med låg och medelhög köpintention inte bara köpte mer, utan stjärnupplevelsen ledde till att de surfade runt mer också.

Dessa data avslöjar insikter om vår publiks behov. I vårt exempel kan vi börja se att användare med låg och medium köpintention kräver extra bevis på produktlistningssidorna för att lita på vårt varumärke, fortsätta bläddra och till slut göra ett köp. Å andra sidan litar användare med hög köpintention redan på vårt varumärke och föredrar därför en renare produktlistningssida som leder till en mer strömlinjeformad köpupplevelse.

När du har fått en bättre förståelse för din primära publiks beteenden kan du använda dessa insikter som underlag för ditt nästa test.

När du har analyserat dina data och dragit slutsatser om hur resultaten förhåller sig till viktiga beteendeskillnader inom dina primära målgrupper kan du börja ställa in nästa test för att omsätta dina insikter i handling och erbjuda dina användare en mer personanpassad upplevelse.

I vårt exempel, eftersom vi fann att köp per användare ökade enbart för användare med låg och medium köpintention när de tittade på stjärnrecensioner på PLP-sidor, kommer vi att segmentera vårt test därefter. Användare med låg och medium köpintention ges stjärnbetygsvarianten och användare med hög köpintention ges varianten utan stjärnbetyg.

Denna andra testfas är avgörande eftersom den hjälper dig att få fler insikter om dina målgrupper – i det här fallet våra målgrupper med låg och medium intent – samtidigt som den ger en mer personlig och relevant upplevelse för varje målgruppssegment.

När du samlar på dig mer kunskap kan du upprepa den här processen för att kontinuerligt lära dig mer om dina primära målgrupper, förfina dina upplevelser och erbjuda den bästa versionen av din webbplats till varje primär målgrupp.