Välja rätt optimeringsnyckeltal för era A/B-tester

För marknadsförare som vill förbättra webbplatsens användarupplevelse är A/B-testning en av pelarna inom upplevelseoptimering som används för att bidra till ökad konvertering. Det är ett viktigt verktyg för att experimentera med stora och små förändringar innan man går ”all in”, och hjälper till att avgöra vilka upplevelser som ska tillämpas för alla användare. 

Därför kan utebliven noggrann analys av resultaten innebära skillnaden mellan potentiellt enorma uppgångar och avtagande avkastning. 

Genom att ta upp vanliga fallgropar vid A/B-testning och introducera mer tillförlitliga metoder för att mäta effekten av dina upplevelser kan du vara säker på att lämna den här platsen med kunskap om hur du optimerar för framgång. 

Analysverktyg har lärt oss att analysera webbplatsengagemang genom sessionernas lins. Ett e-handelsvarumärke som mäter intäkter skulle till exempel titta på RPV (intäkt per session) och en mediasajt på det genomsnittliga antalet sidvisningar per session. 

Om du däremot väljer en variation en gång per användare bör du beräkna genomsnittet av resultaten per antal användare. Att beräkna genomsnittet per session resulterar ofta i en snedvridning till förmån för den sämsta variationen. 

Som ett exempel följer här resultatet av ett test där primärmåttet är att klicka på knappen Lägg i varukorg. När två användare gick med i testet visades kontrollversionen för den ena, som konverterade fyra gånger utan att återvända till webbplatsen. Den andra fick variant A och konverterade fem gånger, återvände för en ny session under vilken han konverterade två gånger. 

När konverteringar delades med sessioner vann kontrollen med fyra konverteringar per session mot variant A:s 3,5. Konverteringar per användare visar dock en annan bild, där variant A vinner mot kontrollen med 7 mot 4.

Skulle det vara rimligt att straffa variation A, som till slut genererade fler konverteringar eftersom den ledde till en extra session med ett litet antal konverteringar?

Sammanfattningsvis: Om du jämför två alternativ ger ett genomsnitt per användare – inte per session – dig möjlighet att optimera för en bättre användarupplevelse på din webbplats.

När du utför ett test har du oftast ett mått i åtanke som är det primära – den vinnande varianten bestäms av hur framgångsrik varje variant är för detta mått. Detta kan inkludera alla händelser, som att klicka på en specifik knapp, lägga till varor i varukorgen, slutföra ett köp med mera.

En marknadsförare för en e-handelswebbplats ställde en gång frågan:

”Varför tillåter ni så många mätvärden att välja mellan? Jag behöver bara ett: intäkter.”

Som med alla verksamheter som är beroende av intäkter är det rimligt att tänka att allt som bidrar till detta mål är bra, och allt som påverkar det negativt är dåligt. Konverteringstraktsmetodiken motsäger dock detta tankesätt eftersom varje steg i tratten är inriktat på att föra användaren vidare till nästa steg i tratten, vilket innebär att resultaten bör optimeras därefter. 

Här är en förenklad version av konverteringstratten för en e-handelswebbplats.

Efter att ha analyserat tester som kördes tidigare i konverteringstratten på ett nytt navigeringselement på startsidan för en e-handelnas webbplats stod detta helt klart efter sju dagar. 

Det finns ingen tydlig vinnare för primärmåttet ännu, eftersom antalet köp var för litet. När man tittade på klick samlades det dock in tillräckligt med datainsikter för att utse variant A till vinnare. Och därför ser vi det matematiska skälet att välja en närmare konvertering med mindre försening. 

Att dessutom välja en konvertering längre ner i tratten gör att betydande resultat kommer att anlända mycket senare, eftersom många av de användare som avancerade i tratten nu kommer att uppleva samma webbplats. Det är inte otroligt att resten av upplevelsen och konverteringsgraden blir densamma. 

Skillnaden i deras prestanda kommer därför att vara liten. 

Det är detta vi känner till som omedelbar belöning och fördröjd belöning. 

• Klick på en variant sker omedelbart 

• Köp på prov på Checkout-sidan ger omedelbar belöning 

• Köpen vid ett test på startsidan är fördröjd belöning 

Sammanfattningsvis: Optimering av e-handelskonverteringsgrad gör att marknadsförare snabbare kan förbättra konverteringsgraderna. Genom att sätta upp mål som uppnås snabbare blir resultaten enklare att följa upp och nyckeltalen enklare att förbättra.