Det finns inga misslyckade A/B-tester: Så ser du till att varje experiment ger meningsfulla resultat

Fram till slutet av 1800-talet trodde den rationella världen att det fanns en osynlig, mystisk substans som rörde sig genom ljus och ljud och omgav världen – etern. Forskarna Albert A. Michelson och Edward W. Morley ville använda sin egen, exklusiva teknik för en gång för alla bevisa att etern fanns. Till deras (och världens) stora förvåning visade deras experiment precis det motsatta: etern fanns inte. Detta skulle senare Become känt som historiens mest berömda ”misslyckade” experiment. Och även om det motbevisade deras hypotes förändrade det slutligen världens syn på universums fundamentala funktioner, vilket till slut ledde till Einsteins relativitetsteori, som i dag är känd som en av den modern fysikens två hörnstenar.

Michelson och Morley misslyckades spektakulärt och satte en ny standard för hur vi ser på experimentering. Dagens marknadsförare använder samma språk och metod som forskare när de testar – de börjar med en hypotes och avslutar med ett resultat. Men marknadsförare som vill ha entydiga resultat eller ett visst önskat utfall har ofta svårt att se bortom svarta och vita resultat och kallar ett test för en vinnare och ett annat för en förlorare. Verkligheten är dock att det inte finns några misslyckade tester, utan enbart insikter.

Nedan kan du läsa mer om hur du skapar en skottsäker testmetod som garanterat ger värdefulla insikter, och varför det inte finns något som heter ett misslyckat test. Detta illustreras med lärdomar från några av världens ledande e-handelsvarumärken.

Ditt typiska A/B-test är ofta kopplat till ett nyckeltal. En återförsäljare som vill välja vilken rekommendationsstrategi som leder till fler varukorgstillägg – och i slutändan högre intäkter – är till exempel inriktad på att ta reda på vilken variant som ger bäst resultat. Marknadsföraren har i slutändan ett starkt intresse av att ta reda på hur testning kan användas för att generera intäkter, och om ett test inte lyckas överträffa status quo anses det vanligen som ett misslyckande.

Det finns dock så mycket att lära av ett misslyckat test. Alla experiment för med sig en unik uppsättning lärdomar, oavsett utfall, och dagens yrkesverksamma måste glömma bort begreppet misslyckade experiment och anamma ett mer vetenskapligt synsätt på testning. Att göra det kommer inte bara att bidra till framtida tester, utan det kommer också att hjälpa organisationer att bättre förstå och ompröva skapandet av upplevelser och den heltäckande användarupplevelsen, vilket sannolikt kommer att ge avkastning på sikt.

Precis som inom vetenskapen kan marknadsförare få ut det maximala värdet av ett experiment när de närmar sig tester metodiskt. Som tur är har vi skapat vår egen vetenskapliga metod – en vattentät testplan i sju steg som är avgörande för att dra slutsatser och få meningsfulla insikter från alla typer av tester.

Att ifrågasätta det okända och söka efter en lösning är drivkraften bakom ditt experiment, och att identifiera en central fråga kommer att driva hela ditt experiment. Den aktuella frågan kommer inte bara att ligga till grund för din hypotes, den ger dig också en utgångspunkt att basera din kvalificerade gissning på.

För att gå igenom varje steg i experimentprocessen fokuserar vi på ett specifikt exempel: Kommer en rabatt till nya användare att öka intäkten per användare?

Innan du formulerar en hypotes bör du använda din befintliga kunskap till din fördel. All information som redan finns tillgänglig om ditt företag och dina kunder kan ligga till grund för din teststrategi och hjälpa dig att förfina din centrala frågeställning innan du går vidare med experimentering. Om du tidigare har efterforskat eller testat prestandan för rabatter eller incitament kan du tillämpa de lärdomarna här.

Låt oss säga att du har upptäckt att nya användare är mycket priskänsliga och sällan beställer för 60 $ eller mer. Detta är en stark indikation på att incitament kommer att vara effektiva om de sänker nettopricket till under 60 $.

Finjustera ditt experiment så att incitamentet sänker det genomsnittliga ordervärdet (AOV) under 60 $. 10 % rabatt eller mer bör göra susen.

Nu kan du förfina din fråga till en kvalificerad gissning, en hypotes: Ett rabatterbjudande på över 10 % för nya användare kommer sannolikt att öka intäkterna per användare.

Genom att avgränsa den aktuella frågan kan vi identifiera de viktigaste variablerna i vårt experiment. Varje experiment har minst en oberoende variabel och en beroende variabel. Här är den oberoende variabeln rabatten och den beroende variabeln intäkten, eftersom rabatten är det som kan påverka intäkten. Samtidigt är kontrollgruppen som du testar prestanda mot att inte erbjuda någon rabatt till en ny användare.

Använd alltid variabler som ger en tydlig väg framåt efter att testet har avslutats. Testa till exempel 10 %, 15 % och 20 % rabatt – var och en som en egen variation inom ett och samma test – för att förstå om incitamentets storlek spelar roll och om det bör ökas eller minskas i framtida tester.

Vi har minst en oidentifierad variabel kvar: målgruppstillhörighet. Vi har nya användare från ett antal olika källor, inklusive organisk sökning, betald sökning, direktrafik med mera, och var och en av dessa faktorer kan påverka hur en individ reagerar på experimentet. Se dessutom alltid till att du kan följa upp hur en kampanj presterar för viktiga målgrupper innan du påbörjar testningen, och begränsa dig till att testa variabler som är genuint relevanta för ditt experiment.

En utebliven uppgång ≠ ett misslyckat test. Ett test ”misslyckas” bara om det inte har satts upp på rätt sätt, vilket ger otillförlitliga eller oläsbara resultat. Om du misstänker att ditt test påverkar flera beroende variabler bör du i förväg fastställa hur du på ett korrekt sätt ska mäta effekten för var och en av dem för att säkerställa att resultaten blir så exakta som möjligt.

Nu när du har identifierat frågan, variablerna och hur du ska mäta dina resultat är det dags att köra testet. Vi rekommenderar att det körs i minst 30 dagar för att nå statistiskt signifikanta resultat. Se till att även överväga dina målgruppsvariabler – trafikällorna i vårt exempel – eftersom det kan ta längre tid att uppnå statistisk signifikans på målgruppsnivå, även om ditt övergripande experiment har nått statistisk signifikans.

Det är viktigt att komma ihåg att testning inte bara handlar om att generera mer intäkter, utan om att skaffa sig kunskap. Du kan bara öka ditt resultat när du har genererat insikter som du kan utnyttja för att positivt påverka testresultaten och optimera prestandan i framtida kampanjer.

Titta inte bara på om ett test gav ett positivt eller negativt lyft, utan gå tillbaka till hypotesen och avgör om den visade sig stämma.

Några frågor som du kan ställa när experimentet har löpt ut är:

• Svarade alla målgrupper på samma sätt?
• Upptäckte resultaten några andra oväntade variabler?
• Finns det några ytterligare beroende variabler (det vill säga konverteringsgrad)?
• Hur påverkade variabelns grad utfallet? (d.v.s. Gav en rabatt på 10 % andra resultat än en rabatt på 20 %?)

Efter en noggrann utvärdering av dina resultat bör du ha ett svar på den ursprungliga fråga som du ställde. Använd dessa resultat som vägledning för dina nästa steg, oavsett om det handlar om att integrera en metod i din marknadsföringsstrategi eller köra ytterligare tester för mer detaljerade resultat. Dessa insikter om målgruppens prestationer och vilken inverkan varje oberoende variabel har på dina nyckeltal kan hjälpa dig att sätta upp ytterligare experiment som är mer personliga och som erbjuder varje viktig målgrupp variationer som de sannolikt kommer att uppskatta.

Nu när du har alla verktyg du behöver för att köra ett experiment ska vi prata lite mer om att utvärdera dina resultat. Ett experiment kan ibland resultera i ett resultatlöst test, och även om sådana ofta fruktas utgör de en kraftfull inlärningsmöjlighet. Ett resultatlöst test är ett test som avslutas utan någon signifikant prestandaskillnad mellan kontrollgruppen och variationen eller variationerna. Och det finns en rad anledningar till att ett test kan bli resultatlöst: till exempel tajmning, målgruppsstorlek eller en oförutsedd variabel. Verkligheten är dock att ett resultatlöst test och tester som resulterar i en negativ effekt så småningom kan leda till större positiva effekter längre fram.

Effektens storlek beror på förändringens omfattning, och att göra stora förändringar kan vara skrämmande eftersom de öppnar dörren för potentiellt negativa resultat. Om rädsla däremot kväver risktagandet kommer ditt företag aldrig att kunna genomgå en verklig och betydande transformation och tillväxt. Du kan känna dig trygg med att få tester någonsin ger exakt samma resultat för alla. Det finns alltid en viss publik som reagerar positivt, det gäller bara att ta reda på vilken publik det är.

Låt denna verklighet vara en källa till optimism för framtida intäktsväxt, och kom ihåg: ditt personaliseringsprogram kommer att frodas när risktagande uppmuntras eftersom de insikter du samlar in kommer att vara ovärderliga.

Tänk dig en kampanj som körs av detaljhandelsjätten med ett brett sortiment, Chal-Tec. De började med att enbart specialisera sig på DJ-utrustning, men expanderade med tiden till flera olika kategorier. Även om denna expansion ökade de totala intäkterna började de förlora kontakten med sin ursprungliga DJ-publik.

Chal-Tec kunde återgå till sina rötter eftersom de inte var rädda för uteblivna testresultat. De lanserade ett omfattande experiment där de personaliserade hela webbplatsupplevelsen för sin DJ-publik och ändrade allt från logotyp till navigeringsalternativ. Skalan på dessa förändringar säkerställde en sak: resultatet skulle visa dramatiska resultat, antingen positiva eller negativa.

Företaget utformade det här testet för att säkerställa att deras slutsatser skulle ge tydliga insikter och åtgärdspunkter – sådana som skulle förvandla deras framtida marknadsföringsstrategi på plats och hur de bygger kundupplevelser:

• Ett negativt eller oförändrat resultat skulle få dem att ompröva sina antaganden om målgruppen och överväga undermålgrupper som kan svara positivt på det här testet.
• Ett positivt uppsving skulle vara den bekräftelse de behöver för att gå vidare med sin personaliserade approach för entusiaster av DJ-utrustning.

Slutligen gav deras test ett givande resultat, vilket resulterade i en ökning av prestandan med 37 %. För företag som Chal-tec är dessa resultat och lärdomar ovärderliga, eftersom de inte bara hjälper dem att uppnå sitt testmål, utan också hjälper dem att bekämpa ett större affärsmål – att lära sig att utnyttja upplevelseskapande för att förbli relevanta under Amazons tidsålder.

Genom att arbeta med fler än 350 globala varumärken för att implementera experiment har vi sett vår beskärda del av ”misslyckade” tester. Vi har dock också sett hur oväntade resultat kan arbeta till ett teams fördel.

En amerikansk underklädestillverkare fastställde hur de kunde fördela sina marknadsföringskostnader bättre

Tillverkaren var orolig för att innehållet på deras hemsida höll på att bli föråldrat. De investerade i att producera mer högkvalitativ fotografering så att de kunde uppdatera sitt hemsideinnehåll flera gånger i månaden. De bestämde sig sedan för att köra ett test som skulle bevisa att denna investering genererade intäkter. De körde ett A/B-test under två månader och delade in webbplatsbesökarna i två olika grupper under hela experimentet.

Testkonfigurationen var följande:

• Kontroll: Innehållsuppdateringar 1 ggr per månad
• Variation: Innehållsuppdateringar 2 ggr per månad

De blev förvånade över att variationen inte gav någon intäktsökning i förhållande till kontrollgruppen. I stället för att avfärda detta som ett misslyckat test ändrade företaget sina antaganden om värdet av uppdaterat innehåll och beslutade att sluta investera stora belopp i fotografering. Och även om testet inte gav mer intäkter direkt gav det dem den insikt som behövdes för att fördela budgeten på rätt sätt och undvika onödiga utgifter.

En amerikansk modeåterförsäljare upptäckte hur de kunde optimera sina rabattkoder

Modemärket beslutade att köra en kampanj som erbjöd 10 % rabatt till sina australiska kunder med hjälp av en enkel avisering med en erbjudandekod.

De ställde hypotesen att ett erbjudande om 10 % rabatt skulle driva konverteringar och öka genomsnittsintäkten per användare (ARPU) med 5–10 %. Men det som faktiskt hände var en minskning av konverteringarna med 23 %. Efter att ha undersökt saken närmare upptäckte de en modererande variabel som förvandlade detta test till en viktig insikt. När användarna uppmuntrades att få rabatten efter att ha läst om den på en samarbetspartnerns webbplats, uppskattade kunderna den kontinuitet som meddelandet gav. När de körde ett andra test inriktade de sig därför enbart på hänvisningstrafik och såg en ökning av intäkterna med 14 %.