En introduktion till A/B-testning och optimering

A/B-testning är en metod för att jämföra två versioner av en webbsida eller app med varandra för att avgöra vilken som presterar bättre mot ett visst mål. Det är en av de mest använda teknikerna för att maximera prestandan hos digitala tillgångar som webbplatser, mobilappar, SaaS-produkter, e-postmeddelanden med mera.

Kontrollerade experiment ger marknadsförare, produktchefer och ingenjörer smidighet att iterera snabbt och i stor skala, vilket leder till datadrivna och välinformerade beslut om deras kreativa idéer. Med A/B-tester behöver du inte undra varför vissa saker inte fungerar, eftersom beviset finns där det behövs. Det är den perfekta metoden för att förbättra konverteringsgraden, öka intäkterna, utöka abonnentbasen och förbättra resultatet för kundanskaffning och generering av potentiella kunder.

Några av de mest innovativa företagen har utvecklat slimmade affärsmetoder som gör att de kan köra tusentals experiment varje år.1

I en klassisk A/B-testningsprocess bestämmer vi vad vi vill testa och vad vårt mål är. Därefter skapar vi en eller flera varianter av vårt ursprungliga webelement (t.ex. kontrollgruppen eller baslinjen). Därefter delar vi slumpmässigt upp webbplatstrafiken mellan två varianter (genom att slumpmässigt fördela besökare baserat på en viss sannolikhet) och slutligen samlar vi in datainsikter om våra webbsidors prestanda (mått). Efter en tid tittar vi på datainsikterna, väljer den variant som presterade bäst och avbryter den som presterade sämre.

Om de inte utförs på rätt sätt kan testerna misslyckas med att ge meningsfulla, värdefulla resultat och till och med vara vilseledande. Generellt sett kan genomförande av kontrollerade experiment hjälpa organisationer med:

1. Lösa UX-problem och vanliga problem för besökare 
2. Förbättra prestanda från befintlig trafik (högre konverteringar och intäkter, förbättra kundförvärvskostnader) 
3. Öka det övergripande engagemanget (minska avvisningsfrekvensen, förbättra klickfrekvensen med mera) 

Vi måste komma ihåg att i samma stund som vi väljer en variant generaliserar vi de mått vi har samlat in fram till dess för hela populationen av potentiella besökare. Detta är ett stort risktagande, och det måste göras på ett giltigt sätt. Annars kommer vi förr eller senare att fatta ett felaktigt beslut som skadar webbsidan på sikt. Processen för att uppnå giltighet kallas hypotesprövning och den giltighet vi söker kallas statistisk signifikans.

• Testa olika sorteringsordningar för webbplatsens navigeringsmeny (liksom i det här exemplet från en stor e-handlare inom elektronik i Tyskland)

• Testa och optimera målsidor (som i det här exemplet från ett ledande europeiskt flygbolag för passagerarskydd) 

• Testa reklammeddelanden, som överlagringar för nyhetsbrevsprenumerationer och banners (som i det här exemplet från en internationell butik för naturliga badprodukter)

Ett A/B-test börjar med att man identifierar ett problem som man vill lösa eller ett användarbeteende som man vill uppmuntra eller påverka. När hypotesen har identifierats formulerar marknadsföraren vanligtvis en hypotes – en kvalificerad gissning som antingen bekräftar eller motbevisar experimentets resultat.

Exempelhypotes: Att lägga till en badge för socialt bevis på dina produktdetaljsidor (PDP) kommer att informera besökare om produktens popularitet och öka antalet tillägg i kundvagnen med 10 %.

När problemet väl har identifierats (till exempel en låg konverteringsgrad för varor som lagts till i kundvagnen) och en hypotetisk lösning har tagits fram (att lägga till en social bevis-badge för att uppmuntra fler webbplatsbesökare att lägga till varor i sina varukvarnar/varukorgar) är du redo att testa det på din webbplats.

I ett enkelt A/B-test delas trafiken upp mellan två variationer av innehåll. Den ena betraktas som kontroll och innehåller det ursprungliga innehållet och den ursprungliga designen. Den andra fungerar som en ny version av den kontrollerade variationen. Variationen kan skilja sig åt i många avseenden. Vi skulle till exempel kunna testa en variation med annan rubriktext, call-to-action-knappar, en ny layout eller design och så vidare.

I ett klassiskt sidnivåexperiment behöver du inte nödvändigtvis två olika webbadresser för att genomföra ett korrekt test. De flesta A/B-testningslösningar låter dig skapa variationer dynamiskt genom att ändra innehåll, layout eller design på sidan.

Om du däremot har två (eller fler) uppsättningar sidor som du vill inkludera i ett kontrollerat test bör du förmodligen överväga att använda ett delat URL-test.

Delad URL-testning, ibland kallad ”multisida”- eller ”multi-URL”-testning, är en liknande metod som ett standardiserat A/B-test som gör att du kan utföra experiment baserat på separata webbadresser för varje variation.

Med den här metoden kan du köra tester mellan två befintliga webbadresser, vilket är särskilt användbart när du visar dynamiskt innehåll. Kör ett delat webbadresstest när du redan har två befintliga sidor och vill testa vilken av dem som presterar bäst.

Om du till exempel kör en kampanj och har två olika versioner för potentiella målsidor kan du köra ett delat webbadresstest (URL-test) för att undersöka vilken som presterar bättre för den specifika kampanjen.

Om du vill testa mer än bara två varianter kan du köra ett A/B/n-test. Med A/B/n-tester kan du mäta prestandan för tre eller flera varianter i stället för att bara testa en variant mot en kontrollsida. Webbplatser med mycket trafik kan använda den här testmetoden för att utvärdera prestandan för ett mycket bredare urval av ändringar och maximera testtiden med snabbare resultat.

Även om det är användbart för all typ av testning, från mindre till drastiska ändringar, rekommenderar jag dock att du inte gör alltför många ändringar mellan kontrollgruppen och variaten. Prova att göra några få viktiga och tydliga ändringar för att förstå de möjliga orsakssambanden bakom experimentets resultat. Om du vill testa ändringar av flera element på en webbsida bör du överväga att köra ett multivariat test.

Multivariata tester, ibland kallade ”multivariatester”, gör det möjligt att testa ändringar i flera avsnitt på en enda sida. Som ett exempel kan du köra ett multivariat test på en av dina målsidor och ändra den med två nya element. I den första versionen lägger du till ett kontaktformulär i stället för huvudbilden. I den andra versionen lägger du till ett videoklipp. Systemet kommer nu att generera en annan möjlig kombination baserat på dina ändringar, som inkluderar både videon och kontaktformuläret:

Totalt antal testversioner: 2 × 2 = 4

V1 – Kontrollvariant (inget kontaktformulär och inget videonyttjande) 
V2 – Version med kontaktformulär 
V3 – Version med videonyttjande 
V4 – Version med kontaktformulär och videonyttjande

Eftersom multivariata tester genererar alla möjliga kombinationer av dina ändringar rekommenderas det inte att du skapar ett stort antal varianter om du inte kör testet på en sajt med hög trafik. Å andra sidan kommer körning av multivariata tester på sajter med låg trafik att ge dåliga resultat och otillräckliga datainsikter för att dra några betydande slutsatser. Se till att du har minst några tusen månatliga besökare på din sajt innan du väljer att köra ett multivariat test.

Multivariata tester, ibland kallade ”multivariatester”, gör det möjligt att testa ändringar i flera avsnitt på en enda sida. Som ett exempel kan du köra ett multivariat test på en av dina målsidor och ändra den med två nya element. I den första versionen lägger du till ett kontaktformulär i stället för huvudbilden. I den andra versionen lägger du till ett videoklipp. Systemet kommer nu att generera en annan möjlig kombination baserat på dina ändringar, som inkluderar både videon och kontaktformuläret:

Totalt antal testversioner: 2 × 2 = 4

V1 – Kontrollvariant (inget kontaktformulär och inget videonyttjande) 
V2 – Version med kontaktformulär 
V3 – Version med videonyttjande 
V4 – Version med kontaktformulär och videonyttjande

Eftersom multivariata tester genererar alla möjliga kombinationer av dina ändringar rekommenderas det inte att du skapar ett stort antal varianter om du inte kör testet på en sajt med hög trafik. Å andra sidan kommer körning av multivariata tester på sajter med låg trafik att ge dåliga resultat och otillräckliga datainsikter för att dra några betydande slutsatser. Se till att du har minst några tusen månatliga besökare på din sajt innan du väljer att köra ett multivariat test.

När du bör använda respektive testtyp

A/B-tester hjälper dig att besvara frågor som: Vilken av de två versionerna av min sida presterar bättre när det gäller besökarens respons på den?

Multivariata tester svarar på frågor som: 

• Svarar besökare bättre på ett videoobjekt bredvid ett kontaktformulär?

• Eller till en webbsida med endast ett kontaktformulär och inget videoobjekt? 

• Eller till en webbsida med ett videoobjekt men inget kontaktformulär?

En metod för att fastställa hur effektiv en A/B-testningsplattform är att genomföra ett A/A-test. Det innebär att du skapar två eller fler identiska varianter och genomför ett A/B-test för att se hur plattformen hanterar varianterna. Framgångsrika resultat bör visa att båda varianterna ger mycket likartade resultat.

När man kör ett A/B-test är det avgörande att använda en giltig metod för att vi ska kunna lita på att testresultaten ger bättre prestanda långt efter att testet är avslutat. Med andra ord försöker vi förstå om testade förändringar direkt påverkar besökarnas beteende eller beror på slumpen. A/B-testning tillhandahåller ett ramverk som gör det möjligt för oss att mäta skillnaden i besöksrespons mellan olika variationer och, om en sådan upptäcks, fastställa statistisk signifikans och till viss del orsakssamband.