A/A-testning och beslutsfattande vid experimentering

Kundupplevelsen, som sammanfattar den helhetsskapande relationen mellan ett varumärke och en kund, utgörs av olika interaktioner i alla kanaler och kontaktpunkter. Det är därför inte förvånande att företag tänker noga på hur de utformar dessa upplevelser för att locka fler affärer. 

Men hur vet en marknadsförare om en föreslagen förändring av kundupplevelsen kommer att bli lyckad?

Användning av A/B-testning är en effektiv och datadriven metod för att ta reda på det. Grundtanken är enkel: jämför till exempel två versioner av en sida, visa var och en för ett visst segment som besöker webbplatsen och utvärdera deras resultat. 

Besökare tilldelas en av de två variationerna slumpmässigt. Genom att följa väletablerade vetenskapliga principer skapar detta ett ”rättvist test” mellan de två versionerna av upplevelsen. Därefter sammanfattas besökarnas reaktioner via informativa nyckeltal som klickfrekvens (CTR), konverteringsgrad (CR) eller intäkter, och genomsnittliga nyckeltal för de två upplevelserna jämförs. Med A/B-testning låter du kundernas preferenser avgöra vilken version som är mest framgångsrik i stället för att förlita sig på ”intuition”. Och som det gamla ordstävet säger: ”kunden har alltid rätt.”

Även om A/B-tester är enkla att beskriva uppstår ett antal viktiga frågor, som vi tar upp nedan.

• Hur avgör jag vilken variant (A eller B) som är bäst?
• Om jag utser en vinnare (B är bättre än A), hur säker är jag på att detta stämmer?
• Kan jag utöka analysen till fler än två alternativ?
• Hur vet jag att mitt testverktyg fungerar som det ska?
• Vilken urvalsstorlek krävs för ett A/B-test?
• Kan ett test avslutas i förtid om resultaten är tydliga före slutet av den planerade testperioden?

A/B-tester har de gemensamma målen att lära sig och tjäna pengar. Det yttersta målet är att tjäna mer på din webbplats eller digitala egendom. För att göra det måste du lära dig genom att samla in datadrivna insikter från nyckeltal under testet. När du samlar in mer information blir du säkrare på vilken upplevelse som är bättre. 

En utmärkt sammanfattning av det du har lärt dig är Probability to Be Best (eller P2BB). Det här är en enkel statistik som anger sannolikheten för att B är den bättre varianten, det vill säga har det större nyckeltalet bland besökarna på er webbplats. Om P2BB till exempel är 0,8 är sannolikheten för att B är det bättre valet 80 %, och sannolikheten för att A är det bättre valet är 20 %. P2BB är en idealisk utgångspunkt som vägledning för de affärsbeslut som måste fattas efter ett A/B-test. 

Hur beräknar vi P2BB? 

För att besvara den frågan behöver vi ge dig lite bakgrund om Bayesiansk statistik, uppkallad efter den brittiske prästen Thomas Bayes som levde på 1700-talet. Det bayesianska synsättet på statistik använder sannolikhetsfördelningar för att beskriva allt vi inte vet och vill lära oss av data.  

Några tidiga frågor som undersöktes var: ”Vad är sannolikheten för att solen går upp i morgon?” På den tiden undrade många om det ens var meningsfullt att diskutera en sådan fråga i sannolikhetstermer. Tankarna på att man tillför tidigare information till en bayesiansk analys ansågs ofta uttrycka subjektivitet.

That’s very different from the classical Frequentists approach you might have studied in an introductory statistics course, where either A is better than B, B is better than A, or they are identical. The question “what is the probability that B is better” is not part of the lexicon — you can’t give an answer, and in fact, you’re not permitted to ask the question!  

Allt som du tar med dig baserat på det föregående kommer dock i princip att dränkas av den enorma mängd datainsikter som genereras i ett A/B-test. Så i slutändan spelar det egentligen ingen roll vad man trodde i förväg, eftersom man till slut kommer överens efter att ha analyserat resultaten från ett experiment.

Det bayerska synsättet gör sannolikhetssammanfattningar till den gemensamma nämnaren. Du avslutar A/B-testet med sannolikhetsfördelningar som beskriver det du vet om nyckeltalet för A och nyckeltalet för B. Genom att kombinera dessa två fördelningar kan du beräkna P2BB. 

Another advantage of P2BB is that it extends directly to tests with more than two variants. At the end of the experiment, you can compute the P2BB for each one of the variants. If there is a clear winner, it will have P2BB close to 1. Clear losers will have P2BB close to 0. You may have two variants that are essentially the same and are better than all the others. In that case, each of the two leading variants will have P2BB near 0,5.

Du behöver en pålitlig testmotor för att köra ett giltigt A/B-test så att när du fattar ett beslut återspeglar det en verklig skillnad mellan de testade alternativen och inte beror på slumpen eller, ännu värre, en bugg i motorn. 

Det finns mycket som kan gå fel: 

• Fördelen med en variant är tillfällig och beror på ovanliga trafikfluktuationer. 
• Slumpningsrutinen kan vara felaktig och datainsikter om utfallet kanske inte registreras korrekt. 
• Analysrutinen kanske inte är korrekt 

För exempelvis, antag att allokeringen var slumpmässig för vissa besökare men gav variant A till alla som kom från en viss geografisk region. Om besökarna från den regionen reagerar annorlunda än de i andra regioner kommer allokeringsfelet att snedvrida ert experiment. 

Du behöver också ett representativt urval av besökare. När du fattar ett beslut utifrån ett A/B-test ekstrapolerar du alltid från de webbplatsbesökare som deltog i ditt experiment till alla som kommer att besöka webbplatsen i framtiden. För att ekstrapoleringen ska vara giltig måste du se till att alla segment av dessa framtida besökare tas med i testet och i ungefär samma proportioner. Det är det vi menar med ett representativt urval. 

E-handel är till exempel ofta föremål för naturliga tidstrender. Dygnseffekter eller veckodagseffekter kan förekomma. Om så är fallet vill du se till att: (i) minst en hel cykel ingår i experimentet; och (ii) att randomiseringen fortsätter att fungera korrekt under hela cykeln. Som ett annat exempel kan en del av din trafik komma från bärbara datorer och en del från smartphones. Du vill att båda dessa grupper ska få tillräcklig exponering i ditt test. 

För att kontrollera att den underliggande testenheten fungerar som den ska kan du vilja börja med ett litet antal A/A-tester. Idén med A/A-testning är att jämföra en upplevelse med sig själv. Eftersom båda upplevelserna är identiska förväntar du dig uppenbarligen inte att se några skillnader mellan dem – om du kör ett A/A-test och snabbt identifierar att vissa A ser bättre ut än andra A, och du vet att de är desamma, kan du ifrågasätta ditt förtroende för A/B-testningsmetodologin och tekniken.

A/A-testning ger en grund för att lita på resultaten av efterföljande A/B-tester. Genom att sätta en riktlinje för vad som händer när det inte finns några skillnader mellan de två testade varianterna får du en uppskattning av den skillnad du ser när du jämför två olika varianter. Dessutom kan du använda din vanliga upplevelse i A/A-testet, så det finns ingen risk för förlorad aktivitet från att använda en ny version.

Ett mer sofistikerat tillvägagångssätt är att A/A-testet kanske inte bara görs som en föregångare till A/B-testet, utan också parallellt för pågående trendanalys. Detta skulle ge dig mer kontroll och förmåga att hantera förändringar i trafiksammansättningen samt alla möjliga saker som kan påverka beslutsfattandet.

A/A-testformatet låter enkelt, men det finns en del subtila frågor att tänka på. Data är variabel, så även om båda grupperna i ditt experiment fick samma upplevelse kommer du ändå att se en viss skillnad i resultatet. Du behöver några måttstockar för att avgöra om dessa skillnader är tillräckligt stora för att tyda på problem eller bara är naturliga variationer i datan. Du måste fundera på hur länge ett A/A-test ska köras och hur många A/A-tester du vill köra innan du går vidare.

Vi har redan föreslagit ett bra mått: Probability to Be Best (P2BB). Detta mått tar full hänsyn till variabiliteten mellan datainsikter. Det är också viktigt att kontrollera de genomsnittliga KPI:erna. Eftersom du jämför en upplevelse med sig själv förväntar du dig att de är väldigt lika varandra. Du bör också titta på andelen trafik som dirigeras till varje tillstånd. Fördelningen bör ligga nära 50 % för var och en – en fördelning som avviker från 50 % är ett tecken på problem.

Även om P2BB är en utmärkt sammanfattning av lärdomarna från ert experiment behöver vi lägga till ett par varnande ord. 

För det första har datainsikter naturlig variabilitet. P2BB är beroende av dessa insikter, så den är också variabel. Följaktligen kommer det att finnas A/A-tester som ger ett P2BB nära 0 eller 1, även om du vet att det inte finns någon skillnad. Ingen strategi för A/B-testning är immun mot att ibland utse en vinnare i det här fallet. 

För det andra är urvalsstorlekarna enorma i många onlineexperiment. Även mycket små skillnader i genomsnittligt KPI kan leda till extrema P2BB-resultat. Detta understryker vikten av att även kontrollera genomsnittliga KPI:er. Du kanske har en tydlig indikation på en vinnare från P2BB, men den är förknippad med en KPI-skillnad som knappt påverkar ditt resultat. 

För det tredje, se upp för överanalysering. Testningsverktyg gör det möjligt att utvärdera resultaten från experimentet. Det är därför naturligt att regelbundet kontrollera om de datainsikter som samlats in hittills pekar ut en vinnare. P2BB kommer att variera under experimentets gång, vilket återspeglar variationen i besöksresultaten. Om du kontrollerar ”current P2BB” varje timme i ett två veckor långt A/A-test blir det mer än 300 P2BB-värden. Vissa kan ligga nära 1; andra kan ligga nära 0. En vanlig, men riskabel, praxis är att stoppa ett test så snart P2BB första gången överskrider ett tröskelvärde (till exempel sjunker under 0,05 eller stiger över 0,95). Varför är det riskabelt? Eftersom det inte är särskilt förvånande att det mest extrema timvärdet för P2BB kommer att korsa en av dessa gränser. Att till exempel uppnå ett slutligt P2BB under 0,05 inträffar i ungefär 5 % av era A/A-tester. Men att få bara ett enda P2BB-resultat under 0,05 kommer att inträffa mycket oftare. Datatittande kan i händelse av bristande planering avsevärt blåsa upp era falska vinnartal. Ni bör enbart använda det slutliga P2BB-värdet (vilket innebär att ni har samlat in de erforderliga datainsikterna i förhållande till urvalsstorleken) tillsammans med de genomsnittliga nyckeltalen för att utvärdera ert system.

Vidare, om du vill kontrollera motorn noggrant bör du köra flera A/A-tester. Vi vet alla att det är farligt att dra för många sluksatser baserat på ett urval med storleken 1. De resulterande slutliga P2BB-värdena bör vara ”utspridda” mellan 0 och 1.

När ett stort urval leder till en extrem P2BB tillsammans med en liten skillnad i genomsnittliga KPI:er kan det vara till hjälp att utföra en mer förfinad analys som speglar affärspåverkan av jämförelsen. Överväg att definiera en minimal kritisk skillnad i KPI:er som har en inverkan på er verksamhet. Du kanske till exempel bestämmer dig för att en skillnad på mindre än 0,5 % mellan två konkurrerande varianter inte motiverar en ändring. I så fall kan du använda den bayesianska analysen för att dela upp sammanfattningen av ett A/B-test i tre skilda utfall: B är bättre, B är sämre eller B är densamma som A (till exempel om skillnaden är mindre än den kritiska marginalen). För A/A-tester märker man ofta att det tredje alternativet har hög sannolikhet, vilket innebär att du har starka belägg för att det inte finns någon meningsfull skillnad mellan de två varianterna.

Man bör också vara medveten om komplexiteten i att lägga till flera varianter – när det inte är A/B, utan A, B ett, B två, B tre, B fyra. Så om vi har A och fyra varianter vill vi visa vilken som är bäst, att de är bättre än A och plocka ut de två bästa. Testningsarbetet är inte svårare att utföra, men designen och analysen av kombinationer kräver lite mer när det gäller att introducera dessa alternativ.

Idén med ett A/A-test är att tillhandahålla en realistisk genomgång av systemet. Du vill vara säker på att ungefär hälften av besökarna fördelas på varje alternativ för att kontrollera att KPI:erna ligger nära varandra och att P2BB inte utser en klar vinnare.  

• Datatypen (binär, som CTR; kontinuerlig, som intäkt)
• Den aktuella prestandan
• Den prestandanivå som skulle innebära en avsevärd förbättring
• För kontinuerliga KPI:er, omfattningen av variationen mellan besökare

Nedan utvecklar vi var och en av dessa och belyser med ett exempel. 

Typen av datainsikt är viktig eftersom olika formler för urvalsstorlek är relevanta för var och en. Den aktuella prestandan måste vara känd eller uppskattad. Urvalsstorleken ställs alltid in med målet att identifiera en viss nivå av förändring. För ett A/B-test kan du ställa in den avsedda förbättringen så att den matchar dina förväntningar från den nya testsidan. Det tillvägagångssättet fungerar inte för ett A/A-test, där båda versionerna bör ha samma KPI. 

Istället rekommenderar vi att du ställer in ditt målmått så att det motsvarar den nivå av betydelse som du ser som en förbättring. Med ett nyckeltal (KPI) på 0,010 kan till exempel en ökning med 10 % till 0,011 vara din tröskelvärde för stora. Om din genomsnittliga intäkt är 1 $ per besökare kan en ökning på bara 3 %, till 1,03 $, vara betydelsefull. 

En enkel guide är att ställa frågan: ”Vilken storlek på förbättringen är det vi absolut vill identifiera?” Graden av variation är viktig för kontinuerliga nyckeltal. Vanligtvis är det du vill ha standardavvikelsen (SD) för resultatet bland dem som är konverterare. 

Det är värt att notera att samma indata är relevanta för ett A/B-test och används på i stort sett samma sätt. Men det finns en skillnad – syftet med ett A/B-test är att hitta en skillnad, så det är uppenbarligen viktigt att ge en nästan fullständig garanti för att viktiga skillnader upptäcks. Det skarpare fokuset uppnår vi genom att öka urvalsstorlekarna. I ett A/A-test är dock målet att kontrollera systemet. Det finns inget behov av den noggranna jämförelsen i ett A/B-test, så vi använder ett mindre stringent kriterium för fokus, vilket leder till mindre urvalsstorlekar.

Vidare rekommenderar vi att du kör ett A/B-test under minst en fullständig tidscykel. Om besökare på vardagar föredrar A men helgbesökare föredrar B vill vi ha insikter om båda dessa segment innan vi fattar ett beslut. Med ett A/A-test finns det ingen oro för att preferenserna för det ena alternativet framför det andra kommer att förändras över tid, så det finns inget behov av att köra ett test under en fullständig cykel. Om du kör flera A/A-tester på samma upplevelse är det en god idé att sprida ut dem över tid så att du får se motorn i drift under en fullständig tidscykel.

Vi kan illustrera de här idéerna med ett exempel. 

Anta att din nuvarande CTR är 0,0060. En förbättring till 0,0065 skulle vara viktig. Testet bör inkludera 191 000 besökare för var och en av de två alternativen.

Beräkningen bör vägas med praktiskt omdöme. Om du beräknar en urvalsstorlek som tar veckor att uppnå är den avsedda förbättringen, även om det rör sig om en viktig vinst, förmodligen för svår att uppnå. I så fall bör du återställa det så att ditt A/A-test inte körs i mer än två veckor.