Välja rätt trafikfördelning vid A/B-testning

När du sätter upp ett A/B/n-test med flera varianter är det viktigt att bestämma hur du vill att trafiken ska fördelas mellan varianterna. Beteendet för varje alternativ för trafikfördelning är följande:

Kort sagt: vid manuell fördelning delas trafiken jämnt mellan variationer tills en enda vinnare har utsetts. I praktiken ett A/B/n-test där antagandet är att testadministratören, när resultaten väl är signifikanta, enbart tilldelar den bästa variationen till alla besökare.

Om du till exempel lanserar ett test med fyra variationer kan du bestämma att alla variationer ska ha lika stor exponering, det vill säga 25 % av trafiken var. Alternativt kan du prioritera vissa variationer framför andra och välja valfri annan kombination av tilldelningsgrader som uppgår till 100 %, till exempel 50/20/20/10.

Manuella fördelningstest är per definition test mellan varianter (och en kontrollgrupp, om tillämpligt) där en variant slutligen utses till vinnare med hög konfidensgrad.

Med automatisk tilldelning (även kallad dynamisk tilldelning eller ”multi-armed bandit”-metoden) visas variationen med bäst resultat gradvis för en större procentandel besökare i takt med att mer data samlas in. Med tiden dirigerar systemet dynamiskt trafiken till den variation som presterar bäst baserat på tillgänglig data. Detta innebär att även om variant A presterar bäst i dag, kan en annan variant potentiellt prestera bättre om en månad.

Följande diagram illustrerar skillnaden i beteende mellan manuell och anpassad trafikfördelning under ett pågående experiment mellan två varianter, där ett beslut krävs senast den åttonde dagen:

Var och en av metoderna för trafikfördelning är optimerad för olika användningsfall. Ställ dig själv frågan vilket av följande påståenden som bäst beskriver det aktuella användningsfallet:

1. Jag letar efter den bästa varianten så att jag kan visa den för alla användare på sikt. I det här fallet väljer du manuell tilldelning. 
   Exempel på användningsfall: Layout- och UX-ändringar.
2. Jag vill få ut så mycket som möjligt av flera varianter under den begränsade tid som testet körs. I det här fallet väljer du automatisk tilldelning. 
   Exempel på användningsfall: Kampanjer på huvudbannern.

Manuell allokering bör användas när statistiskt signifikanta resultat krävs för att fatta beslut om att genomföra en kraftig permanent förändring av webbplatsen, och tid inte är en kritisk faktor. Manuella allokeringstester kan köras så länge som krävs för att samla in data som leder till mycket definitiva och statistiskt signifikanta resultat.

Baksidan av sådana tester är att man, medan man väntar på signifikanta resultat – vilket kan ta tid – inte drar nytta av de insamlade data. Besökare kommer fortfarande att exponeras för de mindre presterande varianterna i mixen. I de fall där kampanjvariationer uppdateras ofta kanske det inte ens finns tillräckligt med tid för att nå betydande resultat, vilket gör att eventuella optimeringsmöjligheter går förlorade.

Om du hanterar kampanjer där variationerna har en kort livslängd, eller om de ändras och uppdateras ofta, är multi-armed bandit det optimala tillvägagångssättet. Automatisk allokering har en mycket högre utnyttjandegrad av tillgängliga data och är betydligt mer aggressiv vid beslutsfattande kring trafikfördelning. Den automatiska allokeringen vet hur den ska väga in nya variationer, variationer med annorlunda prestanda, olika tidsperioder med mera.

A/B-testning och optimering bör ses i ett tidsperspektiv – antingen har du tid eller så har du det inte. För att förklara det lite mer noggrant: när man vill testa effekten av en långsiktig förändring, som en ny sidlayout eller, i det här inlägget, ett meddelande för att samla in e-postadresser, vill man inte fatta ett förhastat stort eller strategiskt beslut utan data som stöder det. Att göra det kan få stora konsekvenser för nyckeltal och den övergripande kundupplevelsen.

Med utgångspunkt i detta skulle ett test behöva samla in tillräckligt med data om variationen för att teamet med säkerhet ska kunna utse en vinnare – en process som kan ta minst två veckor. I det här caset, om ett företag har lyxen att kunna vänta på statistiskt signifikanta resultat, är ett A/B-test idealiskt.

Men vad händer om livslängden för en variation är kort och det inte finns tid att vänta på en vinnare? I ett scenario där en stor rubrikbanner ändras varje vecka, till exempel under en rea, är det huvudsakliga målet att öka ett visst KPI genom att engagera användarna med den variant som presterar bäst.

Att skicka trafik till en variant som presterar sämre minskar därför faktiskt klickfrekvensen (CTR), konverteringarna eller vilket annat primärt mätvärde som helst som används för att mäta testets framgång. Det här är exakt varför automatisk tilldelning passar så bra för kortsiktiga beslut, eftersom den variation som ger bäst resultat visas oftare, vilket gör att team kan optimera konverteringar mycket snabbare.

Vi kan se dynamisk allokering i termer av utforskning versus exploatering (Explore vs. Exploit), vilket tar upp hur mycket som ”slösas bort” på att lära sig och möjligheten att kapitalisera på det som redan har lärts in. Eftersom 10 % av trafiken i dynamisk allokering alltid skickas till en slumpmässig variant och 90 % till vinnaren, gör 10/90-förhållandet för Explore och Exploit att trafik kan dirigeras till den ledande varianten medan algoritmen fortsätter att lära sig om ”förlorande” varianter, vilket gör att de kan återhämta sig.

Slutligen ger de två tillgängliga metoderna för trafikallokering företag flexibiliteten att skaffa den information som krävs för ett sunt och långsiktigt beslutsfattande samt möjligheten att optimera i farten. Det är inte en fråga om det ena eller det andra; både manuell och dynamisk allokering bör användas för testning, och förhoppningsvis har den här artikeln bidragit till att klargöra exakt när det bör göras.