Den komplexa karaktären hos att köra multivariata tester

Många tror att multivariat testning är den ultimata lösningen för att optimera ett otaligt antal kombinationer av webbplatselement, men det ligger mer bakom än vad som syns vid en första anblick. I det här inlägget tar vi upp hur den komplexa karaktären hos multivariata tester gör dem opraktiska och varför smartare A/B-testning faktiskt är den bästa möjliga lösningen för att få resultat.

Om du vill bygga en webbplats som är utöver det vanliga – en som både drar till sig tillfälliga besökares uppmärksamhet och snabbt förvandlar deras nyfikenhet till CTA-klick och konverteringar – räcker det inte med en enbart iögonfallande design. Du behöver testa allt, från bakgrundsfärger till placeringen av dina formulär, för att se vilka element som ger bäst resultat.

Det kan till och med vara frestande att testa alla dessa element samtidigt. Varför besvära sig med att A/B-testa varje enskilt element när man bara kan köra ett komplext, allt-i-allo-multivariattest för allt, eller hur?

Inte så fort.

Jag har gjort många multivariata tester genom åren, och resultaten har aldrig – någonsin – varit värda ansträngningen.

Vad är egentligen multivariat testning, och varför är det så dåligt? För att svara på de frågorna behöver vi börja med en kort resumé av A/B-testning.

A/B-testning är precis vad det låter som. Det finns en ”A”-version av en sida med ett design- eller innhållselement och en ”B”-version som har en variation av samma element. Genom att testköra dessa sidor mot varandra kan du enkelt se vilken som presterar bäst. Med A/B-testning kan du snabbt och enkelt testa dessa variationer. Genererar webbplatsen fler konverteringar med en ljust blå bakgrund eller en medelgrå? Ju fler enskilda element du testar – knappfärg, rubrikplacering, bilder – desto mer information får du för att skapa webbplatsen med bäst prestanda.

Multivariat testning fungerar å andra sidan genom att testa prestandan för varje möjlig kombination av de element du vill testa, och det samtidigt. Efter att ha kört ett multivariat test har du massor av data om vilka kombinationer som presterar bäst. Detta kan verka som en bra genväg, men i praktiken är det oftast slöseri med tid.

Ett av de allra första experiment som jag utförde handlade om en djupdykning i multivariat testning, och problemen var uppenbara från början. Jag använde Googles Website Optimizer – en tidig version av deras experimentverktyg – och det var mer än tillräckligt kraftfullt för att hantera alla tester jag kunde drömma om. Varför inte börja med ett multivariat test?

Jag hade tre olika sidlayouter, med tre olika färguppsättningar och tre unika rubriker. När det gäller multivariata tester var detta enkla grejer. Det enda jag behövde göra var att starta testet och låta Website Optimizer undersöka webbplatsens trafik för att ge mig en uppskattning av hur lång tid testet skulle ta att slutföra.

Jag fick svar mycket snabbt: vid nuvarande trafikutveckling skulle det ta lite mer än 53 år att slutföra.

Först trodde jag att jag hade gjort ett misstag, men det hade jag inte. Webbplatsen jag arbetade med hade helt enkelt inte tillräckligt med trafik. Om jag ville se meningsfulla resultat skulle jag antingen behöva några miljoner fler webbplatsbesök eller ett mindre komplext test.

Sedan den där ödmjukande första upplevelsen har jag arbetat en hel del med multivariat testning. Jag har använt det för att testa mycket komplexa webbplatser med otroliga trafikvolymer, samt för mindre projekt där multivariata tester tog smärtsamt lång tid att slutföra. Med några få undantag är multivariat testning helt enkelt inte värt det.

Faktum är att jag känner till fem starka skäl till varför du bör undvika multivariat testning när det är möjligt.

Det stämmer att multivariat testning är ett mycket avancerat verktyg. Ett enda multivariat test kan besvara dussintals frågor på en och samma gång, medan ett A/B-test bara kan besvara en fråga i taget. Men bara för att ett test är komplext betyder det inte att det är bättre, eller att den genererade datan är mer användbar.

Multivariattester har fem stora problem vid praktisk användning. Låt oss ta en titt på dem.

Multivariatestestning kräver enorma mängder indata, vilket innebär att det bara fungerar bra när webbplatsen redan har mycket trafik. Hur mycket trafik? Det beror på testet, men enligt min erfarenhet handlar det alltid om ett absurt högt antal besök. Ju mer komplext testet är, desto fler besökare – och mer tid – krävs för att generera resultat.

En av sakerna som gör A/B-testning så tilltalande är att själva testerna är enkla att konfigurera. När allt kommer omkring ändrar du bara ett element och behåller resten av designen oförändrad. Alla med grundläggande kunskaper i webbdesign kan ställa in enkla A/B-tester, och även komplexa tester kräver sällan mer än några ögonblick av en utvecklares eller webbdesigners tid.

Multivariata tester kräver däremot ofta ganska komplex kodning för att fungera. Även att skapa ett enkelt multivariat test innebär mycket arbete, och det är alltför lätt att det spårar ur. Ett litet misstag i testdesignen kanske inte Become uppenbart förrän det har körts i veckor eller till och med månader. Om du inte har massor av erfarenhet av testning – det vill säga att köra en mängd olika typer av tester på många olika webbplatser – bör du inte ens överväga ett multivariat test.

När du testar en webbplats blir tiden en av dina värdefullaste tillgångar. Multivariata tester är långsamma att ställa in och ännu långsammare att köra. All den förlorade tiden hopar sig och skapar allvarliga alternativkostnader.

Under den tid det tar för dig att få meningsfulla resultat från ett enda multivariat test kan du köra dussintals A/B-tester. Var och ett av dessa A/B-tester ger dig snabbt ett definitivt svar på en specifik fråga, vilket ger dig information som du kan agera på omedelbart.

Om det finns någon tidpunkt för att "flytta fram positionerna och chansa" när du optimerar din webbplats, så är det under testfasen. Det här tillvägagångssättet gör att du snabbt kan lära dig vad som fungerar och inte fungerar, pröva galna idéer och till och med misslyckas spektakulärt utan några verkliga risker. Det här tillvägagångssättet kan vara oerhört effektivt, men det är helt inkompatibelt med multivariat testning.

A/B-testernas iterativa natur är en stor fördel. Varje A/B-test ger ett resultat – även om det inte är slutgiltigt – vilket skapar en serie riktmärken som du kan gå tillbaka till när du finputsar webbplatsens design. Med ett multivariattest har du inte det spåret av brödsmulor att följa. Än värre är att multivariattester är för långsamma och tråkiga för att verkligen motivera att man tar de riskerna till att börja med.

En annan viktig sak att komma ihåg är att multivariat testning ofta ger svar på frågor som egentligen inte är särskilt viktiga. Några av de starkaste förespråkarna för multivariat testning som jag har träffat är UX- och UI-designer. Det här är personer som har läst om de framgångar som stora aktörer som Google och Amazon har haft med multivariat testning av mycket små detaljer, till exempel vilken nyans av blått som genererar bäst presterande sidlänkar. För ett företag som verkar i Googles skala är en ökning med 0,01 % av klickade länkar från en något mörkare blå nyans betydelsefull, men för de flesta webbplatser är det inte särskilt hjälpsam information.

Design är viktigt, men det är inte allt. UI- och UX-element utgör en bråkdel av de variabler du kan använda för att testa prestandan för en webbplats. Du kan lika enkelt testa variationer i webbplatstexten, kampanjerbjudanden och till och med webbplatsens funktionalitet. Det här är element som ofta förbises vid multivariat testning, trots att de kan ha enorm inverkan på konverteringsgrader och andra viktiga mätvärden.

Ett av de största säljargumenten för multivariat testning är att den kan lösa problem som typisk A/B-testning inte kan. I verkligheten är dock de flesta av dessa påståenden antingen kraftigt överdriverade eller helt felaktiga. Med väldigt få undantag är en välplanerad serie A/B-tester precis lika kraftfull – för att inte tala om snabbare – än ett multivariat test.

Låt oss ta itu med de här påståendena ett i taget.

En av de största myterna om multivariat testning är att det är det enda praktiska sättet att testa flera element samtidigt. Det stämmer helt enkelt inte. Det är fullt möjligt att skapa ett mer komplext A/B-liknande test – ett A/B/C- eller A/B/C/D-test – för att väga flera variabler mot varandra. Dessa tar betydligt längre tid att köra än vanliga A/B-tester, men de går avsevärt snabbare än ens ett enkelt multivariat test.

I själva verket är överlappande A/B-test minst lika effektiva. Något som alltid har förvånat mig är uppfattningen att överlappande A/B-test på samma sida på något sätt skulle generera ogiltiga resultat. Statistiskt sett är det inte riktigt så. Om de utförs på rätt sätt är samtidiga A/B-test lika giltiga som alla andra A/B-test.

Tänk dig en webbplats med mycket trafik som vill testa två olika erbjudanden. Det ena erbjudandet gäller en kostnadsfri demo av deras produkt, medan det andra gäller en kostnadsfri 30-dagars provperiod. Samtidigt vill företaget också testa en orange CTA-knapp mot en röd. Ur statistisk synvinkel är det här enkla saker att justera för.

Ett annat påstående som jag har stött på mer än en gång är idén att komplexa A/B-tester på något sätt är svårare att skapa, köra och analysera än multivariata tester. Det stämmer att komplexa A/B-tester kan kräva lite mer planering eftersom de ofta bygger vidare på tidigare resultat, men det betyder inte att ett enskilt test är svindlande komplicerat. Det är inget jag kan säga ens om ett typiskt multivariat test.

Tyvärr är de flesta personer som har till uppgift att skapa och köra dessa tester marknadsförare, och de flesta marknadsförare saknar bakgrund inom statistisk analys. Det är svårt att utforma och tolka dessa sofistikerade tester om man inte förstår metodiken. Detta kan få multivariat testning att framstå som det enklare valet, trots att det ofta är fel verktyg för jobbet.

Detta för mig till mitt största problem med multivariat testning: Det är en i grunden lat lösning. Det finns en föreställning om att allt du behöver göra är att ställa in det perfekta testet och sedan glömma bort det tills resultaten kommer tillbaka med det perfekta svaret. Jag hade precis samma idé när jag körde mitt första Google’s Website Optimizer-test. Jag insåg snabbt att den verkliga världen helt enkelt är alldeles för rörig för att det här tillvägagångssättet ska fungera i praktiken.

Först efter att ha lagt ner betydande ansträngningar på att skapa dessa multivariata tester, och avsevärd tid på att köra dem, vet du ens om du ställer rätt frågor. Gör ett misstag eller utelämna en variabel, och du är tillbaka på ruta ett. Det är en hel del arbete för att hitta rätt teckenstorlek för en rubrik.

Jämförelsevis är A/B-testning enkelt och snabbt. Det kräver dock ett disciplinerat och aktivt tillvägagångssätt för att skapa tydligt definierade testförhållanden som besvarar specifika frågor. Varje A/B-test ger ett svar – även om det svaret är inkonklusivt – vilket bidrar till den växande datamängden. Det gör det betydligt enklare att förfina framtida tester genom att fokusera på specifika segment på ett sätt som skulle vara helt opraktiskt att försöka med multivariat testning.

Jag påstår inte att multivariat testning av webbplatser i grunden är en dålig idé. Det finns situationer – särskilt för stora företag som Google och Amazon – där det till och med kan vara den smartaste och mest kostnadseffektiva lösningen. Men för alla andra är det ofta det sämsta tänkbara sättet att optimera resultaten för en webbplats.