Det rätta och felaktiga sättet att göra A/B-testning av e-post

Stoppa mig om du har hört den förut. 

För att få ut så mycket som möjligt av din e-postlista vill du börja A/B-testa. Och med bara några små justeringar av ämnesraderna, layouterna och brödtexten kommer dina e-postmeddelanden att börja generera resultat som du aldrig trodde var möjliga. 

Det här är de viktigaste argumenten du kommer att höra från e-postleverantörer (ESP) och leverantörer av marknadsföringsautomation när de subtilt försöker få dig att köpa deras tilläggsmoduler för A/B-testning av e-post. 

Tyvärr har jag dåliga nyheter – det mesta av programvaran för A/B-testning av e-post har potential att vilseleda dig och snedvrida dina resultat. 

Sannolikheten är stor att din e-postmarknadsföringsprogramvara åtminstone har försökt sälja in idén om att de har bra verktyg för A/B-testning av e-post. En snabb titt under huven avslöjar dock att dessa ”tester” inte alltid är vad de utger sig för att vara. Kombinera dålig statistisk metodik med svag programvara och du kan få missvisande resultat. 

De flesta marknadsförare är imponerade av (och sålda på) en funktion där du kan köra ett test med ett litet urval av din fullständiga e-postlista. Det kör testet tills en av de två varianterna uppnår majoritet vad gäller till exempel öppenhetsgrad, och förklarar sedan det e-postmeddelandet som vinnare i A/B-testet. Vid det laget distribueras det vinnande e-postmeddelandet automatiskt till resten av din lista. Det låter enkelt nog, men ur ett statistiskt perspektiv är detta en hemsk idé.

Problemet är bristande statistisk signifikans. Du kanske undrar: ”statistiskt vad?” 

Kort sagt är statistisk signifikans sannolikheten för att ett experiment inte beror på slumpen, är helt meningslöst eller helt enkelt är helt felaktigt. 

För att uppnå en godtagbar nivå av statistisk signifikans måste ett datamängd vara tillräckligt stort, och generellt gäller att ju mindre effekt som mäts, desto större behöver datamängden vara. 

Statistisk signifikans mäts i form av % konfidens eller det som kallas ett p-värde. Låt oss till exempel säga att du vill vara 95 % säker på att ändringen du gör i dina e-postmeddelanden kommer att få en positiv effekt. Sedan vill du se testresultat som visar en konfidensgrad på 95 % eller ett p-värde på 5 %. 

Låt oss till exempel säga att du har ett segment på 4 000 personer och bestämmer dig för att köra ett A/B-test mellan två ämnesradrer: 

[Rea] Få våra produkter till 50 % rabatt 

Vs 

REA: Få våra produkter med 50 % rabatt 

Ämnesraden med klamrar öppnas av 265 personer, medan versionen utan klamrar öppnas av 250 personer. Det motsvarar en öppningsfrekvens på respektive 13,25 % och 12,5 %. 

So, the bracket subject line with a 13,25 % open rate is the winner, right?  

Enligt de flesta e-postleverantörer är detta vinnaren och den bör automatiskt distribueras till resten av din lista. 

Men om du kör dessa siffror genom en miniräknare för statistisk signifikans ser du att det bara är 76 % säkerhet för att A är en förbättring jämfört med B. Det motsvarar ett p-värde på hela 24 %. 

Med andra ord: om du automatiskt skickar ”vinnaren” till resten av din lista är det 25 % risken att du faktiskt skadar dina svarsfrekvenser. 

Och det är därför det är så farligt när A/B-testningsverktyg inte tar hänsyn till statistisk signifikans. Det ”vinnande” e-postmeddelandet är det med högst öppningsfrekvens, och det skickas automatiskt ut till resten av din lista. Ett mer sofistikerat test kan avslöja att det vinnande e-postmeddelandet faktiskt presterar långt sämre, men det finns inget sätt att veta det med de flesta av dessa system. Själva programvaran möjliggör och rationaliserar dåligt beslutsfattande. 

Det kan verka märkligt att en ESP aktivt skulle marknadsföra denna typ av bristfällig testning. De flesta ESP:er och leverantörer av automatiserad marknadsföring fokuserar inte på att tillhandahålla de bästa e-posttestningsverktygen. Generellt sett har deras kunder små e-postlistor. Dessa kunder har hört att e-postmarknadsföring är viktigt, och som ett resultat är det ganska enkelt att sälja in en e-posttestprodukt till dem – de flesta vet inte ens att de borde leta efter statistisk signifikans. Så länge programvaran genererar ett ”vinnande” och ett ”förlorande” resultat kommer de flesta av deras användare att acceptera dessa resultat som meningsfulla, eftersom det de egentligen letar efter är vilket resultat som helst. 

Tänk så här: När du som marknadsförare utför A/B-tester är uppgiften att generera insikter. Och alla resultat, oavsett om de är vinnare eller förlorare, ger insikter. Men ett ofullständigt resultat? Om det händer för ofta slutar du göra A/B-tester och därmed också att betala för tillägget för A/B-testning. 

De flesta av dessa programvaruleverantörer vet därför att alla resultat är bättre än inga resultat (eftersom det känns som att man gör framsteg). Dessutom räknar de med att de flesta marknadsförare inte är skolade i statistik. Nettoresultat? Det är som att gå till ett casino där man alltid vinner, vilket gör att man återvänder. 

Nästa fråga är hur du får verkliga resultat från din programvara för A/B-testning av e-post. 

För det första: om din e-postmarknadsföringsplattform inte har något mått på statistisk signifikans måste du mata in dina resultat i en oberoende kalkylator för statistisk signifikans.

Ställ näst intill aldrig in er e-postmarknadsföringsprogramvara på att automatiskt distribuera "vinnare". Detta måste göras manuellt.

Och sanningen är att det rent realistiskt kan vara svårt att få ut något meningsfullt av ett test med en lista på färre än 50 000 personer. Öppningsfrekvensen kommer bara att vara en bråkdel av den totala summan – 10 % är typiskt – vilket ger totalt cirka 5 000 svar. Om det är ett äkta 50/50-test kommer eventuella skillnader mellan de två varianterna sannolikt att ligga väl inom felmarginalen i den skalan.

Det är inte så att du inte kan testa 50 000 e-postadresser; det är bara det att själva testet kanske inte ger statistiskt signifikanta resultat. För att se meningsfulla resultat kan du behöva köra ett visst test flera gånger. Det här tillvägagångssättet har sina problem – de flesta statistiker drar sig för idén – men det finns ett sätt att göra detta på som fungerar.

Upprepade A/B-tester via e-post är som mest effektiva när de används för att utforska tematiska koncept eller breda kategorier. Du vill förmodligen inte testa samma två ämnesrader om och om igen, men du kan testa liknande typer av ämnesrader. Till exempel:

• Ökar emojis i ämnesraden öppningsfrekvensen?
• Ökar parenteser som [Rea!] eller [Specialerbjudande] öppningsfrekvensen?
• Kommer öppningsfrekvensen att öka om vissa ord FRAMHÅVS med versaler?
• Ökar öppningsfrekvensen om man använder mottagarens förnamn?

Detta är generella koncept som är enkla att tillämpa på flera tester, och resultaten bör vara relativt konsekventa över dessa tester. Genom att aggregera resultaten går det att avgöra vilka strategier som fungerar bäst respektive sämst, även med en relativt liten e-postlista.

Även om det är möjligt att A/B-testa alla aspekter av dina e-postmeddelanden rekommenderar jag också att du lägger det mesta krutet på ämnesraden. Om din lista är liten är det ditt bästa alternativ för att snabbt generera meningsfulla resultat. Med anledning av att en öppningsfrekvens kan vara 20 % är den typiska klickfrekvensen snarare 2,5 %. Det mindre urvalet för klickfrekvensen gör det mycket svårare att uppnå statistisk signifikans.

På samma sätt vill många företag testa e-postmeddelanden som leder direkt till köp. Denna typ av testning är ännu mer komplex och har en mycket lägre aktivitetsgrad än klick. För att generera statistiskt säkerställda resultat behöver du en enorm e-postlista.

Här är ett bra tips: Fokusera på att öka din öppningsfrekvens först. Du måste vara försiktig med det här tillvägagångssättet eftersom det också är samma grundläggande strategi som spammare och bedragare använder. Så länge du gör det på ett ettiskt sätt kan det dock vara en mycket effektiv metod för att öka din öppningsfrekvens. Generellt sett gäller att ju fler som öppnar dina e-postmeddelanden, desto högre blir dina klick- och köpfrekvenser.

Enligt min erfarenhet är de ”bästa” ämnesraderna de som – utan att vara vilseledande – väcker läsarens nyfikenhet. De brukar också vara något vaga …

Ett bra exempel på detta skulle vara att ändra en ämnesrad från ”Kort fråga om dina sociala medier” till ”Kort fråga”.

Det kommer att bli en del motreaktioner mot en sådan ämnesrad, och du kan till och med förlora några prenumeranter på grund av den. De förlusterna kommer mer än väl att uppvägas av antalet personer som öppnar e-postmeddelandet och först därefter övertalas att klicka vidare. Det gör strategin idealisk för att få in fler personer i tratten så effektivt som möjligt.

När människor börjar testa e-post tar det inte lång tid förrän de plockar de lågt hängande frukterna. Det är enkelt att justera ämnesraderna och öka öppningsfrekvensen med 5 % i början. Med tiden börjar dock dina tester att become mindre spännande och ger ofta förbättringar på 1 % eller mindre. Detta kan leda till en inställning som ”När ska vi bli klara med allt det här A/B-testandet?” ”När kommer vi på exakt vad vi ska lägga i e-postmeddelandet för att få det att fungera?”

A/B-testning handlar egentligen inte om att bli ”klar”. Det finns ingen perfekt strategi, inget perfekt verktyg och inget perfekt vapen. Framgång beror alltid på kontexten, och målet bör vara att skapa en varierad arsenal av tekniker som ger dig det bästa alternativet i en given situation.