Optimeringanalysens roll vid experiment

I dag räcker det inte med att bara vara insatt i analys. Du behöver förstå hur du använder analys för att lösa de specifika affärsproblem som du ansvarar för. Vi som verkar i den digitala världen kanske alla använder samma verktyg – Google Analytics, Adobe eller någon annan stack – men vi använder dem på väldigt specifika sätt för helt olika syften. Nyanserna är avgörande.

SEO-team är sannolikt extremt fokuserade på sökord och avvisningsfrekvenser, medan annonseringsteam tittar på visningar, kostnader och klickfrekvenser. Innehållsteam ägnar uppmärksamhet åt sessionsmått och sidvisningar, och webbutvecklingsteamet håller ett öga på sidhastighet och prestanda.

Dessa team drar olika insikter från samma datainsamling, vilket skapar splittrade subkulturer för dataanalys, och experimentteamen är inget undantag. Om du leder experiment på din organisations webbplats eller i din produkt måste du anlägga ett särskilt perspektiv på dataanalys för att kunna besvara de typer av frågor som en experimentroll ställer.

I det här inlägget kommer jag att guida dig genom experimentets tre faser – från idé till genomförande och analys – och belysa hur analys och data kan stödja din process för att optimera upplevelsen i varje skede.

Detta inkluderar:

• Så här använder du analysdata för att generera och validera en evidensbaserad hypotes
• Hur man mäter experiment för att få insikter utöver vinster och förluster, och
• Slutligen: hur ni för ert experimentprogram framåt.

Observera: Termen ”optimeringsanalys” är ganska bred. Både kvalitativ och kvantitativ analys är nödvändig i ditt optimeringsarbete. Eftersom digital analoga data endast är en komponent i en väl avrundad optimeringsprocess kommer jag dock att fokusera mest på det i det här inlägget.

Först och främst ska vi klargöra vad en analysplattform egentligen är och vad den klarar av. För många människor är deras analysplattform en guldgruva – en skattkammare av data som rymmer hemligheten bakom mer trafik, högre intäkter och större framgång.

I själva verket är din analysplattform som den magiska 8-bollen du hade som barn. Den gör inget värdefullt eller intressant förrän du ställer en meningsfull fråga. Om du planlöst letar efter en insikt i analyserna kommer du sannolikt att sluta utmattad och modfälld.

Ta i stället ett steg tillbaka och fundera på vilka problem du försöker lösa. Du kanske har en magkänsla, eller en lista med frågor eller idéer om din webbplats, din produkt eller dina användare. När du har formulerat de frågorna kan du använda din analysplattform för att antingen bekräfta eller förkasta din magkänsla.

Om data stöder din ursprungliga magkänsla kan detta tyda på en meningsfull insikt och en slagkraftig testidé. Om så inte är fallet kan du ha upptäckt något nytt att fördjupa dig i, eller så har du framgångsrikt satt punkt för en återvändsgränd till idé.

Om du tycker att den här delen är svår är du inte ensam. Det är anledningen till att företag som Google har lanserat Insights-delen av Google Analytics – för att försöka få fart på de faktiska insikterna från datan. Även om de är ganska rudimentära är dessa artificiell intelligens-drivna insikter ett steg i rätt riktning för att få oss att ställa rätt frågor till vår data.

Mina tips för att ställa rätt frågor är att:

• Sätt dig in i dina användares situation,
• Spåra händelser och
• Segment segment segment

Ett av de bästa sätten att hitta en stark idé för ett experiment är att sätta dig in i användarnas situation, särskilt om du är ny i din roll eller på företaget (vilket ger dig ett nytt perspektiv). Bläddra igenom din webbplats eller app som om du vore en ny användare och leta efter friktionspunkter eller möjligheter.

Du kanske arbetar på ett e-handelsföretag och märker att fraktkostnaderna inte visas på varukorgssidan – det kan vara en potentiell källa till frustration för användarna. Nu har du en bra uppsättning frågor att ställa till din analysplattform:

• Hur många användare hoppar fram och tillbaka mellan din kundvagn och den del av din Checkout som innehåller fraktinformationen?
• Hur många personer lämnar därifrån?
• Hur många konverterar?

Du är på väg att identifiera en ny testidé.

En av våra kunder är ett lägenhetsuthyrningsföretag. Deras webbplats gör det möjligt för besökare att bläddra bland hyreshus i sitt område och hitta lediga lägenheter. Om någon hittar en lägenhet som de gillar är det bara att klicka på knappen ”Telefon” eller ”Skicka meddelande” för att kontakta fastigheten och boka en visning eller starta en ansökan. Detta lead är det primära mätvärde som vi optimerar.

Det första steget när vi inledde samarbetet med det här företaget var att besöka deras webbplats och sätta oss in i deras användares situation. Detta gav upphov till en hypotes: Vissa flikar högst upp på sidorna om hyreshuset innehöll värdefullt innehåll som vi ansåg hade större sannolikhet att leda till en konvertering än annat innehåll.

Detta gav oss en fråga att ställa till analysen: Konverterar besökare som har besökt vissa flikar i högre utsträckning än andra? Vi använde data från Google Analytics för att bekräfta vår magkänsla, och visst var det fliken ”Recensioner” som oftast ledde till en potentiell kund från en besökare. (Obs! Fotofliken är öppen som standard när sidan läses in.)

Vår hypotes var enkel: Om flikarna ordnas från vänster till höger efter sannolikhet att leda till en konvertering kommer de mest framgångsrika flikarna att få mer trafik, vilket i slutändan ökar konverteringen. Resultatet? En ökning av antalet leads med +4,93 %.

Om du har testat ett tag kan det här verka självklart. Men jag förvånas ständigt över hur många organisationer som fortfarande inte utnyttjar händelsespårning fullt ut. Om du bygger ett experimentprogram från grunden, eller om du har en redesign eller en ny lansering på gång inom kort, kan du ta dig tid att kartlägga de viktiga åtgärder och händelser som du vill spåra på din webbplats.

Bygg ett ramverk för att organisera och tagga dessa händelser med Google Tag Manager eller Dynamic Tag Manager för enklare exekvering. Engagemang med din navigeringsmeny eller sidfot, klick på uppmaningar till åtgärd (CTA), rullningsdjup, videouppspelningar med mera är värdefulla åtgärder som kan hjälpa dig att upptäcka viktiga insikter baserat på dessa användarbeteenden.

Du kanske tänker: ”Det är det som värmekartor är till för.” Värmekartor visar vad användarna klickar på, men de gör det inte möjligt att segmentera baserat på dessa åtgärder och korsreferera konverteringsgraden.

Föreställ dig att du har en produktsida med en video. Ett värmekarta visar att många av dina användare klickar på videon. Det är faktiskt ett av de element på din sida som engagerar mest. Det logiska nästa steget är att placera ut fler videor på webbplatsen, eller hur?

Vänta lite. Det finns ett antagande inbyggt i den slutsatsen: att videovisningar är korrelerade med konverteringar. Om du spårar videoengagemang i din analysplattform kan du segmentera användare som tittade på videon och de som inte gjorde det, och se vilka som faktiskt konverterade. Du kanske upptäcker, till din förvåning, att de som inte tittar på videon är mer benägna att konvertera. I det här fallet har du en kontraintuitiv testidé: ta bort videon och se vad som händer med din konverteringsgrad.

Händelsespårning kan verka ganska tidskrävande och resurskrävande. Om så är fallet bör du överväga verktyg som Heap eller funktionerna för automatisk händelsespårning i Google Tag Manager för att automatisera en del av arbetet och möjliggöra automatisk insamling av händelsedata.

Om de inte redan är det bör segment vara din bästa vän. Standardrapporter på analysplattformar berättar bara en del av sanningen. Segment kan låsa upp en helt ny värld av outnyttjade insikter, och anpassade segment är ofta en snabbare väg för att besvara en fråga och erbjuda maximal detaljrikedom.

Ett av de mest värdefulla sätten att använda segment på är att få en bättre förståelse för de faktiska användare som besöker sidor på din webbplats.

Analysplattformar rapporterar ofta omväxlande om sessioner, sidvisningar, unika sidvisningar, användare med mera i inbyggda rapporter – som alla har olika definitioner. Många A/B-testverktyg fungerar dock på ”unika besökare”-nivå. Genom att bygga segment baserade på användare kan du mer exakt uppskatta faktorer som målgruppsstorlek, konverteringsgrad och testets varaktighet med hjälp av historiska data från din analysplattform.

Skapa till exempel ett anpassat segment i Google Analytics genom att använda avsnittet ”villkor” på fliken ”avancerade alternativ” och ställ in villkoret för att filtrera användare (inte sessioner) som har besökt en specifik sida – till exempel din startsida.

Du kan sedan använda det segmentet i valfri annan rapport för att analysera beteendet hos användare som har interagerat med startsidan någon gång under sin användarresa. Om du lägger till det här segmentet i målgruppsvyn visas den förväntade målgruppsstorleken. Om du lägger till det i konverteringsvyerna visas hur många konverteringar du kan förvänta dig för ett experiment som riktar sig till startsidan.

En annan mycket användbar komponent är sekvensfliken, som gör det möjligt att bygga upp användarsegment som följer en specifik sökväg och jämföra den resan för att uppskatta målgruppsstorlek eller konverteringsgrad osv. Funktionen för anpassade segment är guld värd när det gäller detaljerade analyser.

Att använda analysverktyg för att ta fram en experimentidé är bara halva jobbet. Att veta vad man ska spåra och hur man mäter resultatet av den idén som har blivit en hypotes är avgörande. För att utvärdera framgång och samla in insikter och lärdomar längs vägen måste du säkerställa att du spårar rätt mätvärden.

Det finns mycket information där ute om det här ämnet, och jag kommer att bryta mönstret kring några av de bästa metoderna. Men den viktigaste lärdomen är denna: Dina experiment är inte bättre än de mätvärden du spårar och det tänkande du lägger ned på dessa mätvärden.

I ett experiment spårar du troligen både primära mätvärden och sekundära mätvärden.

De primära mätvärdena bör vara konsekventa i många, om inte alla, av era experiment. Om ert företag bedriver e-handel kan ert primära mätvärde vara ”intäkt per besökare (RPV)” eller ”transaktioner”. Om ert företag drivs av leads kan det vara ”leads” eller ”kvalificerade försäljnings-leads”; inom SaaS kan det vara ”produktprövningar”.

Ditt primära mätvärde bör vara nära knutet till din verksamhetsresultat och det ska vara mycket svårt att manipulera. Det vill säga, du ska inte lätt kunna påverka ditt primära mätvärde med ett enkelt färgtest för en knapp.

Sekundära mätvärden är ofta mer experimentespecifika och ändras beroende på vad du testar. Du kan använda ett fåtal spärrmått – som ”Besök” eller interaktioner med varje steg i tratten – för att rensa bort eventuellt brus i ditt primära mätvärde. Du kan också spåra engagemangsmått som klick på en uppmaning (CTA) eller besök på en specifik sida som sannolikt påverkas av de ändringar du gör.

Sekundära mätvärden fungerar både som en rimlighetskontroll av ditt primära mätvärde och som ett inlärnings- eller berättelsetillfälle när experimentet avslutas.

Ditt primära mätvärde är din vägledande fyr för beslut om lansering (go/no-go), men det kan inte berätta hela historien på egen hand. Du behöver sekundära mätvärden som hjälper till att förklara varför ditt primära mätvärde gick upp eller ner.

Detta är särskilt viktigt när ett experiment har en negativ inverkan på ditt primära nyckeltal. Det är aldrig enkelt att presentera negativa siffror för din chefen, men det blir mycket enklare om du har stödjande mätvärden som berättar historien om varför och vad som händer härnäst.

Sekundära mätvärden kan ofta visa hur man omvandlar den observerade negativa effekten till ett uppföljningsexperiment eftersom de ger en tydligare bild av varför användarna agerade som de gjorde.

En annan av våra partner är ett e-handelsföretag. En av deras målsidor presterade mycket bra; vi ville testa samma upplevelse på webbplatsens startsida för att se om vi kunde upprepa denna framgång. Varianten hade ett huvudparti (hero section) som matchade utseendet och känslan på den framgångsrika målsidan. Denna förändring ledde dock till en minskning av transaktionerna med 10,6 %.

Om vi bara hade spårat ett enda primärt mätvärde – i det här fallet transaktioner – skulle vi ha stängt detta experiment som en ”förlorare” och gått vidare till en annan idé utan att förstå varför transaktionerna minskade. Som tur var spårade vi sekundära mätvärden.

Bland de sekundära mätvärden som spårades fanns klick på en video med rubriken ”Så fungerar det” som fanns inbäddad i både kontroll- och variantversionen. Det visade sig att klicken på den länken ökade med +153,6 % i varianten! Ett överraskande resultat som väckte vår uppmärksamhet: Tänk om videoinnehållet inte var så hjälpsamt som vi trodde? Tänk om det faktiskt distraherade användarna och skadade konverteringsgraden på webbplatsen? Vi satte igång med att besvara just den frågan genom ett uppföljningsexperiment på företagets produktsidor.

De här sidorna hade en framträdande videolänk i hero-sektionen, liknande den vi hade testat på hemsidan. Vi antog att vi genom att minska dess synlighet och därmed användarnas engagemang i videon samt ersätta den visuella ytan med ett statiskt värdeerbjudande kunde öka konverteringsgraden på dessa sidor. Det visade sig att upplevelsen med den mindre framträdande videon ledde till en minskning av videovisningarna med 29,4 % och en ökning av antalet transaktioner med 33 %.

Den rådande uppfattningen inom experiment och statistik är att ju fler mätvärden du spårar, desto mindre tillförlitliga är dina resultat, främst på grund av problemet med flera jämförelser.

Verkligheten är att även om detta stämmer i konventionell statistik har de flesta experimentplattformar anpassat sina statistiska modeller för att kompensera för detta. Detta innebär att ditt primära mätvärde beaktas i ett nästan totalt vakuum och inte kommer att påverkas av ytterligare mätvärden som du spårar i analys- och inlärningssyfte.

Jag vill också påpeka att våra experiment i de flesta fall inte handlar om liv eller död. Statistiken som har tagits fram för att stödja A/B-testning har djupt rotade anor i kliniska prövningar där insatserna är mycket höga och felmarginalen måste vara mikroskopisk.

Om du inte experimenterar med något i stil med en radikal förändring av din kärnaffärsstrategi eller prismodell är det osannolikt att dina ändringar kräver den här nivån av matematisk granskning. Fördelen med att lära sig av utvecklingen i dina extra mätvärden uppväger sannolikt eventuella negativa effekter de kan ha på tillförlitligheten hos ditt slutresultat.

Hur mycket jag än har pratat om att det är viktigt att definiera rätt mätvärden från början är verkligheten den att man inte alltid lyckas med det.

Ofta skiljer sig våra antaganden om hur användare kommer att interagera med en upplevelse kraftigt från verkligheten. Ibland ser man extrema svängningar i den ena eller andra riktningen som ligger långt från det förväntade resultatet, och inga av dina sekundära mätvärden eller skyddsnät förklarar varför.

Det är därför det är så viktigt att integrera er experimentplattform med er analysplattform. Och om du följer mitt tidigare råd och konfigurerar din händelsespårning först har du bättre förutsättningar att omvandla ett förvirrande resultat till en insikt.

Du kanske till exempel upptäcker att en ändring i ditt experiment ledde till en oväntad ökning av trafiken till en sida som du inte hade tänkt spåra i förväg. När din testplattform är integrerad med din analysplattform kan du använda all data som redan samlas in och jämföra den mellan dina varianter för att förklara dessa oväntade resultat.

Resultatanalys är en viktig del av ett hållbart experimentprogram. Även här gör analysen det möjligt att utvärdera experimentets framgång utifrån dina mål. Du bör kunna visa på effekterna av dina insatser och ta del av nya insikter för att generera en kontinuerlig ström av experimentidéer.

Du måste naturligtvis avgöra om dina experiment presterar bättre (eller sämre) än baslinjen. Hur du gör det beror till stor del på din specifika miljö och de mätvärden som du identifierade före experimentet.

I en perfekt värld skulle du rulla ut variationen som den nya upplevelsen om du såg din primära mätvärdesökning; och om du såg den minska skulle du hålla dig till kontrollen. Vi har inte lyxen av en perfekt värld, det är därför vi optimerar!

I den verkliga världen – särskilt om du tillhör en större organisation eller har en längre konverteringstratt – kan det vara svårt att uppnå en materiell, mätbar effekt på din primära mätvärde i varje skede av tratten.

Det är inte ovanligt att hamna i en situation där ditt primära nyckeltal ser oförändrat ut, men du ser god utveckling kring dina sekundära nyckeltal. I vissa av dessa fall kanske du vill gå vidare med varianten av andra anledningar än enbart en ökning av ditt primära nyckeltal. Experiment som är neutrala (även sådana som misslyckas) kan fortfarande vara vinnare.

Föreställ dig till exempel att du arbetar på ett e-handelsföretag och nyligen har kört ett experiment på startsidan som introducerar en ny sektion med utvalda produkter. Du märker att transaktionerna är oförändrade vid slutet av experimentet, men att engagemanget för de utvalda produkterna är högt och att trafiken till dessa specifika produktsidor också ökar.

Ni har lyckats introducera ett nytt kampanjområde på webbplatsens startsida som inte skadar transaktionerna och som skapar en möjlighet att lyfta fram produkter som kan ha högt affärsvärde av andra skäl. Ni har också ett nytt kampanjverktyg att experimentera med. Kanske kommer andra iterationer av det här området att öka konverteringsgraden med rätt utvalda produkter eller budskap.

Att uppskatta effekten av dina experiment är avgörande för att få och behålla intressenternas stöd, bevisa programmets värde och säkerställa att dina initiativ behåller den budget de förtjänar.

Du ansvarar sannolikt för vissa KPI:er. Du behöver visa att dina experiment påverkar dessa KPI:er och företagets resultat. Målet med att förutse effekten av dina experiment är att bevisa avkastningen på investeringen (ROI) för dina initiativ och experiment samt visa deras långsiktiga värde och effekt.

Det vanliga tillvägagångssättet för dessa prognoser är att ta experimentets observerade ökning och projicera den över en tidsperiod, vanligen 12 månader, för att visa hur mycket extra intäkt eller hur många extra konverteringar, leads eller transaktioner experimentet potentiellt skulle kunna generera om det skulle Become det nya riktmärket den dag experimentet avslutades.

Låt oss titta på ett enkelt exempel för att förtydliga det konceptet. Anta att du kör ett experiment med en variant och en kontrollgrupp i fyra veckor. Din variant resulterar i en ökning av transaktionerna med 5 % vid 95 % konfidensgrad. Härligt! Men nu måste du på ett mer konkret sätt visa vad den observerade ökningen på 5 % innebär för verksamheten.

Under de fyra veckorna fick ditt experiment totalt 200 000 besökare: 100 000 i kontrollgruppen och 100 000 i variationsgruppen. 9 500 personer konverterade i kontrollgruppen och 10 000 personer konverterade i din variationsgrupp, vilket motsvarar en ökning på 5 %. Du kan använda två metoder för att beräkna experimentets effekt:

1. Använd enbart experimentdata, eller
2. Använd experimentdata i kombination med historiska data

I den första metoden baserar du din prognos enbart på de data som observerats under experimentet. Du tar inte hänsyn till långsiktiga säsongsvariationer eller potentiella externa faktorer utanför experimentets varaktighet.

Med den här metoden projicerar du trafikvolymen under experimentet över hela 52 veckor:

Då skulle du beräkna skillnaden mellan konverteringsgraden för kontrollgruppen och konverteringsgraden för variantgruppen för dessa årliga besökare:

De 13 000 är de uppskattade extra konverteringarna som du kan förvänta dig baserat på den observerade ökningen på 5 % under experimentet.

Om du vet att ditt genomsnittliga ordervärde till exempel är 100 USD kan du ta det ett steg längre för att beräkna uppskattade extra årliga intäkter:

Att använda historiska data är ett annat tillvägagångssätt, som kan vara mer exakt för din verksamhet om du har en betydande säsongsvariation som experimentet inte fångade upp. Med detta tillvägagångssätt hämtar du in de föregående 12 månadernas trafik och konverteringar för den eller de sidor som experimentet var inriktat på, och använder dessa siffror i samma beräkningar för ”observerad ökning” som ovan.

I stället för 2 600 000 årliga användare och 247 000 konverteringar kan du upptäcka att sidan faktiskt hade 3 200 000 besökare under de senaste 12 månaderna och 270 000 konverteringar på grund av perioder med högre trafik som inte räknades med under experimentet.

Ingen av dessa beräkningar är perfekta, vilket är anledningen till att det är viktigt att märka dem som prognoser och uppskattningar, men de hjälper dig att visa ett mer konkret resultat av ditt arbete i siffror som kan tilltala dem högre upp i organisationen mer.

Slutligen är det just det här med att upptäcka nya insikter som allt handlar om. Ett primärt mål med marknadsföringsexperiment är naturligtvis att förbättra intäkterna och öka konverteringsgraden, men insikter är nyckeln till verklig, långsiktig framgång.

”Insiktsdrivna företag tar in insikter, inte bara data, i varje beslut, och de vet exakt hur de ska använda dem för att få största möjliga fördel under hela kundresan. För dessa företag är digitala insikter och vad de gör med dem deras hemliga vapen för att slå ut din marknad och stjäla dina kunder.”

— Brian Hopkins, Ted Schadler och James McCormick, författare till Forresters rapport The Insights-Driven Business

Taktiken och förslagen som beskrivs ovan hjälper dig att lägga en grund för att börja upptäcka dessa insikter, men det är viktigt att komma ihåg att dina verktyg inte kan göra detta åt dig. Du kommer bara att upptäcka kärninsikter om du lägger ner ansträngningen på att ställa rätt frågor och samla in rätt data för att besvara dem.

Om du tar steget in i optimeringsanalysens värld kan du ansluta dig till de insiktsdrivna företag som ligger i framkant inom sina branscher eller utmanar andra.