Jak analyzovat personalizační kampaně podle primárních publik

Jakmile začnete testy segmentovat podle hlavních skupin publika, získáte cenné informace o tom, co na určité segmenty platí a co ne. Tyto poznatky vám pomohou vytvořit úplné a detailní povědomí o tom, jak se se svými zákazníky bavit.

Analýza a zaznamenávání poznatků založených na datech v průběhu času nejen posílí tvůj program personalizace, ale také podpoří všechny oblasti tvého podnikání a pomůže ostatním oddělením Become strategic při interakcích s různými skupinami zákazníků. Tady se podělíme o některé osvědčené postupy, které je dobré mít na paměti, a provedeme tě příkladem toho, jak analyzovat kampaně podle primárních cílových skupin.

Přesné vykazování vždy začíná přesnými datovými přehledy – kterých můžete dosáhnout pouze tehdy, když správně nastavíte své experimenty. Nejprve začneme s některými osvědčenými postupy testování, abyste měli jistotu, že vaše data jsou platná, než je začnete analyzovat.

Upozorňujeme, že následující osvědčené postupy platí pouze pro dlouhodobější experimenty, jejichž cílem je dosáhnout statistické významnosti nebo se jí alespoň přiblížit. Samozřejmě, že někdy budete chtít spustit kampaň na krátkou dobu, možná v rámci akce k černému pátku (Black Friday), která poběží jen několik dní. V těchto případech byste využili metodu Multi-Armed Bandit, při které je postupem času více provozu směřováno na vítěznou variantu. Pro účely reportování budeme zkoumat osvědčené postupy pro ruční alokaci provozu – klasický přístup A/B testování. 

Chceš-li se dozvědět víc o tom, jak pro své testy vybrat správnou metodu alokace provozu, můžeš si o tom přečíst náš článek zde.

Řekněme například, že chcete otestovat dopad zpráv se sociálním potvrzením ve formě hodnocení hvězdičkami na stránkách kategorií produktů (PLP). První věc, kterou musíte udělat, abyste mohli otestovat svou hypotézu a přesně analyzovat výsledky, je nastavit varianty a kontrolní skupinu.

V tomto příkladu je zážitek cílen na všechny uživatele ve dvou variantách: jedna s hodnocením v podobě hvězdiček a jedna bez něj (kontrolní skupina). V tomto případě bychom nastavili alokaci provozu 50/50. To znamená, že 50 % provozu bude odesláno na variantu s hodnocením hvězdičkami a zbývajících 50 % bude odesláno na kontrolní skupinu.

Přidělení 50 % provozu na novou variantu a 50 % na kontrolní skupinu ti poskytne jasný přehled o tom, jak si testovací varianta vede napříč tvým primárním publikem. Tato metoda eliminuje prostor pro chyby a pokud poběží dostatečně dlouho, může ti poskytnout statisticky významné výsledky.

Většina testovacích platforem má vestavěnou analytiku pro sledování všech relevantních metrik a KPI. Než však začneš analyzovat zprávu o A/B testu, je důležité, abyste porozuměli následujícím dvěma důležitým métrikám.

Uplift: Rozdíl mezi výkonem varianty a výkonem výchozí varianty (obvykle kontrolní skupiny). Pokud má například varianta výnos na uživatele 5 $ a kontrolní skupina má výnos na uživatele 4 $, nárůst činí 25 %.

Pravděpodobnost nejlepšího výsledku: Šance, že varianta dosáhne v dlouhodobém horizontu nejlepšího výkonu. Toto je nejlépe využitelná metrika v sestavě, která se používá k určení vítěze A/B testů. Zatímco nárůst se může u malých vzorků lišit v závislosti na náhodě, pravděpodobnost nejlepšího výsledku bere velikost vzorku v úvahu (na základě bayesovského přístupu). Pravděpodobnost nejlepšího výsledku se začne počítat až po dosažení 30 konverzí nebo 1 000 vzorků. Jednoduše řečeno, pravděpodobnost nejlepšího výsledku odpovídá na otázku „Kdo je lepší?“ a nárůst odpovídá na otázku „O kolik?“

Nejprve se budeš chtít podívat na to, jak experiment fungoval pro všechny uživatele. V našem příkladu hodnocení hvězdičkami na stránkách s výpisem produktů (PLP) vidíš, že testovací varianta přinesla nárůst napříč primární metrikou, kterou jsme pro test nastavili (v tomto případě nákupů na uživatele).

Jak tady vidíš, testovací varianta ještě nebyla vyhlášena jako „vítěz“. Vítěz se obvykle vyhlásí, pokud jsou splněny následující podmínky:

• Jedna varianta má pravděpodobnost nejlepšího skóre nad 95 % (tuto prahovou hodnotu lze v některých platformách změnit pomocí nastavení úrovně významnosti vítěze).
• Uplynula minimální doba trvání testu (výchozí hodnota bývá obvykle 2 týdny). Cílem je zajistit, aby výsledky nebyly ovlivněny sezónností.

V našem příkladu jsou navzdory nedosažení skutečné statistické významnosti jasné náznaky, že test přináší nárůst a má 79% pravděpodobnost, že bude nejlepší. To jsou povzbudivé informace, které nás přimějí k tomu, abychom se ještě hlouběji ponořili do toho, jak si tento test vede u našich hlavních publik.

Většina experimentálních platforem nabízí rozdělení publika, které ukazuje, jak se výsledky testu liší při segmentaci návštěvnosti podle různých skupin publika. Doporučujeme analyzovat, jak si test vede napříč různými primárními skupinami publika, abys lépe porozuměl(a) svým primárním skupinám publika a začal(a) vytvářet kampaně, které lépe naplňují potřeby každé skupiny.

Vzhledem k povaze primárního publikum uvidíte při analýze výsledků testu podle publika s největší pravděpodobností rozdíly v chování. V našem příkladu skupina s vysokým úmyslem projevuje preferenci vůči ovládacímu prvku, nebo žádným recenzím s hvězdičkami v PLP.

Abychom vám usnadnili analýzu výsledků napříč primárními publiki a porovnávání chování mezi jednotlivými segmenty, vytvořili jsme pro vás šablonu pro analýzu kampaní primárního publika, na kterou se můžete odkázat a kterou můžete používat.

Šablona pro analýzu kampaní pro primární publika obsahuje dvě karty: příklad a prázdnou šablonu. Tento příklad nastiňuje, jak tabulka funguje po vyplnění všech vstupních dat. Na kartě prázdné šablony můžete zadat vlastní data, abyste mohli snáze analyzovat dopad svých kampaní a testů na primární publika.

Pomocí prázdné šablony uvidíte tři kategorie vstupů. Prvním vstupem je primární métrika, která bude předmětem každé prováděné analýzy. Pokud analyzujete dopad testu na míru prokliku napříč primárními cílovými skupinami, zadali byste do tohoto pole „CTR“.

Do dalšího vstupu uvedeš své primární publikum. Tyto budou pro všechny stoly stejné. V našem příkladu jsme použili publikum na základě záměru.

Do třetího vstupu zaznamenáš výkonnost své kampaně u každé primární cílové skupiny, a to jak pro kontrolní skupinu, tak pro své varianty. Tyto informace bys měl/a mít možnost získat ze své experimentální platformy.

Po zadání dat tabulka vypočítá rozdíl a vytvoří graf, pomocí kterého můžeš analyzovat výkonnost každé primární metriky, kterou měříš napříč všemi primárními skupinami publika. Při pohledu na tyto grafy získáš jasnou představu o tom, jak se chování tvých primárních skupin publika mění v závislosti na experimentu a primární metrice. S těmito informacemi můžeš začít systematizovat získané poznatky a provádět změny napříč celým webem tak, aby lépe odrážely potřeby a preference tvých primárních skupin publika.

Pohled na grafy v šabloně analýzy kampaní pro primární cílové skupiny ti pomůže získat lepší přehled o tom, jak výsledky tvých testů signalizují klíčové informace o psychologii a chování tvých primárních cílových skupin.

Jakmile pochopíš rozdíly v chování mezi svými primárními publiky, můžeš tyto poznatky institucionalizovat a využívat je do budoucna k optimalizaci svých marketingových kampaní.

• V našem příkladu se sice nákupy na uživatele u uživatelů s nízkým a středním úmyslem zvýšily o téměř 6 %, když si na stránkách kategorií (PLP) prohlíželi hodnocení v podobě hvězdiček, ale publikum s vysokým úmyslem dalo přednost přehlednějším stránkám PLP.
• Můžeme také vidět, že publikum s nízkým a středním zájmem nejen více nakupovalo, ale hvězdný zážitek je přiměl i k většímu procházení nabídek.

Tato data odhalují poznatky o potřebách našeho publiku. V našem příkladu začínáme vidět, že uživatelé s nízkým a středním úmyslem vyžadují další sociální důkazy na stránkách produktových řad (PLP), aby důvěřovali naší značce, pokračovali v prohlížení a nakonec nakoupili. Uživatelé s vysokým úmyslem na druhou stranu naší značce již důvěřují, a proto preferují přehlednější stránku PLP, která vede k jednoduššímu nákupu.

Jakmile lépe porozumíš chování svých primárních publik, můžeš tyto poznatky využít jako podklad pro svůj další test.

Jakmile analyzuješ svá data a vyvodíš závěry o tom, jak výsledky souvisejí s klíčovými rozdíly v chování v rámci tvých primárních skupin publika, můžeš začít nastavovat svůj další test, abys získané poznatky dále zužitkoval a svým uživatelům poskytl osobnější zážitek.

V našem příkladu, protože jsme zjistili, že nákupy na uživatele vzrostly pouze u uživatelů s nízkým a středním záměrem při zobrazení hodnocení hvězdičkami na stránkách produktů, náš test podle toho segmentujeme. Uživatelům s nízkým a středním zájmem (intent) se zobrazí varianta s hodnocením v podobě hvězdiček a uživatelům s vysokým zájmem se zobrazí varianta bez hodnocení hvězdičkami.

Tato druhá fáze testování je klíčová, protože vám pomůže odhalit další poznatky o vašich cílových skupinách – v tomto případě o našich skupinách s nízkým a středním zájmem –, a zároveň nabídnout osobnější a relevantnější zážitek každé skupině publika.

Jakmile budeš dál sbírat poznatky, můžeš tento proces opakovat a neustále se tak dozvídat víc o svých primárních cílových skupinách, vylepšovat své zážitky a každé primární cílové skupině nabízet tu nejlepší variantu svého webu.