La premessa dei test A/B è semplice:
Confronta due (o più) versioni diverse di qualcosa per vedere quale funziona meglio e poi distribuisci il vincitore a tutti gli utenti per un'esperienza complessiva ottimale.
La pratica dei team di test A/B e CRO è stata quindi quella di investire in modo significativo nel lancio di tutti i tipi di esperimenti per migliorare diverse aree ed esperienze sul sito, sull'app nativa, sull'e-mail o su qualsiasi altro canale digitale e quindi ottimizzarli continuamente per aumentare le conversioni e i KPI specifici con il passare del tempo.
Tuttavia, a meno che un'azienda non generi tonnellate di traffico e non disponga di un enorme panorama digitale da cui sperimentare, potrebbe arrivare un punto di rendimenti decrescenti in cui l'output della sperimentazione (non importa quanti test o quanto grande e sofisticato possa essere un esperimento) raggiunge il massimo rendimento in termini di input da parte di questi team.
Ciò ha in gran parte a che fare con il fatto che l'approccio classico ai test A/B offre una visione binaria delle preferenze dei visitatori e spesso non riesce a cogliere l'intera gamma di fattori e comportamenti che definiscono chi sono come individui.
Inoltre, i test A/B producono risultati generalizzati basati sulle preferenze di maggioranza di un segmento. E mentre un marchio può trovare che una particolare esperienza produca in media più entrate, distribuirla a tutti gli utenti sarebbe un disservizio per una parte significativa di consumatori con preferenze diverse.
Permettetemi di illustrare con alcuni esempi:
Se il patrimonio netto di me e Warren Buffet fosse in media di 117,3 miliardi di dollari, avrebbe senso consigliarci gli stessi prodotti?
Probabilmente no.
O che ne dici se un rivenditore che serve sia prodotti da uomo che da donna decide di eseguire un classico test A/B sulla propria homepage per identificare la variante del banner dell'eroe con le migliori prestazioni, ma poiché il 70% del loro pubblico è costituito da donne, la variante femminile supera quella maschile.
Questo test suggerirebbe di applicare lo stendardo delle eroine femminili a tutta la popolazione, ma sicuramente non sarebbe la decisione giusta.
Per dirla semplicemente:
- Le medie sono spesso fuorvianti quando vengono utilizzate per confrontare diversi gruppi di utenti
- La variazione con le migliori prestazioni cambia per ogni segmento di clienti e utente
- I risultati possono anche essere influenzati da fattori contestuali come l'area geografica, il tempo e altro ancora
Questo non vuol dire, ovviamente, che non ci sia un tempo e un luogo per sfruttare risultati più generalizzati. Ad esempio, se stavi testando un nuovo sito Web o il design di un'app, avrebbe senso puntare a un'interfaccia utente coerente che funzionasse meglio in media rispetto a decine, centinaia o addirittura migliaia di varianti dell'interfaccia utente per utenti diversi.
Tuttavia, i giorni in cui si adottava fedelmente un approccio «chi vince prende tutto» al layout di una pagina, ai messaggi, ai contenuti, ai consigli, alle offerte e ad altri elementi creativi sono finiti, e questo va bene perché significa che non saranno più lasciati soldi sul tavolo a causa delle mancate opportunità di personalizzazione associate alla mancata offerta della migliore variante a ogni singolo utente.