O processo de testar e aprender envolve implementar uma mudança para grupos de teste selecionados e retê-la para grupos de controle correspondentes. Por exemplo, uma instituição financeira poderia enviar uma promoção de cartão de crédito apenas para clientes selecionados, ou um varejista poderia implementar um novo layout de loja em alguns locais, mas não em todos.
A experimentação de teste versus controle é o padrão ouro analítico para determinar relações causais. Outros métodos analíticos (por exemplo, análises de regressão) são geradores de hipóteses úteis, mas apenas um experimento de negócios que observa o desempenho real pode isolar as verdadeiras causas e efeitos de uma iniciativa.
Em um ambiente não controlado, há fatores externos ilimitados que podem afetar o desempenho, tornando extremamente difícil isolar o verdadeiro impacto incremental de uma ação. Uma análise interna da Mastercard constatou que 45% das campanhas apresentam um viés natural de teste versus controle, o que significa que há uma grande margem de melhoria na estruturação da análise.
Abaixo está um passo a passo do processo de testar e aprender, desde a hipótese até a execução.