A premissa dos testes A/B é simples:
Compare duas (ou mais) versões diferentes de algo para ver qual tem o melhor desempenho e, em seguida, implemente a versão vencedora para todos os utilizadores, de forma a obter a experiência global mais otimizada.
A prática das equipas de testes A/B e CRO consiste, portanto, em investir significativamente no lançamento de todos os tipos de experiências para melhorar diferentes áreas e experiências em todo o website, aplicação nativa, e-mail ou qualquer outro canal digital e, em seguida, otimizá-los continuamente para gerar um aumento incremental nas conversões e em KPIs específicos ao longo do tempo.
No entanto, a menos que uma empresa gere toneladas de tráfego e tenha um vasto ambiente digital para experimentar, pode chegar um ponto de retorno decrescente, onde o resultado da experimentação (independentemente da quantidade de testes ou da dimensão e sofisticação de uma experiência) atinge um rendimento máximo em termos do investimento destas equipas.
Isto deve-se, em grande parte, ao facto de a abordagem clássica dos testes A/B oferecer uma visão binária das preferências dos visitantes e, muitas vezes, não conseguir captar toda a gama de fatores e comportamentos que definem quem são enquanto indivíduos.
Além disso, os testes A/B produzem resultados generalizados com base nas preferências da maioria de um segmento. E embora uma marca possa descobrir que uma experiência específica gera mais receitas em média, implementá-la para todos os utilizadores seria uma injustiça para uma parte significativa de consumidores com preferências diferentes.
Permitam-me ilustrar com alguns exemplos:
Se o património líquido meu e de Warren Buffett fosse, em média, de 117,3 mil milhões de dólares, faria sentido recomendar os mesmos produtos para ambos?
Provavelmente não.
Ou imagine que um retalhista que vende produtos tanto para homens como para mulheres decide realizar um teste A/B clássico na sua página inicial para identificar a variação de banner principal com melhor desempenho, mas, como 70% do seu público é feminino, a variação feminina supera a masculina.
Este teste sugeriria que a bandeira das heroínas fosse aplicada a toda a população, mas não seria certamente a decisão correta.
Resumindo:
- As médias são muitas vezes enganadoras quando utilizadas para comparar diferentes grupos de utilizadores.
- A variação com melhor desempenho altera-se para cada segmento de clientes e utilizador.
- Os resultados podem também ser influenciados por fatores contextuais como a geografia, o clima e outros.
Isto não significa, naturalmente, que não exista um momento e um local adequados para tirar partido de resultados mais generalizados. Por exemplo, se estivesse a testar um novo design de website ou aplicação, faria sentido procurar uma interface de utilizador consistente que funcionasse melhor em média, em vez de dezenas, centenas ou mesmo milhares de variações de interface para diferentes utilizadores.
No entanto, os dias de adotar fielmente uma abordagem de "tudo ou nada" para o layout de uma página, mensagens, conteúdo, recomendações, ofertas e outros elementos criativos acabaram – e isso é bom, porque significa que não haverá mais dinheiro perdido devido às oportunidades de personalização que se perdem ao não oferecer a melhor versão para cada utilizador.