Saltar al contenido principal

Lección

Pruebas A/A y toma de decisiones en la experimentación

Las pruebas A/A sirven para comprobar que el sistema subyacente funciona correctamente. En esta publicación, analizaremos algunas cuestiones sutiles que debes tener en cuenta al realizarlas. 

 David Steinberg profile photo

David Steinberg

Professor David Steinberg,

KPA Group

Ron Kenett profile photo

Ron Kenett

Professor Ron Kenett,

KPA Group

Tanto el profesor Ron Kenett como David Steinberg, de KPA Group, se sentaron a conversar con mayor franqueza sobre algunos de los temas tratados en este artículo.

Please accept functional cookies to watch this video.

poster

La experiencia del cliente, que engloba la relación holística entre una marca y el cliente, se compone de varias interacciones a través de canales y puntos de contacto. No es de extrañar, por tanto, que las empresas piensen muy detenidamente en cómo diseñan estas experiencias para atraer a más clientes. 

Sin embargo, ¿cómo sabe un especialista en marketing si un cambio propuesto en la experiencia del cliente será exitoso?

El uso de pruebas A/B es un método eficaz y basado en datos para averiguarlo. La idea básica es sencilla: comparar dos versiones de una página, por ejemplo, mostrar cada una a un segmento determinado que entra en el sitio y evaluar sus resultados. 

Se asigna a los visitantes a una de las dos variaciones de forma aleatoria. Siguiendo principios científicos bien establecidos, esto genera una «prueba justa» entre las dos versiones de la experiencia. A continuación, las reacciones de los visitantes se resumen mediante KPI informativos como la tasa de clics (CTR), la tasa de conversión (CR) o los ingresos, y se comparan los KPI medios de las dos experiencias. Con las pruebas A/B, dejas que las preferencias de los clientes decidan qué versión tiene más éxito en lugar de confiar en la «intuición». Y, como dice el viejo refrán, «el cliente siempre tiene la razón».

Aunque las pruebas A/B son fáciles de describir, surgen una serie de preguntas importantes que abordaremos a continuación.

  • ¿Cómo puedo decidir qué variante (A o B) es mejor?
  • ¿Hasta qué punto tengo la certeza de que esto es correcto si declaro un ganador (B es mejor que A)?
  • ¿Puedo ampliar el análisis a más de dos opciones?
  • ¿Cómo puedo saber si mi motor de pruebas funciona correctamente?
  • ¿Qué tamaño de muestra se necesita para una prueba A/B?
  • ¿Se puede cancelar una prueba antes de tiempo si los resultados son claros antes del final del período de prueba planificado?

 

Toma de decisiones

Las pruebas A/B cumplen los objetivos conjuntos de aprender y ganar. El objetivo final es obtener más beneficios de tu sitio o propiedad digital. Para ello, debes aprender recopilando información basada en datos a partir de los indicadores clave de rendimiento (KPI) durante la prueba. A medida que recopiles más información, ganarás confianza sobre qué experiencia es mejor. 

Un resumen excelente de lo que has aprendido es la probabilidad de ser la mejor opción (Probability to Be Best o P2BB). Se trata de una estadística sencilla que indica la probabilidad de que B sea la mejor variante (es decir, la que tiene el KPI más alto entre los visitantes de tu sitio). Por ejemplo, si el P2BB es 0,8, la probabilidad de que B sea la mejor opción es del 80 %, y la probabilidad de que A sea la mejor opción es del 20 %. El P2BB es una base ideal para orientar las decisiones empresariales que se deben tomar tras una prueba A/B. 

¿Cómo calculamos P2BB? 

Para responder a esa pregunta, debemos ofrecerte algunos antecedentes sobre la estadística bayesiana, que recibe su nombre del clérigo británico Thomas Bayes, quien vivió en el siglo XVIII. El enfoque bayesiano de la estadística utiliza distribuciones de probabilidad para describir cualquier aspecto que desconozcamos y queramos aprender de los datos.  

Algunas de las primeras preguntas que se plantearon fueron «¿cuál es la probabilidad de que salga el sol mañana?». Por aquel entonces, muchos se preguntaban si tenía algún sentido hablar de una cuestión así en un sentido probabilístico. La idea de aportar información previa a un análisis bayesiano se consideraba a menudo una expresión de subjetividad.

Eso es muy diferente al enfoque clásico de frecuentistas que quizás hayas estudiado en un curso de estadística introductorio, donde A es mejor que B, B es mejor que A o son idénticos. La pregunta «¿cuál es la probabilidad de que B sea mejor?» no forma parte del léxico; no se puede dar una respuesta y, de hecho, ¡no tienes permitido hacer esa pregunta!  

Sin embargo, cualquier elemento que incluyas en lo anterior quedará esencialmente diluido por la abundancia de información de datos generada en una prueba A/B. Así pues, al final no importa realmente lo que se pensara de antemano, ya que se llegará a un acuerdo tras analizar los resultados de un experimento.

La perspectiva bayesiana convierte los resúmenes de probabilidad en la moneda común. Terminarás la prueba A/B con distribuciones de probabilidad que describen lo que sabes sobre el KPI para A y el KPI para B. Al combinar esas dos distribuciones, puedes calcular P2BB. 

Otra ventaja de P2BB es que se extiende directamente a las pruebas con más de dos variantes. Al final del experimento, puedes calcular el valor P2BB para cada una de las variantes. Si hay un ganador claro, tendrá un P2BB cercano a 1. Los perdedores claros tendrán un P2BB cercano a 0. Es posible que tengas dos variantes que sean prácticamente iguales y mejores que todas las demás. En ese caso, cada una de las dos variantes principales tendrá un P2BB cercano a 0,5.

 

Comprobando el sistema

Necesitas un motor de pruebas fiable para realizar una prueba A/B válida de modo que, cuando tomes una decisión, refleje una diferencia real entre las alternativas probadas y no se deba al azar o, peor aún, a un error en el motor. 

Hay muchas cosas que pueden salir mal: 

  • La ventaja de una variante es momentánea y se debe a fluctuaciones de tráfico inusuales. 
  • Es posible que la rutina de aleatorización sea defectuosa y que los datos de los resultados no se registren correctamente 
  • Es posible que la rutina de análisis no sea correcta 

Por ejemplo, supongamos que la asignación fue aleatoria para algunos visitantes, pero proporcionó la variante A a todos los procedentes de una región geográfica concreta. Si los visitantes de esa región reaccionan de forma diferente a los de otras regiones, el error de asignación sesgará el experimento. 

También necesitas una muestra representativa de visitantes. Cuando tomas una decisión a partir de una prueba A/B, siempre estás extrapolando a partir de los visitantes del sitio involucrados en tu experimento a todos aquellos que visitarán tu sitio en el futuro. Para que la extrapolación sea válida, debes asegurarte de que todos los segmentos de esos futuros visitantes estén cubiertos en tu prueba y en proporciones aproximadamente iguales. A eso nos referimos con una muestra representativa. 

Como ejemplo, el comercio electrónico suele estar sujeto a tendencias temporales naturales. Pueden presentarse efectos diurnos o efectos según el día de la semana. Si es así, debes asegurarte de lo siguiente: (i) que se incluya al menos un ciclo completo en el experimento; y (ii) que la aleatoriedad siga funcionando correctamente durante todo el ciclo. Como otro ejemplo, parte de tu tráfico puede provenir de ordenadores portátiles y otra parte de smartphones. Quieres que ambos grupos tengan una exposición adecuada en tu prueba. 

Para comprobar que el motor de pruebas subyacente funciona correctamente, es posible que quieras empezar con un número pequeño de pruebas A/A. La idea de las pruebas A/A es comparar una experiencia consigo misma. Como ambas experiencias son idénticas, es evidente que no esperas ver ninguna diferencia entre ellas; si ejecutas una prueba A/A y detectas rápidamente que algunas A se ven mejor que otras A, y sabes que son iguales, entonces tu confianza en la metodología y la tecnología de las pruebas A/B es cuestionable.

Las pruebas A/A proporcionan una base para confiar en los resultados de las pruebas A/B posteriores; establecer un punto de referencia de lo que sucede cuando no hay diferencias entre las dos variantes sometidas a prueba te ayuda a apreciar la diferencia que ves al comparar dos variantes diferentes. Además, puedes usar tu experiencia estándar en la prueba A/A, por lo que no hay riesgo de pérdida de actividad por usar una nueva versión.

En un enfoque más sofisticado, la prueba A/A no solo puede realizarse como un precursor de la prueba A/B, sino también en paralelo para un análisis continuo de tendencias. Esto te daría un mayor control y la capacidad de gestionar los cambios en la composición del tráfico, así como todo tipo de factores que pueden influir en la toma de decisiones.

El formato de prueba A/A parece sencillo, pero hay algunos aspectos sutiles que debes tener en cuenta. Los datos son variables, por lo que, incluso si ambos grupos de tu experimento experimentan lo mismo, seguirás viendo cierta diferencia en el resultado. Necesitas algunos parámetros para saber si esas diferencias son lo suficientemente grandes como para indicar problemas o si son solo variaciones naturales en los datos. Debes pensar durante cuánto tiempo ejecutar una prueba A/A y cuántas pruebas A/A quieres realizar antes de avanzar.

Ya hemos sugerido un buen criterio de referencia: Probability to Be Best (P2BB). Este criterio tiene plenamente en cuenta la variabilidad entre la información de datos. También es importante comprobar los KPI promedio. Como estás comparando una experiencia consigo misma, es de esperar que sean muy similares entre sí. También debes observar la fracción de tráfico dirigida a cada condición. La asignación debe estar cerca del 50 % para cada una; una asignación que se desvíe del 50 % es señal de problemas.

Aunque P2BB es un resumen excelente de los aprendizajes de tu experimento, debemos añadir algunas notas de precaución. 

Primero, la información de datos presenta una variabilidad natural. P2BB depende de esa información, por lo que también es variable. En consecuencia, habrá pruebas A/A que den un valor de P2BB cercano a 0 o 1, aunque sabes que no hay ninguna diferencia. Ninguna estrategia de pruebas A/B es inmune a declarar ocasionalmente un ganador en este caso. 

En segundo lugar, los tamaños de muestra son enormes en muchos experimentos en línea. Incluso las diferencias muy pequeñas en el KPI medio pueden llevar a un P2BB extremo. Esto reitera la importancia de comprobar también los promedios de los KPI. Es posible que tengas un claro indicio de un ganador a partir del P2BB, pero asociado a una diferencia en los KPI que apenas repercuta en tus resultados financieros. 

En tercer lugar, cuidado con el exceso de análisis. Los motores de prueba te permiten evaluar los resultados de tu experimento. Por lo tanto, es natural comprobar regularmente si la información de datos acumulada hasta el momento apunta a un ganador. La P2BB variará durante el transcurso del experimento, lo que reflejará la variación en los resultados de los visitantes. Si consultas la «P2BB actual» cada hora en una prueba A/A de dos semanas, eso suma más de 300 valores de P2BB. Algunos pueden estar cerca de 1; otros pueden estar cerca de 0. Una práctica común, pero arriesgada, es detener una prueba en cuanto la P2BB supera por primera vez un umbral (por ejemplo, si baja de 0,05 o sube de 0,95). ¿Por qué es arriesgado? Porque no es tan sorprendente que el valor de P2BB por hora más extremo cruce uno de estos límites. Obtener una P2BB final inferior a 0,05, por ejemplo, ocurrirá en aproximadamente el 5 % de tus pruebas A/A. Sin embargo, obtener un solo resultado de P2BB inferior a 0,05 ocurrirá con mucha más frecuencia. Espiar los datos puede inflar gravemente tu tasa de falsos ganadores si no se planifica previamente. Debes utilizar únicamente la P2BB final (lo que significa que has recopilado la información de datos requerida en relación con el tamaño de la muestra), junto con los KPI promedio, para evaluar tu motor.

Además, si quieres comprobar minuciosamente el motor, realiza varias pruebas A/A. Todos sabemos que es peligroso sacar demasiadas conclusiones basándose en una muestra de tamaño 1. Los P2BB finales resultantes deben estar «distribuidos» entre 0 y 1.

Cuando un tamaño de muestra grande da lugar a un P2BB extremo junto con una pequeña diferencia en los KPI promedio, puede resultar útil llevar a cabo un análisis más refinado que refleje el impacto comercial de la comparación. Considera la posibilidad de definir una diferencia crítica mínima en los KPI que tenga un impacto en tu negocio. Por ejemplo, puedes decidir que una diferencia inferior al 0,5 % entre dos variantes competidoras no justificaría realizar un cambio. En ese caso, puedes utilizar el análisis bayesiano para desglosar el resumen de una prueba A/B en tres resultados distintos: B es mejor, B es peor o B es igual a A (p. ej., la diferencia es menor que el margen crítico). En el caso de las pruebas A/A, a menudo comprobarás que la tercera opción tiene una alta probabilidad, lo que significa que tienes pruebas fehacientes de que no existe una diferencia significativa entre las dos variantes.

También hay que tener en cuenta la complejidad de añadir varias variantes: cuando no se trata de A/B, sino de A, B uno, B dos, B tres y B cuatro. Así que, si tenemos A y cuatro variantes, queremos mostrar cuál es la mejor, demostrar que son mejores que A y seleccionar las dos mejores. El proceso de prueba no es más difícil, pero el diseño y el análisis de las combinaciones requieren un poco más de trabajo al introducir estas alternativas.

 

¿De qué tamaño debe ser una prueba A/A?

La idea de la prueba A/A es proporcionar un simulacro realista del sistema. Quieres asegurarte de que aproximadamente la mitad de los visitantes se asignen a cada opción para comprobar que los KPI se mantengan cerca unos de otros y que P2BB no declare un claro ganador.  

El tamaño de la muestra dependerá de varios factores:

  • El tipo de datos (binarios, como el CTR; continuos, como los ingresos)
  • The current performance
  • El nivel de rendimiento que supondría una mejora significativa
  • Para las KPI continuas, el grado de variación entre los visitantes

A continuación, ampliaremos cada uno de ellos y los destacaremos con un ejemplo. 

El tipo de información basada en datos es importante, ya que las distintas fórmulas de tamaño de muestra son relevantes para cada uno. El rendimiento actual debe conocerse o estimarse. El tamaño de la muestra se establece siempre con el objetivo de identificar algún nivel de cambio. Para una prueba A/B, puedes configurar la mejora prevista para que coincida con tus expectativas de la nueva página de prueba. Ese enfoque no funciona para una prueba A/A, en la que ambas versiones deben tener el mismo KPI. 

En su lugar, te recomendamos que configures tu métrica de objetivo para que sea el nivel de importancia que consideres una mejora. Por ejemplo, con un KPI de 0,010, un incremento del 10 % hasta 0,011 podría ser tu umbral para grandes empresas. Si tus ingresos medios son de 1 $ por visitante, un incremento de tan solo un 3 %, hasta 1,03 $, puede ser importante. 

Una guía sencilla consiste en preguntar: «¿Cuál es la mejora de tamaño que definitivamente nos gustaría identificar?» La magnitud de la variación es importante para los KPI continuos. Por lo general, lo que querrás es la desviación típica (SD) del resultado entre aquellos que son conversores. 

Cabe destacar que las mismas entradas son relevantes para una prueba A/B y se utilizan esencialmente de la misma manera. Pero hay una distinción: el objetivo de una prueba A/B es encontrar una diferencia, por lo que es claramente importante ofrecer una garantía casi total de que se identificarán las diferencias importantes. Logramos ese enfoque más preciso aumentando los tamaños de muestra. Sin embargo, en una prueba A/A, el objetivo es comprobar el sistema. No es necesario realizar la estricta comparación de una prueba A/B, por lo que utilizamos un criterio de enfoque menos riguroso, lo que da lugar a tamaños de muestra más pequeños.

Además, recomendamos realizar una prueba A/B durante al menos un ciclo de tiempo completo. Si los visitantes entre semana prefieren la opción A, pero los visitantes del fin de semana prefieren la B, nos interesará obtener información sobre ambos segmentos antes de tomar una decisión. Con una prueba A/A, no existe el temor de que las preferencias por una opción u otra cambien con el tiempo, por lo que no es necesario realizar una prueba durante un ciclo completo. Si realizas varias pruebas A/A sobre la misma experiencia, es una buena idea espaciarlas a lo largo del tiempo para asegurarte de ver el motor en funcionamiento durante un ciclo completo.

Podemos ilustrar estas ideas con un ejemplo. 

Supongamos que tu CTR actual es 0,0060. Una mejora a 0,0065 sería importante. La prueba debe incluir a 191 000 visitantes en cada una de las dos opciones.

El cálculo debe moderarse con sabiduría práctica. Si calculas un tamaño de muestra que tardará semanas en lograrse, es probable que la mejora prevista, incluso si es una ganancia importante, sea demasiado difícil de conseguir. En ese caso, debes restablecerla para que tu prueba A/A no dure más de dos semanas.

Ponte en contacto con ventas

Habla con un experto para descubrir cómo Mastercard puede mejorar tu negocio a través de nuestros productos y servicios.

Mastercard