Una introducción suave y práctica a las pruebas A/B

Escrito por: Isabela Piccinini
Revisado por: Paulo Rossi, Felipe Almeida

---

Todos luchan con las incertidumbres involucradas en la toma de decisiones en algún momento. Así que considera cuánto más complicado puede volverse esto en los entornos empresariales, con la presión adicional de las partes interesadas y la satisfacción del cliente.

Afortunadamente para nosotros, una cosa para la que están diseñados nuestros cerebros es para evaluar la calidad de la evidencia disponible para luego deliberar sobre el mejor curso de acción, guiando así el proceso de toma de decisiones para reducir la incertidumbre.

¿No sería bueno para nosotros si tuviéramos una metodología que nos ayude en este camino tan difícil e importante, haciéndonos la vida un poco más fácil? ¡Aquí es donde las pruebas A/B pueden ser un aliado increíble! Es una forma de experimentar nuevas ideas y medir el impacto de nuestros cambios en un entorno controlado y aprender de ellos antes de escalar soluciones. Nos ayuda a aprovechar las decisiones basadas en datos con mayor confianza en los resultados reales que los posibles cambios tienen en la estrategia comercial y los usuarios finales. Puede parecer magia, ¡pero es ciencia! 

Entonces, ¿cómo podemos mejorar la forma en que tomamos decisiones y aprendemos de los usuarios? Mantente al día con nosotros porque en este artículo te presentaremos las pruebas A/B de una manera muy sencilla y práctica para que puedas ponerlas en acción a partir de ahora.

Pruebas A/B en pocas palabras

En el contexto de una empresa, las pruebas A/B son una forma de realizar un experimento controlado y aleatorio para comparar dos versiones diferentes (A y B) de algún producto o servicio. Utiliza pruebas estadísticas para establecer una relación causal entre un tratamiento (variación) y un efecto (consecuencia).

Como cualquier experimento, queremos validar una hipótesis utilizando una o más métricas de interés.

La idea detrás de una prueba A/B es desafiar una versión existente de su producto o servicio (A, también conocido como grupo de control) contra una nueva versión con un solo cambio específico (B, conocido como grupo de tratamiento). El primero sirve como referencia para que puedas comparar el rendimiento de tu cambio deseado. Al dividir aleatoriamente el tráfico y comparar los indicadores de rendimiento elegidos de estos grupos entre sí, cada vez que encuentre una diferencia en la que esté seguro y que confirme su hipótesis inicial, podrá implementar su nueva versión de producto/servicio. 

Descubre las oportunidades

Usemos un ejemplo simple de la siguiente manera:

Supongamos que tiene una página inicial en su aplicación que actualmente tiene un botón para avanzar y desea evaluar si cambiar el carácter ″>″ a la palabra ″ir″ aumentará el tráfico. Entonces tienes:

Hipótesis: Cambiar el contenido del botón que se muestra aumentará el volumen de acceso del usuario en un 5%.

Métricas objetivo: Volumen de clics y número de usuarios que hacen clic en el botón.

Si bien un experimento puede parecer simple, para confiar en sus resultados, debe considerar algunos ingredientes y procedimientos importantes y es por eso que los discutiremos más adelante. Pero primero, ¿por qué debería importarnos realizar pruebas A/B?

¿Por qué son tan importantes las pruebas A/B?

La experimentación debe estar arraigada en la cultura de desarrollo de productos. Nos permite realizar mejoras incrementales basadas en comentarios reales. También nos permite probar cada cambio con una pequeña audiencia de muestra representativa de usuarios de la vida real, para que podamos recopilar información valiosa además de la cual podemos iterar en nuestro ciclo de desarrollo de productos.

La experimentación es un impulso para la cultura ágil al tiempo que reduce la incertidumbre y brinda información sobre lo que funciona y lo que no funciona para nuestro público objetivo. 

Si el experimento sale bien, podemos estar seguros de implementar el cambio para todos los clientes. De lo contrario, fallamos positivamente al tener la oportunidad de aprender de los datos recopilados, iluminando nuevas ideas futuras. De esta manera, no se hace daño al negocio ni se gastan muchos recursos humanos y financieros en algo que no da los buenos resultados esperados.

Además de eso, una cultura de experimentación fomenta la curiosidad y ayuda a luchar contra las opiniones fuertes (también conocidas como HiPPO, la opinión de la persona mejor pagada). Los humanos tendemos a tener un fuerte sesgo de confirmación hacia la aceptación feliz de ideas y resultados que se adhieren a nuestra forma de pensar y, al mismo tiempo, nos inclinamos a investigar o dudar de resultados que divergen de nuestras suposiciones. Sabiendo eso, podemos usar las pruebas A/B a nuestro favor, ya que permiten una medición de impacto libre de sesgos (al menos cuando se siguen las mejores prácticas para el diseño de experimentos y de hecho tenemos una muestra aleatoria como hablaremos más adelante). Así que elegimos la mejor idea validada por nuestro experimento.

Una medida precisa vale más que mil opiniones de expertos.

(Almirante Grace Hopper)

Mucho se ha dicho así que resumamos la cultura de la experimentación en cuatro grandes pilares a tener en cuenta:

1. Apoye su decisión con datos confiables
2. Aprende rápido del proceso y de los resultados
3. Asigna recursos de manera inteligente
4. Entiende mejor lo que tu cliente necesita

¿Cómo ejecutar una prueba A/B?

Prometí que esta sería una guía práctica, así que hablemos de algunos pasos importantes para realizar una prueba A/B confiable. Por supuesto, esta lista no es exhaustiva, pero es un buen punto de partida.

Planificación del diseño de su experimento

Antes de actuar sobre él, debemos planificarlo cuidadosamente para reducir las posibilidades de errores. En este caso, los errores pueden conducir a conclusiones engañosas que pueden perjudicar nuestro negocio o dificultar grandes oportunidades. 

1. Determinar una buena hipótesis.

El primer paso para garantizar la confiabilidad de su prueba es definir claramente su objetivo (lo que desea mejorar en su producto/servicio). Un objetivo bien definido ayuda en la elaboración de una hipótesis bien estructurada.

La hipótesis se puede establecer usando una cláusula SI-ENTONCES: SI se realiza alguna acción, ENTONCES se espera alguna consecuencia.

En el ejemplo del botón anterior:

Meta: Aumentar la participación de los usuarios en la aplicación.

Hipótesis: SI cambiamos el contenido del botón que se muestra, ENTONCES podemos aumentar el volumen de acceso del usuario en un 5%.

Una prueba A/B tiene como objetivo validar esta hipótesis elegida asumiendo:

Hipótesis nula (H0): no hay diferencia significativa entre las variantes de tratamiento y control para la métrica de interés.

Hipótesis alternativa (H1): existe una diferencia significativa entre las variantes de tratamiento y control para la métrica de interés.

Para ejecutar una prueba A/B valiosa, es importante limitar un solo cambio (variable) a la vez, de lo contrario, terminarás con efectos combinados. Recuerda que usamos experimentos para atribuir causalidad, por lo que si tiene más de un cambio en curso, ¿cómo puedes saber con certeza qué estás impulsando realmente los resultados observados? Si realmente necesitas ejecutar pruebas con múltiples variables simultáneamente, existen algunos enfoques de diseño para ello.

2. Determinar los tratamientos grupales.

Un grupo debe representar el status-quo con la experiencia tal como está (sin cambios de ningún tipo). Y el otro representa la futura experiencia con el cambio real para desafiar la versión actual. Incluso podemos agregar más variaciones para la misma característica si queremos (comúnmente conocido como prueba A/B/n).

Para nuestro ejemplo anterior, podríamos tener:

Control: botón con carácter “>”.

Tratamiento A: botón con palabra “ir”.

Tratamiento B: botón sin carácter ni palabra.

3. Determinar las métricas de éxito

Ahora que sabe lo que quiere mejorar, debe elegir cómo medirá el impacto de la mejora. Para ello, puede utilizar tres categorías de métricas inteligibles:

• Métricas de objetivos: conjunto de métricas que define lo que es importante para la organización en su conjunto. Estas son estrellas del norte a largo plazo para la empresa.
• Métricas de destino (o métricas de impulsores): estas son las que se diseñó para optimizar su experimento. Te ayuda a decidir si tu hipótesis es cierta o no.
• Métricas de barandilla: puedes pensar en esto como salvaguarda (a lo que la organización no está dispuesta a renunciar). Estos son útiles para la protección y el análisis de compensación sobre si lanzar la nueva función o mejor no.

Para nuestro ejemplo anterior, podríamos tener:

Métrica de meta: El tiempo pasado en la aplicación (ya que esto puede ser un indicador de la participación del usuario) o el NPV (valor actual neto) del cliente.

Métricas objetivo: Volumen de clics y número de usuarios que hacen clic en este botón (ya que este es un indicador del interés del usuario en la nueva función).

Métricas de barandilla: Volumen de bloqueos en la aplicación y número de tickets abiertos en el servicio de atención al cliente (ya que la satisfacción del usuario puede ser algo muy importante para proteger).

Un buen consejo es elegir métricas relativas como porcentajes, para no diluir ni distorsionar los resultados.

4. Determinar el tamaño de la muestra

El siguiente paso es estimar el tamaño de muestra necesario para poder estimar el efecto que especificó en tu hipótesis inicial.

Queremos que nuestros resultados sean relevantes y que se identifiquen correctamente, por lo que necesitamos tres entradas importantes para calcular el tamaño de la muestra:

• Potencia estadística: representa la probabilidad de que la prueba rechace la hipótesis nula cuando debería ser rechazada. En igualdad de condiciones, cuanto mayor sea el tamaño de la muestra, mayor será su poder estadístico. La práctica común para las pruebas A/B es usar el 80%.
• Significado estadístico (también conocido como alfa): umbral de probabilidad por debajo del cual decimos que el cambio observado no se debe al azar. Así que usamos un umbral a partir del cual podemos sentirnos seguros de que el efecto medido es real. La práctica común para las pruebas A/B es usar el 5%.
• Tamaño del efecto: el tamaño mínimo del efecto que debería detectarse con cierta probabilidad de confianza, si este efecto realmente existe (a partir de nuestra hipótesis de ejemplo, un aumento del 5 % en el volumen de acceso de los usuarios).

Con esa información a mano, puedes utilizar una herramienta de código abierto como GPower para calcular el tamaño de muestra necesario para tu experimento.

Ten en cuenta que la aleatorización es clave para que las pruebas A/B sean confiables. Una muestra sesgada no representa la población de interés, por lo tanto, los resultados del experimento pueden verse comprometidos y no ser realistas. Por lo tanto, es posible que debas realizar algunos controles de cordura para asegurarte de que tu muestra esté libre de sesgos.

Analizando los resultados de tu experimento

Finalmente, podemos ejecutar nuestra prueba A/B e interpretar los resultados para verificar si nuestra suposición inicial era correcta. Para ello, utilizamos pruebas estadísticas para aceptar o rechazar nuestra hipótesis. Este análisis incluye los siguientes pasos:

• Elegir una prueba estadística apropiada (prueba t, prueba de chi-cuadrado, etc.);
• Cálculo de la estadística de prueba;
• Cálculo del valor p correspondiente;
• Compara el valor p observado con el valor crítico (significación estadística): si el valor p < alfa, puede rechazar la hipótesis nula (lo que significa que el efecto observado es significativo y que tu suposición es correcta). De lo contrario, tu suposición no es correcta (o no tiene suficiente poder en tu experimento para medir un efecto tan pequeño);
• Calcular el margen de error;
• Calcular el intervalo de confianza (ten en cuenta que los intervalos que no se superponen implican significación estadística, pero lo contrario no es necesariamente cierto).

El enfoque habitual en esta etapa está en las métricas objetivo, ya que esas son las que principalmente queremos optimizar. Pero es igualmente relevante evaluar si hay métricas de barandillas afectadas negativamente y el límite aceptable. Esto no solo puede ser un bloqueo para continuar con tu experimento y eventualmente implementar esta nueva experiencia, sino que también es muy importante que conozcas este impacto y que ya tengas un plan de acción en la mano (que podría ser, por ejemplo, la interrupción del examen).

Algunas preguntas que puedes hacerte antes de tomar la decisión de implementar o no la nueva función son:

• ¿Se ha alcanzado la potencia prevista (número mínimo de usuarios según lo diseñado para el experimento)?
• ¿Son los resultados estadísticamente significativos para las métricas objetivo?
• ¿Alguna métrica de barandilla se ha visto afectada negativamente?
• ¿Hay pérdidas tangibles (p. ej., costo) y/o pérdidas intangibles (p. ej., posicionamiento de marca) si no se produce este despliegue?

Recuerda siempre que el experimento proporcionará evidencia para la toma de decisiones. Entonces la decisión puede ser tan buena como los datos que estamos usando. 

″En Dios confiamos. Todos los demás deben aportar datos de ALTA CALIDAD”.

(adaptado de Edwards Deming)

Espero que esta breve guía pueda ayudarte en tu viaje de experimentación. ¡Felices pruebas A/B! 🙂

Consulta nuestras oportunidades laborales →

Para obtener más información sobre las pruebas A/B, consulta la grabación de la charla de Giovana e Isabela en Building Nu Meetup: