{"id":26134,"date":"2022-10-28T17:48:44","date_gmt":"2022-10-28T17:48:44","guid":{"rendered":"https:\/\/building.nubank.com\/a-gentle-and-practical-introduction-to-a-b-tests\/"},"modified":"2024-02-23T17:03:43","modified_gmt":"2024-02-23T17:03:43","slug":"una-introduccion-suave-y-practica-a-las-pruebas-a-b","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/es\/una-introduccion-suave-y-practica-a-las-pruebas-a-b\/","title":{"rendered":"Una introducci\u00f3n suave y pr\u00e1ctica a las pruebas A\/B"},"content":{"rendered":"\n

Escrito por: Isabela Piccinini<\/em>
Revisado por: Paulo Rossi, Felipe Almeida<\/em><\/p>\n\n\n\n

\n\n\n\n

Todos luchan con las incertidumbres involucradas en la toma de decisiones en alg\u00fan momento. As\u00ed que considera cu\u00e1nto m\u00e1s complicado puede volverse esto en los entornos empresariales, con la presi\u00f3n adicional de las partes interesadas y la satisfacci\u00f3n del cliente.<\/p>\n\n\n\n

Afortunadamente para nosotros, una cosa para la que est\u00e1n dise\u00f1ados nuestros cerebros es para evaluar la calidad de la evidencia disponible para luego deliberar sobre el mejor curso de acci\u00f3n, guiando as\u00ed el proceso de toma de decisiones para reducir la incertidumbre.<\/p>\n\n\n\n

\u00bfNo ser\u00eda bueno para nosotros si tuvi\u00e9ramos una metodolog\u00eda que nos ayude en este camino tan dif\u00edcil e importante, haci\u00e9ndonos la vida un poco m\u00e1s f\u00e1cil? \u00a1Aqu\u00ed es donde las pruebas A\/B pueden ser un aliado incre\u00edble! Es una forma de experimentar nuevas ideas y medir el impacto<\/strong> de nuestros cambios en un entorno controlado y aprender de ellos antes de escalar soluciones. Nos ayuda a aprovechar las decisiones basadas en datos con mayor confianza en los resultados reales que los posibles cambios tienen en la estrategia comercial y los usuarios finales. Puede parecer magia, \u00a1pero es ciencia! <\/p>\n\n\n\n

Entonces, \u00bfc\u00f3mo podemos mejorar la forma en que tomamos decisiones y aprendemos de los usuarios?<\/strong> Mantente al d\u00eda con nosotros porque en este art\u00edculo te presentaremos las pruebas A\/B de una manera muy sencilla y pr\u00e1ctica para que puedas ponerlas en acci\u00f3n a partir de ahora.<\/p>\n\n\n\n

Pruebas A\/B en pocas palabras<\/h2>\n\n\n\n

En el contexto de una empresa, las pruebas A\/B son una forma de realizar un experimento controlado y aleatorio para comparar dos versiones diferentes (A y B) de alg\u00fan producto o servicio. Utiliza pruebas estad\u00edsticas para establecer una relaci\u00f3n causal entre un tratamiento (variaci\u00f3n) y un efecto (consecuencia).<\/p>\n\n\n\n

Como cualquier experimento, queremos validar una hip\u00f3tesis utilizando una o m\u00e1s m\u00e9tricas de inter\u00e9s.<\/em><\/p>\n\n\n\n

La idea detr\u00e1s de una prueba A\/B es desafiar una versi\u00f3n existente de su producto o servicio (A, tambi\u00e9n conocido como grupo de control) contra una nueva versi\u00f3n con un solo cambio espec\u00edfico (B, conocido como grupo de tratamiento). El primero sirve como referencia para que puedas comparar el rendimiento de tu cambio deseado. Al dividir aleatoriamente el tr\u00e1fico y comparar los indicadores de rendimiento elegidos de estos grupos entre s\u00ed, cada vez que encuentre una diferencia en la que est\u00e9 seguro y que confirme su hip\u00f3tesis inicial, podr\u00e1 implementar su nueva versi\u00f3n de producto\/servicio. <\/p>\n\n\n\n

Usemos un ejemplo simple de la siguiente manera:<\/h2>\n\n\n\n

Supongamos que tiene una p\u00e1gina inicial en su aplicaci\u00f3n que actualmente tiene un bot\u00f3n para avanzar y desea evaluar si cambiar el car\u00e1cter \u2033<\/span>>\u2033<\/span> a la palabra \u2033<\/span>ir\u2033<\/span> aumentar\u00e1 el tr\u00e1fico. Entonces tienes:<\/p>\n\n\n\n

Hip\u00f3tesis:<\/strong> Cambiar el contenido del bot\u00f3n que se muestra aumentar\u00e1 el volumen de acceso del usuario en un 5%.<\/p>\n\n\n\n

M\u00e9tricas objetivo:<\/strong> Volumen de clics y n\u00famero de usuarios que hacen clic en el bot\u00f3n.<\/p>\n\n\n\n

Si bien un experimento puede parecer simple, para confiar en sus resultados, debe considerar algunos ingredientes y procedimientos importantes y es por eso que los discutiremos m\u00e1s adelante. Pero primero, \u00bfpor qu\u00e9 deber\u00eda importarnos realizar pruebas A\/B?<\/p>\n\n\n\n

\u00bfPor qu\u00e9 son tan importantes las pruebas A\/B?<\/h2>\n\n\n\n

La experimentaci\u00f3n debe estar arraigada en la cultura de desarrollo de productos. Nos permite realizar mejoras incrementales basadas en comentarios reales. Tambi\u00e9n nos permite probar cada cambio con una peque\u00f1a audiencia de muestra representativa de usuarios de la vida real, para que podamos recopilar informaci\u00f3n valiosa adem\u00e1s de la cual podemos iterar en nuestro ciclo de desarrollo de productos.<\/p>\n\n\n\n

La experimentaci\u00f3n es un impulso para la cultura \u00e1gil al tiempo que reduce la incertidumbre y brinda informaci\u00f3n sobre lo que funciona y lo que no funciona para nuestro p\u00fablico objetivo.<\/em> <\/p>\n\n\n\n

Si el experimento sale bien, podemos estar seguros de implementar el cambio para todos los clientes. De lo contrario, fallamos positivamente<\/strong> al tener la oportunidad de aprender de los datos recopilados, iluminando nuevas ideas futuras. De esta manera, no se hace da\u00f1o al negocio ni se gastan muchos recursos humanos y financieros en algo que no da los buenos resultados esperados.<\/p>\n\n\n\n

Adem\u00e1s de eso, una cultura de experimentaci\u00f3n<\/a> fomenta la curiosidad y ayuda a luchar contra las opiniones fuertes (tambi\u00e9n conocidas como HiPPO, la opini\u00f3n de la persona mejor pagada). Los humanos tendemos a tener un fuerte sesgo de confirmaci\u00f3n hacia la aceptaci\u00f3n feliz de ideas y resultados que se adhieren a nuestra forma de pensar y, al mismo tiempo, nos inclinamos a investigar o dudar de resultados que divergen de nuestras suposiciones. Sabiendo eso, podemos usar las pruebas A\/B a nuestro favor, ya que permiten una medici\u00f3n de impacto libre de sesgos (al menos cuando se siguen las mejores pr\u00e1cticas para el dise\u00f1o de experimentos y de hecho tenemos una muestra aleatoria como hablaremos m\u00e1s adelante). As\u00ed que elegimos la mejor idea validada por nuestro experimento.<\/p>\n\n\n\n

Una medida precisa vale m\u00e1s que mil opiniones de expertos.<\/em><\/p>\n\n\n\n

(Almirante Grace Hopper)<\/em><\/p>\n\n\n\n

Mucho se ha dicho as\u00ed que resumamos la cultura de la experimentaci\u00f3n en cuatro grandes pilares a tener en cuenta:<\/p>\n\n\n\n

    \n
  1. Apoye su decisi\u00f3n con datos confiables<\/li>\n\n\n\n
  2. Aprende r\u00e1pido del proceso y de los resultados<\/li>\n\n\n\n
  3. Asigna recursos de manera inteligente<\/li>\n\n\n\n
  4. Entiende mejor lo que tu cliente necesita<\/li>\n<\/ol>\n\n\n\n

    \u00bfC\u00f3mo ejecutar una prueba A\/B?<\/h2>\n\n\n\n

    Promet\u00ed que esta ser\u00eda una gu\u00eda pr\u00e1ctica, as\u00ed que hablemos de algunos pasos importantes para realizar una prueba A\/B confiable. Por supuesto, esta lista no es exhaustiva, pero es un buen punto de partida.<\/p>\n\n\n\n

    Planificaci\u00f3n del dise\u00f1o de su experimento<\/h2>\n\n\n\n

    Antes de actuar sobre \u00e9l, debemos planificarlo cuidadosamente para reducir las posibilidades de errores. En este caso, los errores pueden conducir a conclusiones enga\u00f1osas que pueden perjudicar nuestro negocio o dificultar grandes oportunidades. <\/p>\n\n\n\n

    1. Determinar una buena hip\u00f3tesis.<\/h2>\n\n\n\n

    El primer paso para garantizar la confiabilidad de su prueba es definir claramente su objetivo (lo que desea mejorar en su producto\/servicio). Un objetivo bien definido ayuda en la elaboraci\u00f3n de una hip\u00f3tesis bien estructurada.<\/p>\n\n\n\n

    La hip\u00f3tesis se puede establecer usando una cl\u00e1usula SI-ENTONCES: SI se realiza alguna acci\u00f3n, ENTONCES se espera alguna consecuencia.<\/em><\/p>\n\n\n\n

    En el ejemplo del bot\u00f3n anterior:<\/p>\n\n\n\n

    Meta:<\/strong> Aumentar la participaci\u00f3n de los usuarios en la aplicaci\u00f3n.<\/p>\n\n\n\n

    Hip\u00f3tesis:<\/strong> SI cambiamos el contenido del bot\u00f3n que se muestra, ENTONCES podemos aumentar el volumen de acceso del usuario en un 5%.<\/p>\n\n\n\n

    Una prueba A\/B tiene como objetivo validar esta hip\u00f3tesis elegida asumiendo:<\/p>\n\n\n\n

    Hip\u00f3tesis nula (H0): <\/strong>no hay diferencia significativa entre las variantes de tratamiento y control para la m\u00e9trica de inter\u00e9s.<\/p>\n\n\n\n

    Hip\u00f3tesis alternativa (H1):<\/strong> existe una diferencia significativa entre las variantes de tratamiento y control para la m\u00e9trica de inter\u00e9s.<\/p>\n\n\n\n

    Para ejecutar una prueba A\/B valiosa, es importante limitar un solo cambio (variable) a la vez, de lo contrario, terminar\u00e1s con efectos combinados. Recuerda que usamos experimentos para atribuir causalidad, por lo que si tiene m\u00e1s de un cambio en curso, \u00bfc\u00f3mo puedes saber con certeza qu\u00e9 est\u00e1s impulsando realmente los resultados observados? Si realmente necesitas ejecutar pruebas con m\u00faltiples variables <\/a>simult\u00e1neamente, existen algunos enfoques de dise\u00f1o para ello.<\/p>\n\n\n\n

    2. Determinar los tratamientos grupales.<\/h2>\n\n\n\n

    Un grupo debe representar el status-quo<\/em> con la experiencia tal como est\u00e1<\/em> (sin cambios de ning\u00fan tipo). Y el otro representa la futura experiencia<\/em> con el cambio real para desafiar la versi\u00f3n actual. Incluso podemos agregar m\u00e1s variaciones para la misma caracter\u00edstica si queremos (com\u00fanmente conocido como prueba A\/B\/n).<\/p>\n\n\n\n

    Para nuestro ejemplo anterior, podr\u00edamos tener:<\/p>\n\n\n\n

    Control: <\/strong>bot\u00f3n con car\u00e1cter \u201c>\u201d.<\/p>\n\n\n\n

    Tratamiento A:<\/strong> bot\u00f3n con palabra \u201cir\u201d.<\/p>\n\n\n\n

    Tratamiento B:<\/strong> bot\u00f3n sin car\u00e1cter ni palabra.<\/p>\n\n\n\n

    3. Determinar las m\u00e9tricas de \u00e9xito<\/h2>\n\n\n\n

    Ahora que sabe lo que quiere mejorar, debe elegir c\u00f3mo medir\u00e1 el impacto de la mejora. Para ello, puede utilizar tres categor\u00edas de m\u00e9tricas inteligibles:<\/p>\n\n\n\n