{"id":35248,"date":"2025-11-25T13:34:31","date_gmt":"2025-11-25T16:34:31","guid":{"rendered":"https:\/\/building.nubank.com\/?p=35248"},"modified":"2025-11-26T18:23:59","modified_gmt":"2025-11-26T21:23:59","slug":"3-aprendizajes-de-la-implementacion-de-controlled-experiment-using-pre-experiment-data-cuped-en-nubank","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/es\/3-aprendizajes-de-la-implementacion-de-controlled-experiment-using-pre-experiment-data-cuped-en-nubank\/","title":{"rendered":"3 aprendizajes de la implementaci\u00f3n de Controlled-Experiment Using Pre-Experiment Data (CUPED) en Nubank"},"content":{"rendered":"\n

Autores: El equipo de Data Science de la Experimentation Platform de Nubank est\u00e1 conformado por Abel Borges, Brando Morais, Lu\u00eds Assun\u00e7\u00e3o, Paulo Rossi y Ramon Vilarino (en orden alfab\u00e9tico).
Ninguna funcionalidad de la plataforma ser\u00eda posible sin el apoyo de todo el squad \u2014 un agradecimiento especial a Thiago Nunes (PM), Thiago Parreiras (Product Lead) y Miguel Bitarello (Engineering Lead).<\/em><\/p>\n\n\n\n

<\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Introducci\u00f3n<\/strong><\/h2>\n\n\n\n

La prueba A\/B es una piedra angular del desarrollo de productos en Nubank. Nos permite tomar decisiones informadas por datos al comparar diferentes versiones de un producto o caracter\u00edstica para ver cu\u00e1l funciona mejor. Este enfoque riguroso garantiza que cada cambio que implementamos est\u00e9 respaldado por evidencia emp\u00edrica, lo que conduce a una mejora continua y a una experiencia superior para el usuario.<\/p>\n\n\n\n

Sin embargo, un desaf\u00edo persistente en la experimentaci\u00f3n es el problema de la sensibilidad del experimento. A menudo, los efectos que buscamos medir son sutiles o peque\u00f1os, lo que dificulta detectarlos con significancia estad\u00edstica. Esta limitaci\u00f3n puede obstaculizar nuestra capacidad para identificar cambios y optimizar nuestros productos de manera efectiva. Para superar esto, nuestro equipo se embarc\u00f3 en un viaje para explorar t\u00e9cnicas avanzadas de reducci\u00f3n de varianza con el fin de mejorar el poder estad\u00edstico.<\/a><\/p>\n\n\n\n

Mejorar el poder estad\u00edstico se traduce directamente en una mayor precisi\u00f3n para nuestras estimaciones, lo que a su vez reduce la duraci\u00f3n de los experimentos. Esto permite una iteraci\u00f3n m\u00e1s r\u00e1pida y segura.<\/p>\n\n\n\n

Entre los enfoques que investigamos, el \u2033<\/span>Experimento Controlado utilizando Datos Pre-Experimentales\u2033<\/span> (CUPED) se destac\u00f3. CUPED es un m\u00e9todo estad\u00edstico que aprovecha los datos anteriores al experimento para reducir la variabilidad de las m\u00e9tricas clave. Al tener en cuenta las diferencias de referencia entre las unidades experimentales, CUPED puede mejorar significativamente el poder estad\u00edstico de nuestros experimentos, facilitando la detecci\u00f3n de efectos incluso m\u00e1s peque\u00f1os, pero aun as\u00ed significativos.<\/p>\n\n\n\n

Este art\u00edculo comparte las 3 lecciones clave que aprendimos del proceso desafiante pero gratificante de implementar CUPED dentro de la s\u00f3lida plataforma de experimentaci\u00f3n de Nubank. Estas ideas ofrecen una orientaci\u00f3n valiosa para cualquier organizaci\u00f3n que busque mejorar la precisi\u00f3n y la eficiencia al escalar sus esfuerzos de pruebas A\/B.<\/p>\n\n\n\n

Antecedentes<\/strong><\/h2>\n\n\n\n

CUPED fue introducido, por primera vez, por los investigadores de Microsoft Deng y otros (2013)<\/a> y ha sido ampliamente utilizado en empresas como Netflix, Booking, Eppo, Walmart y muchas otras. Notas de otros investigadores (Lin (2013)<\/a>, Deng y Hu (2015)<\/a>, Deng y otros (2023)<\/a>) destacan la relaci\u00f3n de CUPED con la regresi\u00f3n lineal, y c\u00f3mo diferentes supuestos en CUPED se mapean a distintas especificaciones de regresi\u00f3n.<\/p>\n\n\n\n

Supongamos que nuestro experimento tiene una m\u00e9trica objetivo Y que se calcula utilizando todos los eventos de un cliente determinado despu\u00e9s de que este es expuesto al experimento. Estamos interesados en estimar el Efecto Promedio del Tratamiento (ATE), por lo que calculamos la diferencia de medias entre el grupo de tratamiento y el grupo de control,<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

donde \u0394 Es un estimador insesgado del ATE (Efecto Promedio del Tratamiento). Asumamos que podemos calcular una covariable X utilizando eventos que ocurrieron antes de la exposici\u00f3n del cliente al experimento. Con esto, podemos escribir:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

donde \u03b8 es un par\u00e1metro escalar. Como los sujetos fueron asignados aleatoriamente entre los grupos de control y tratamiento,E(Xt<\/sub>) -E(Xc<\/sub>)= 0 y<\/sub>, por lo tanto,  \u0394adjusted<\/sub> tambi\u00e9n es un estimador insesgado del ATE.<\/p>\n\n\n\n

El objetivo es elegir un valor para \u03b8 que reduzca la varianza del resultado \u0394adjusted <\/sub>tanto como sea posible. Usando la expresi\u00f3n para la varianza de la combinaci\u00f3n lineal de dos variables aleatorias, podemos expandir la varianza para el adjusted:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Al establecer su primera derivada igual a cero, podemos determinar el valor \u00f3ptimo, \u03b8*, que minimiza esta varianza:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Y finalmente tenemos:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Una elecci\u00f3n natural para X son las mediciones de Y antes de la exposici\u00f3n; por ejemplo, las m\u00e9tricas transaccionales clave para un banco suelen presentar una fuerte correlaci\u00f3n serial (es decir, correlaci\u00f3n de la m\u00e9trica consigo misma en el pasado). Sin embargo, esta demostraci\u00f3n se aplica a cualquier variable.<\/p>\n\n\n\n

Note que se escribimos  \u03b8* en t\u00e9rminos de las covarianzas entre las observaciones unitarias en lugar de entre promedios, entonces podemos escribir:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

donde \u03b8c<\/sub>=Cov(Xc<\/sub>,,Yc<\/sub>)\/Var(Xc<\/sub>)\u200b\u200b y\u00a0 \u03b8t<\/sub>=Cov(Xt<\/sub>,,Yt<\/sub>)Var(Xt<\/sub>)\u200b\u200b. En otras palabras, es un promedio ponderado de dos par\u00e1metros de cada grupo en t\u00e9rminos de sus varianzas muestrales. <\/p>\n\n\n\n

Tenga en cuenta que \u03b8c y \u03b8t son coeficientes de regresiones lineales simples por grupo, y \u03b8* es una combinaci\u00f3n de ambos. Se pueden encontrar m\u00e1s detalles en Lin, Secci\u00f3n 2 (o 3).<\/p>\n\n\n\n

Lecci\u00f3n 1: Tenga en cuenta las varianzas desiguales.<\/strong><\/h2>\n\n\n\n

Cuando los grupos de control y de tratamiento tienen el mismo tama\u00f1o<\/strong>, \u03b8* se puede aproximar a partir de estad\u00edsticas combinadas, tal como se describe en Deng et al. (2013)<\/a>:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

lo que resulta en un \u0394pooled<\/sub>. Sin embargo, cuando los grupos del experimento tienen diferentes tama\u00f1os <\/strong>de muestra (nc<\/sub> \u2260 nt<\/sub>) y el tratamiento cambia la correlaci\u00f3n serial de la m\u00e9trica<\/strong> (Cov(Xc<\/sub>,Yc<\/sub>) \u2260 Cov(Xt<\/sub>,Yt<\/sub>) ), la varianza del \u0394pooled <\/sub>puede ser mayor que la varianza del estimador ingenuo \u0394.<\/p>\n\n\n\n

Cuando se simulan escenarios con grupos altamente desiguales (una divisi\u00f3n de 90%\/10%) y una covarianza del grupo de tratamiento tres veces mayor que la del grupo de control, las distribuciones del ATE demuestran una eficiencia reducida con una estimaci\u00f3n combinada (pooled estimation<\/em>), como se ilustra en el siguiente gr\u00e1fico.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

En Nubank, originalmente implementamos CUPED estimando \u03b8pooled<\/sub> para cada par de variantes en todos los experimentos. Sin embargo, llevamos a cabo m\u00faltiples experimentos que violan las suposiciones de este estimador original. Lin (2013) demostr\u00f3 que \u0394*adjusted<\/sub> es al menos tan eficiente como ambos \u0394, el  \u0394pooled<\/sub>. Siguiendo sus conclusiones, evaluamos si este cambio ser\u00eda significativo para nuestras m\u00e9tricas y decidimos cambiar nuestra implementaci\u00f3n para usar  \u03b8*. Aunque aparentemente menor, este cambio mejor\u00f3 significativamente la robustez y precisi\u00f3n de nuestros an\u00e1lisis, llevando a conclusiones experimentales m\u00e1s confiables.<\/p>\n\n\n\n

Lecci\u00f3n 2: C\u00f3mo Definimos una Ventana de Retrospecci\u00f3n Est\u00e1ndar de 42 D\u00edas<\/strong><\/h2>\n\n\n\n

Siguiendo la descomposici\u00f3n de \u03b8* como una suma ponderada de coeficientes similares a \u03b8-dentro de cada grupo, la varianza del \u0394*adjusted<\/sub> puede reformularse como una funci\u00f3n de las desviaciones est\u00e1ndar de la m\u00e9trica y las correlaciones seriales (pt<\/sub>, pc<\/sub>) entre sus versiones posterior y previa a la exposici\u00f3n, donde
\u03c0 \u2208 (0,1) es la tasa de muestreo del grupo de tratamiento:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Tenga en cuenta que cuanto mayor sea la correlaci\u00f3n (en t\u00e9rminos absolutos) entre la m\u00e9trica posterior a la exposici\u00f3n Y y la m\u00e9trica anterior a la exposici\u00f3n X, mayor ser\u00e1 la reducci\u00f3n de varianza. Como se se\u00f1al\u00f3 en la secci\u00f3n de antecedentes, un m\u00e9todo sencillo es establecer X igual a Y en el pasado, lo que naturalmente lleva a utilizar la misma variable como covariable de control durante la ventana de observaci\u00f3n pre-experimental. Sin embargo, esto plantea la pregunta: \u00bfC\u00f3mo podemos determinar el per\u00edodo \u00f3ptimo de agregaci\u00f3n de m\u00e9tricas pre-experimentales<\/strong> para CUPED?<\/p>\n\n\n\n

Nubank ofrece una cartera diversa de productos y servicios, que van desde sus ofertas fundamentales de tarjetas de cr\u00e9dito hasta su creciente marketplace de compras. Dada esta diversidad inherente, cada producto opera dentro de su propio mercado distinto y apunta a un segmento diferente de la base de clientes. Por ejemplo, la estacionalidad de un usuario que busca vuelos en nuestro marketplace<\/em> es muy diferente a la de aquellos que invierten en criptoactivos.<\/p>\n\n\n\n

Idealmente, cada m\u00e9trica y experimento tendr\u00eda su propia ventana pre-experimental. Sin embargo, este nivel de flexibilidad y sobrecarga de implementaci\u00f3n no es actualmente factible en nuestra plataforma. Por lo tanto, elegimos una ventana gen\u00e9rica que capturar\u00eda adecuadamente la mayor parte del comportamiento pasado del usuario sin aumentar significativamente los costos de la pipeline<\/em> (tuber\u00eda de datos).<\/p>\n\n\n\n

Para ello, ejecutamos varias simulaciones, muestreando sujetos de nuestros experimentos con diferentes tama\u00f1os y duraciones de muestra. Este enfoque nos permiti\u00f3 incorporar datos simulados con efectos de tratamiento reales para obtener la ventana \u00f3ptima. Nuestro an\u00e1lisis se concentr\u00f3 en ventanas de tiempo que eran m\u00faltiplos precisos de siete, lo que captur\u00f3 y abord\u00f3 los patrones semanales presentes en los datos.Los resultados promedio de la reducci\u00f3n de varianza, presentados en funci\u00f3n de la ventana de retrospectiva (lookback window<\/em>), se detallan a continuaci\u00f3n.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Seleccionamos una ventana de retrospectiva fija de 42 d\u00edas<\/strong> para nuestro an\u00e1lisis debido a su desempe\u00f1o equilibrado en todas las m\u00e9tricas y experimentos. Este per\u00edodo de tiempo present\u00f3 un buen punto de equilibrio entre la minimizaci\u00f3n de la varianza y la gesti\u00f3n de los costos computacionales de nuestra pipeline<\/em> de m\u00e9tricas. Tambi\u00e9n descubrimos que una ventana de 42 d\u00edas es suficiente para capturar la din\u00e1mica promedio del negocio, en particular al abarcar al menos un ciclo de facturaci\u00f3n de la tarjeta de cr\u00e9dito, asegurando una visi\u00f3n integral del comportamiento del cliente y la actividad financiera.<\/p>\n\n\n\n

Sin embargo, el impacto real de CUPED var\u00eda significativamente a lo largo de nuestro diverso ecosistema. El siguiente gr\u00e1fico ilustra la distribuci\u00f3n de la reducci\u00f3n de varianza que observamos en la pr\u00e1ctica en cientos de m\u00e9tricas en miles de comparaciones de experimentos diferentes.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Esta distribuci\u00f3n revela un par de ideas clave:<\/p>\n\n\n\n