{"id":31999,"date":"2025-03-24T11:19:37","date_gmt":"2025-03-24T14:19:37","guid":{"rendered":"https:\/\/building.nubank.com\/?p=31999"},"modified":"2025-05-14T12:14:08","modified_gmt":"2025-05-14T15:14:08","slug":"entendiendo-las-finanzas-de-nuestros-clientes-a-traves-de-modelos-fundacionales","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/es\/entendiendo-las-finanzas-de-nuestros-clientes-a-traves-de-modelos-fundacionales\/","title":{"rendered":"Entendiendo las finanzas de nuestros clientes a trav\u00e9s de modelos fundacionales"},"content":{"rendered":"\n

Autor: Daniel Braithwaite<\/a><\/em> y Hiroto Udagawa<\/em><\/a><\/p>\n\n\n\n

El trabajo descrito aqu\u00ed es un esfuerzo colaborativo de muchos ingenieros de Nubank (en orden alfab\u00e9tico): Abhishek Shivanna, Arissa Yoshida, Austin McEver, Cristiano Breuel, Brian Zanfelice, Evan Wingert, Fabio Souza, Felipe Meneses, Helder Dias, Henrique Fernandes, Liam O’Neill, Marcelo Buga, Matheus Ramos y Misael Cavalcanti. Tambi\u00e9n agradecemos a Rohan Ramanath, Daniel Silva y Guilherme Tanure por su apoyo.<\/em><\/p>\n\n\n\n

Revisores de Traducci\u00f3ns: Felipe Almeida<\/a> y Kevin Rossell<\/a><\/em><\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Los modelos predictivos son la base de muchos sistemas cr\u00edticos dentro de las instituciones financieras, como la predicci\u00f3n de riesgos, la detecci\u00f3n de fraudes y las recomendaciones de productos. Para impulsar estas predicciones, la mayor\u00eda de las plataformas de banca digital tienen acceso a grandes cantidades de datos de los usuarios, desde transacciones bancarias y eventos en la aplicaci\u00f3n hasta registros de chats con el servicio al cliente. Combinadas, estas fuentes pueden darnos informaci\u00f3n valiosa sobre lo que nuestros clientes necesitan de su instituci\u00f3n financiera de confianza. Hist\u00f3ricamente, sin embargo, estas fuentes de datos se han utilizado para extraer caracter\u00edsticas \u00fatiles pero relativamente simples para resolver las tareas predictivas mencionadas. En este post, proponemos desarrollar modelos fundacionales para datos financieros, espec\u00edficamente transacciones. Estos modelos fundacionales facilitan el descubrimiento automatizado de caracter\u00edsticas generales a partir de las transacciones. Adem\u00e1s, estas caracter\u00edsticas generales son \u00fatiles para resolver diversas tareas en toda Nubank.<\/p>\n\n\n\n

Los modelos tradicionales de aprendizaje autom\u00e1tico (ML) se han construido para caracter\u00edsticas tabulares (por ejemplo, num\u00e9ricas, categ\u00f3ricas), que se han convertido en la norma para los sistemas de aprendizaje autom\u00e1tico en la industria debido a su simplicidad, interpretabilidad y robustez. Aunque estos enfoques funcionan bien en la pr\u00e1ctica, dise\u00f1ar las caracter\u00edsticas tabulares es engorroso y requiere mucha prueba y error. En otros campos, sin embargo, el ML ha avanzado hacia el aprendizaje de representaciones directamente a partir de los datos brutos para tareas de aprendizaje supervisado. Un ejemplo com\u00fan es que las redes neuronales convolucionales aprenden autom\u00e1ticamente caracter\u00edsticas como bordes, texturas y formas a partir de im\u00e1genes brutas [1, 2]. Esta configuraci\u00f3n facilita el aprendizaje autom\u00e1tico de caracter\u00edsticas que resuelven la tarea de aprendizaje supervisado, evitando as\u00ed la necesidad de ingenier\u00eda manual de caracter\u00edsticas. A pesar de que estas t\u00e9cnicas de modelado m\u00e1s avanzadas existen en otros dominios (lenguaje, visi\u00f3n, sistemas de recomendaci\u00f3n secuencial, etc.), la mayor\u00eda de las aplicaciones de ML en la industria financiera se han quedado atr\u00e1s.<\/p>\n\n\n\n

Una de las tendencias m\u00e1s significativas recientes en el aprendizaje autom\u00e1tico es la noci\u00f3n de modelos fundacionales, que aprenden representaciones gen\u00e9ricas de embeddings a partir de datos brutos, como texto [3], im\u00e1genes [4] y eventos [5]. Estos modelos se entrenan con grandes cantidades de datos no etiquetados y aprovechan el aprendizaje auto-supervisado (SSL, por sus siglas en ingl\u00e9s self-supervised learning), que implica la construcci\u00f3n impl\u00edcita de etiquetas pseudo-supervisadas a partir de los datos, por ejemplo, predecir las siguientes palabras en una oraci\u00f3n. El uso de SSL permite que los modelos fundacionales aprendan representaciones informativas de las entradas sin etiquetas expl\u00edcitas. Estas representaciones pueden luego usarse para resolver diversas tareas posteriores con mayor precisi\u00f3n, todas dependiendo del mismo modelo fundacional. Esto contrasta con las caracter\u00edsticas creadas manualmente o aprendidas con t\u00e9cnicas supervisadas, ambas a menudo dependientes del problema.<\/p>\n\n\n\n

Curiosamente, la escalabilidad de los modelos fundacionales tambi\u00e9n puede resultar en propiedades emergentes. Por ejemplo, los grandes modelos de lenguaje aprenden a realizar tareas como responder preguntas o resumir textos simplemente al observar el lenguaje natural [6]. Como resultado, planteamos la hip\u00f3tesis de que, al construir modelos fundacionales a partir de transacciones bancarias y otras fuentes de datos dentro de una instituci\u00f3n financiera, podemos entender a nuestros clientes m\u00e1s all\u00e1 de las capacidades de los m\u00e9todos existentes.<\/p>\n\n\n\n

En Nubank, estamos desarrollando modelos fundacionales desde cero para permitir que los equipos desbloqueen las se\u00f1ales de los vastos vol\u00famenes de datos financieros que los clientes producen diariamente. Adem\u00e1s, hemos desarrollado una plataforma de IA interna para extender estos modelos m\u00e1s all\u00e1 de las transacciones, considerando todas las interacciones del usuario (por ejemplo, eventos en la aplicaci\u00f3n) y nuevos flujos de transacciones. Los equipos de Nubank pueden aprovechar un repositorio central de modelos fundacionales y pipelines de ajuste fino para resolver sus tareas espec\u00edficas.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

En este post, exploramos modelos fundacionales, espec\u00edficamente en el contexto de datos de transacciones. A pesar del \u00e9xito de los modelos fundacionales en otros campos, hemos encontrado trabajos p\u00fablicamente disponibles limitados en nuestro dominio de inter\u00e9s. Adem\u00e1s, en la literatura disponible [7, 8], la escala no se acerca al volumen de datos que tenemos disponible en Nubank. Por ejemplo, [8] usa miles de millones de transacciones, mientras que tenemos acceso a billones de transacciones y eventos entre los m\u00e1s de 100 millones de clientes de Nubank. Como se mencion\u00f3, esto es importante porque el volumen de datos es esencial para descubrir las propiedades emergentes de los grandes modelos fundacionales.<\/p>\n\n\n\n

Nuestro objetivo es ingerir las transacciones ordenadas en el tiempo de un cliente y representar su comportamiento financiero como un embedding. Cada transacci\u00f3n est\u00e1 representada por texto, junto con atributos num\u00e9ricos y categ\u00f3ricos. Como es com\u00fan en otros dominios, como el lenguaje natural, las im\u00e1genes y el audio, descubrimos que es posible resumir eficientemente el comportamiento del cliente aprendiendo a predecir sus transacciones futuras. La estructura general de nuestro modelo de base se muestra en la figura a continuaci\u00f3n. En el resto de este post, presentamos algunos componentes clave de este modelo, cuyos detalles se abordar\u00e1n en posts futuros.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

El n\u00facleo del transformer [9] opera en secuencias de embeddings. Por lo tanto, debemos definir una interfaz entre la transacci\u00f3n y estos modelos de secuencia a secuencia. Esto nos permite construir nuestros propios modelos fundacionales de transformers mediante pre-entrenamiento (desde cero) en el corpus de transacciones de usuarios de Nubank. Como se discuti\u00f3, una ventaja clave de estos modelos de embedding de usuarios es que eliminan la necesidad de ingenier\u00eda manual de caracter\u00edsticas a partir de estos datos. Adem\u00e1s, observamos prometedoras leyes de escalabilidad, donde estas representaciones de usuarios se vuelven m\u00e1s poderosas en varias tareas a medida que aumentamos los datos, la capacidad de computaci\u00f3n y el tama\u00f1o del modelo.<\/p>\n\n\n\n

Sin embargo, para muchas tareas posteriores, los equipos tienen soluciones existentes basadas en caracter\u00edsticas tabulares derivadas de fuentes de transacciones y no transacciones. Es importante que cualquier soluci\u00f3n basada en modelos fundacionales pueda combinar sus embeddings con estas caracter\u00edsticas tabulares existentes. Esto acelera la adopci\u00f3n, ya que podemos demostrar r\u00e1pidamente mejoras sobre cualquier modelo existente. Para facilitar la combinaci\u00f3n de embeddings y caracter\u00edsticas, desarrollamos un proceso de ajuste fino de extremo a extremo, que entrena una red neuronal profunda (DNN) para combinar embeddings y caracter\u00edsticas tabulares mientras ajusta conjuntamente el modelo de base. Este enfoque optimiza los modelos fundacionales para cualquier tarea posterior espec\u00edfica y alcanza un rendimiento de vanguardia. Tambi\u00e9n planteamos la hip\u00f3tesis de que la fusi\u00f3n conjunta facilita el aprendizaje de un embedding que contiene se\u00f1ales ortogonales a lo que ya capturan las caracter\u00edsticas tabulares.<\/p>\n\n\n\n

Este post de blog present\u00f3 una introducci\u00f3n de alto nivel al enfoque de Nubank para aprovechar modelos fundacionales para datos financieros, transformando transacciones brutas en insights accionables. Aunque estos modelos fundacionales se basan en fuentes de datos est\u00e1ndar utilizadas en toda la industria, facilitan el aprendizaje autom\u00e1tico de caracter\u00edsticas informativas que pueden no ser obvias para los cient\u00edficos de datos. Por \u00faltimo, y m\u00e1s importante, las caracter\u00edsticas generadas por estos modelos fundacionales mejoran la capacidad de Nubank para entender a sus consumidores, para que podamos ayudarlos a satisfacer sus necesidades financieras en el momento adecuado. En posts futuros, explicaremos con m\u00e1s detalle los aspectos clave de este modelo.<\/p>\n\n\n\n

Resumen de la serie<\/h2>\n\n\n\n

Si llegaste hasta aqu\u00ed, te invitamos a revisar el resto de la serie de blogs para obtener m\u00e1s contexto y profundidad t\u00e9cnica sobre este enfoque.<\/p>\n\n\n\n