Cómo Nubank usa Transformers para modelar hábitos financieros a gran escala

Escrito por: Nubank Editorial

¿Y si, en lugar de depender de la ingeniería manual de features, pudiéramos aprender directamente del comportamiento financiero en bruto de los usuarios a gran escala? 

Esa fue la tesis que presentamos en el episodio 122 del podcast Data Hackers, la comunidad más grande de profesionales de Datos e IA de Brasil. Fundada en 2018, la comunidad reúne a miles de profesionales y líderes del área para discutir lo más avanzado en tecnología.

En conversación con los presentadores Monique Femme y Paulo Vasconcellos, Arissa Yoshida y Rafael Celente, Senior Research Engineers en Nubank, compartieron los avances detrás del paper “Your Spending Needs Attention: Modeling Financial Habits with Transformers” y cómo esta investigación ya se está aplicando en la práctica.

El punto de partida es claro: las instituciones financieras tienen acceso a volúmenes masivos de datos — transacciones, eventos en la app, interacciones con clientes — pero extraer valor real de ellos sigue siendo un desafío considerable. Su naturaleza secuencial y no estructurada ha llevado históricamente al uso de modelos tabulares basados en features construidas manualmente.

El paper propone un camino distinto: aprovechar arquitecturas basadas en Transformers y aprendizaje auto-supervisado para construir representaciones directamente a partir de los datos en bruto. De este trabajo nació nuFormer, un modelo que combina atributos estructurados y textuales de las transacciones, y permite fine-tuning para tareas como scoring crediticio, detección de fraude y recomendación de productos — con ganancias medibles a gran escala.

Del machine learning tradicional a los modelos fundacionales

Para entender por qué esto es relevante, vale la pena mirar el punto de partida. Durante años, los modelos tradicionales de ML — particularmente métodos basados en árboles combinados con una fuerte ingeniería de features — dominaron las aplicaciones financieras. Estos modelos siguen siendo eficaces, pero encuentran un techo cuando el problema involucra grandes volúmenes de datos no estructurados y la necesidad de capturar patrones temporales complejos.

En Nubank, donde contamos con un dataset extraordinariamente rico — especialmente largas secuencias de transacciones financieras — esta limitación se vuelve difícil de ignorar. Como señala Arissa Yoshida, estos enfoques tradicionales dependen en gran medida de una etapa manual y especializada de construcción de variables.

 “En los modelos tradicionales, dependes mucho de las handcrafted features, que es básicamente la idea de construir un pipeline de ingeniería completo para extraer valor de los datos. Para eso se necesitan personas con profundo conocimiento del dominio que trabajen manualmente sobre los datos.” 

Arissa Yoshida, Senior Machine Learning Engineer en Nubank

Esta dependencia hace que el proceso sea menos escalable y más costoso, sobre todo a medida que el volumen y la complejidad de los datos crecen. Rafael Celente refuerza este punto al explicar que el desafío va más allá del modelado en sí — se trata de generalización: “tenemos un dataset enorme, y nuestra hipótesis era lograr que un modelo generalizara el comportamiento de nuestros clientes a partir de esos datos.”.

Esta limitación, combinada con la necesidad de modelos que aprendan directamente de los datos, abre la puerta a los modelos fundacionales en el contexto financiero.

Datos financieros como lenguaje

El cambio de paradigma fundamental está en cómo miramos los datos. En lugar de tratar las transacciones como registros aislados, la propuesta es interpretarlas como secuencias con estructura, contexto y significado — de manera muy similar al lenguaje natural.

Los Transformers operan sobre tokens y aprenden las relaciones entre ellos. Al convertir las transacciones en secuencias tokenizadas, podemos capturar patrones de comportamiento a un nivel mucho más profundo. Al modelo no le importa si está procesando palabras, píxeles o eventos financieros — lo que importa son las relaciones entre esos elementos.

Esta flexibilidad es precisamente lo que permite aplicar una arquitectura originalmente diseñada para el lenguaje natural a un dominio completamente diferente como el financiero.

Qué es nuFormer y por qué importa

En este contexto nace nuFormer, un modelo fundacional desarrollado por el equipo de AI Core de Nubank para aprender representaciones a partir de datos financieros a gran escala. El objetivo no es resolver un solo problema, sino crear una base reutilizable para distintas aplicaciones dentro del banco. A partir de estas representaciones, podemos mejorar casos de uso como detección de fraude, recomendación de productos y modelado de riesgo.

El diferencial clave es la capacidad de generalización. En lugar de entrenar un modelo desde cero para cada problema, nuFormer aprende una representación del comportamiento financiero que puede ser reutilizada en múltiples contextos, dando a diferentes aplicaciones un punto de partida compartido. 

Como explica Arissa Yoshida en el episodio, la visión detrás de este nuevo tipo de modelo es “generalizar y extraer información de datos en bruto, muchas veces no estructurados, y escalar eso a varios problemas.”.

Aunque el trabajo inicial comenzó con transacciones, el modelo evolucionó rápidamente para incorporar distintos tipos de datos. Hoy, la visión es multimodal — capaz de integrar no solo datos financieros estructurados, sino también señales comportamentales, interacciones dentro de la app y otras fuentes de información. 

Esto amplía significativamente el potencial del modelo: pasa de capturar eventos aislados a representar una imagen más completa del comportamiento del cliente, abriendo paso a aplicaciones más sofisticadas.

Esta evolución también se conecta con otras iniciativas del equipo de AI Core, como los agentes de IA que aprovechan estas representaciones para operar en escenarios reales a gran escala. El equipo compartió estos ejemplos en los posts “Construyendo agentes de IA en la práctica con Clojure” y “Construyendo agentes de IA para 131 millones de clientes”, aquí en Building Nubank.

Ingeniería, datos y gobernanza en modelos fundacionales

Una de las partes más reveladoras de la conversación dejó claro que el mayor desafío no está en el modelo en sí, sino en la ingeniería necesaria para hacerlo funcionar. Entrenar un modelo de esta escala exige infraestructura robusta: pipelines bien estructurados, gestión de GPUs y entrenamiento distribuido. Pero el verdadero punto crítico aparece al llevarlo a producción.

Los modelos basados en Transformers tienden a tener mayor latencia, lo cual puede ser un factor sensible en aplicaciones financieras. Aun así, con la infraestructura adecuada y equipos especializados, es posible alcanzar niveles de rendimiento comparables a los modelos tradicionales. Esta realidad evidencia que el desafío trasciende el ML — es un problema de sistemas que requiere colaboración entre áreas. Como resume Rafael Celente: “no es solo un problema de machine learning, es un problema de sistemas.”.

Esta complejidad se extiende al rol de los datos y la evaluación de modelos. Si bien entrenar a gran escala ya es una realidad, garantizar que los modelos estén aprendiendo correctamente sigue siendo uno de los mayores desafíos. Eso implica construir pipelines de datos consistentes, monitoreo continuo y definir métricas alineadas con el impacto en el negocio.

Además, el sector financiero agrega una capa adicional de exigencia: la gobernanza. Los modelos deben pasar por múltiples rondas de validación antes de entrar en producción, asegurando el cumplimiento de regulaciones y estándares internos. En este escenario, construir modelos fundacionales requiere el esfuerzo conjunto de equipos de ingeniería de datos, infraestructura, evaluación, producto y negocio — garantizando que las soluciones no solo funcionen, sino que generen impacto real de forma sostenible.

Resultados e impacto

La implementación de estos modelos en sistemas existentes ha generado ganancias significativas en métricas clave en apenas unos meses — superando mejoras que se habían acumulado durante años con enfoques tradicionales.

Estas ganancias no se limitan a un solo caso de uso. El modelo ya se está aplicando en múltiples frentes, incluyendo crédito, lending, predicción de ingresos y cross-sell, demostrando que el enfoque puede ser reutilizado en una variedad de contextos dentro del banco.

Esta capacidad de reutilización no solo acelera el desarrollo de nuevas soluciones — crea un efecto multiplicador, permitiendo que diferentes productos se beneficien de una misma base de aprendizaje.

Mirando hacia adelante, nuestra ambición no es solo mantenernos al día con el estado del arte, sino contribuir a él. Eso incluye explorar nuevas arquitecturas, expandir las capacidades multimodales y seguir compartiendo lo que aprendemos con la comunidad. Como se discutió en el episodio, el objetivo es desafiar el status quo y establecer nuevos estándares para la IA en finanzas.

Nuestra participación en el Data Hackers Podcast #122 refuerza un pilar central de nuestra estrategia: los modelos fundacionales ya se están aplicando en la práctica para resolver problemas reales en finanzas, con impacto directo en cómo construimos productos, tomamos decisiones y escalamos inteligencia.

Al aplicar Transformers para modelar hábitos financieros a gran escala, Nubank está construyendo una plataforma de IA que aprende directamente de los datos y evoluciona de forma continua. nuFormer en producción, con aplicaciones en crédito y más, demuestra cómo este enfoque puede expandirse horizontalmente y generar valor de manera consistente.

Si quieres trabajar en problemas de esta naturaleza — manejar datos a gran escala, desarrollar modelos fundacionales e impactar a más de 131 millones de clientes — estamos contratando en el equipo de AI Core.