Escrito por : Nubank Editorial

E se, em vez de depender de engenharia manual de features, fosse possível aprender diretamente do comportamento financeiro bruto dos usuários em escala? 

Foi para defender essa tese que participamos do episódio 122 do podcast Data Hackers, a maior comunidade de profissionais de Dados e IA do Brasil. Criada em 2018, a comunidade reúne milhares de profissionais e lideranças da área e promove discussões técnicas sobre o mercado de tecnologia.

Na conversa com Monique Femme e Paulo Vasconcellos, hosts do podcast, Arissa Yoshida e Rafael Celente, Senior Research Engineers no Nubank, compartilharam os avanços por trás do paper “Your Spending Needs Attention: Modeling Financial Habits with Transformers” e como essa pesquisa já está sendo aplicada na prática.

O ponto de partida é que, embora instituições financeiras tenham acesso a volumes massivos de dados, como transações, eventos no app e interações com clientes, extrair valor desses dados ainda é complexo, devido à sua natureza sequencial e não estruturada. Tradicionalmente, isso levou ao uso de modelos baseados em features tabulares construídas manualmente.

O paper explora um caminho diferente: o uso de modelos baseados em Transformers e aprendizado auto-supervisionado para aprender representações diretamente desses dados. Essa abordagem deu origem ao nuFormer, um modelo que combina atributos estruturados e textuais de transações e permite fine-tuning para tarefas como crédito, fraude e recomendação, com ganhos mensuráveis em problemas de larga escala.

Do machine learning tradicional aos modelos fundacionais

Para entender a relevância dessa abordagem, é importante olhar para o ponto de partida. Durante anos, modelos tradicionais de machine learning dominaram aplicações no setor financeiro, especialmente com técnicas baseadas em árvores de decisão e forte engenharia de features. Esses modelos permanecem eficazes, mas apresentam limitações importantes quando o problema envolve grandes volumes de dados não estruturados e a necessidade de capturar padrões complexos ao longo do tempo.

No contexto do Nubank, onde existe uma enorme quantidade de dados ricos, especialmente sequências de transações, essa limitação se torna ainda mais evidente. Como fala Arissa Yoshida, esses modelos dependem fortemente de uma etapa manual e especializada de construção de variáveis.

 “(Nos modelos tradicionais,) você depende muito de handcraft features, que é basicamente a ideia de ter uma engenharia para extrair valor dos dados. Para isso, é preciso ter pessoas que entendam aquele dado e consigam trabalhar sobre ele” 

Arissa Yoshida, Senior Machine Learning Engineer no Nubank

Essa dependência torna o processo menos escalável e mais custoso, principalmente à medida que o volume e a complexidade dos dados aumentam. Rafael Celente reforça esse ponto ao explicar que o desafio vai além da modelagem em si e está ligado à capacidade de generalização: “a gente tem um dataset enorme, e a nossa hipótese era fazer com que um modelo generalizasse o comportamento dos nossos clientes a partir desses dados”.

Essa limitação, combinada à necessidade de modelos que aprendam diretamente dos dados, abre espaço para a adoção de modelos fundacionais no contexto financeiro.

Tratando dados financeiros como linguagem

A principal mudança de paradigma está na forma de encarar esses dados. Ao invés de tratar transações como registros isolados, a proposta é interpretá-las como uma sequência com estrutura, contexto e significado, muito semelhante à linguagem natural.

Transformers operam sobre tokens e aprendem relações entre eles. Isso significa que, ao transformar transações em sequências tokenizadas, é possível capturar padrões comportamentais de maneira muito mais profunda. Isso porque o modelo não diferencia se está lidando com palavras, pixels ou eventos financeiros, mas sim com as relações entre esses elementos.

Essa flexibilidade é o que permite aplicar uma arquitetura originalmente pensada para uma linguagem natural a um domínio completamente diferente, como o financeiro.

Conheça nossas oportunidades

O que é o nuFormer e por que ele importa

É nesse contexto que surge o nuFormer, um modelo fundacional desenvolvido pelo time de AI Core do Nubank para aprender representações a partir de dados financeiros em larga escala. A ideia central não é apenas resolver um problema específico, mas criar uma base reutilizável para diferentes aplicações dentro do banco. A partir dessas representações, conseguimos melhorar casos de uso como detecção de fraude, recomendação de produtos e modelagem de risco.

O diferencial está na capacidade de generalização. Ao invés de treinar um modelo do zero para cada problema, o nuFormer aprende uma representação do comportamento financeiro que pode ser reaproveitada em múltiplos contextos, permitindo que diferentes aplicações partam de uma mesma base. 

Como explica Arissa Yoshida no episódio, a ideia desse novo tipo de modelo é “conseguir generalizar e tirar informação de dado bruto, muitas vezes não estruturado, e conseguir escalar isso para vários problemas”.

Embora a tese inicial tenha começado com transações, o modelo evoluiu rapidamente para incorporar diferentes tipos de dados. Hoje, a visão é de um sistema multimodal, capaz de integrar não apenas dados financeiros estruturados, mas também sinais comportamentais, interações dentro do app e outras fontes de informação. 

Isso amplia o potencial do modelo, que deixa de capturar apenas eventos isolados e passa a representar o comportamento do cliente de forma mais completa, abrindo espaço para aplicações mais sofisticadas.

Esse avanço também se conecta a outras iniciativas do time de AI Core, como o desenvolvimento de agentes de IA que utilizam essas representações para operar em cenários reais e em larga escala. O time falou sobre esses exemplos nos posts “Construindo agentes de IA na prática com Clojure” e “Construindo agentes de IA para 131 milhões de clientes”, aqui no Building Nubank.

Engenharia, dados e governança em modelos fundacionais

Em uma das partes mais relevantes da conversa, ficou claro que o maior desafio não está apenas no modelo, mas na engenharia necessária para viabilizá-lo. Treinar um modelo desse porte exige infraestrutura robusta, com pipelines bem estruturadas, gerenciamento de GPUs e treinamento distribuído. No entanto, o ponto mais crítico aparece na hora de levar isso para produção.

Modelos baseados em Transformers tendem a ter maior latência, o que pode ser um fator sensível em aplicações financeiras. Ainda assim, com a infraestrutura adequada e equipes especializadas, é possível atingir níveis de performance comparáveis aos modelos tradicionais. Esse cenário evidencia que o desafio vai além de machine learning e passa a ser também um problema de sistemas, exigindo colaboração entre diferentes áreas. Como resume Rafael Celente, “não é só um problema de machine learning, é um problema de sistemas”.

Essa complexidade se estende ao papel dos dados e à forma como os modelos são avaliados. Embora treinar modelos em larga escala já seja uma realidade, garantir que eles estejam aprendendo corretamente continua sendo um dos principais desafios. Isso envolve a construção de pipelines de dados consistentes, monitoramento contínuo e definição de métricas alinhadas ao impacto no negócio.

Além disso, no contexto financeiro, entra uma camada adicional de exigência relacionada à governança. Modelos precisam passar por múltiplas validações antes de serem colocados em produção, garantindo conformidade com regulamentações e padrões internos. Nesse cenário, a construção de modelos fundacionais depende da atuação conjunta de times de engenharia de dados, infraestrutura, avaliação, produto e negócio, garantindo que as soluções não apenas funcionem, mas gerem impacto real de forma sustentável.

Resultados e impacto

A aplicação desses modelos em sistemas já existentes trouxe ganhos relevantes em métricas-chave em um intervalo de poucos meses, superando melhorias acumuladas ao longo de anos com abordagens tradicionais.

Esses avanços não ficaram restritos a um único caso de uso. O modelo já vem sendo aplicado em diferentes frentes, como crédito, lending, previsão de renda e cross-sell, demonstrando que a abordagem pode ser reutilizada em múltiplos contextos dentro do banco.

Essa capacidade de reaproveitamento não apenas acelera o desenvolvimento de novas soluções, como também cria um efeito multiplicador de valor, permitindo que diferentes produtos se beneficiem de uma mesma base de aprendizado.

Olhando à frente, nossa ambição não é apenas acompanhar o “estado da arte”, mas contribuir para ele. Isso inclui explorar novas arquiteturas, expandir o uso de modelos multimodais e continuar compartilhando aprendizados com a comunidade. Como discutido no episódio, o objetivo é desafiar o status quo e estabelecer novos padrões para o uso de inteligência artificial no setor financeiro.

A participação no Data Hackers Podcast #122 reforça um ponto central da nossa estratégia: modelos fundacionais já estão sendo aplicados na prática para resolver problemas reais no setor financeiro, com impacto direto em como construímos produtos, tomamos decisões e escalamos inteligência.

Ao aplicar Transformers para modelar hábitos financeiros em larga escala, o Nubank avança na construção de uma plataforma de IA capaz de aprender diretamente dos dados e evoluir continuamente. O uso do nuFormer em produção, com aplicações em crédito e outras frentes, mostra como essa abordagem pode ser expandida horizontalmente e gerar valor de forma consistente.

Se você quer trabalhar em problemas dessa natureza, lidando com dados em larga escala, desenvolvendo modelos fundacionais e impactando mais de 131 milhões de clientes, estamos com vagas abertas no time de AI Core.

Conheça nossas oportunidades