mais lidos
Life at Nu
Conheça a sede do Nubank em Pinheiros, São Paulo/Brasil jan 11
Design
A nova aparência do Nubank: conheça nossa nova logo maio 17
Culture & Values
Como os valores e a cultura da Nu moldam os produtos que criamos ago 7
Carreiras
Reunimos grandes mentes de diversas origens que permitem a discussão e o debate e melhoram a resolução de problemas.
Saiba mais sobre nossas carreiras
Autor: Austin McEver
No Nubank, acreditamos em combater a complexidade, empoderar as pessoas e construir soluções centradas no cliente. Nossa missão nos impulsiona a inovar continuamente, especialmente na forma como entendemos as jornadas financeiras únicas de cada cliente. Historicamente, instituições financeiras, incluindo o Nubank, têm recorrido a abordagens tradicionais de machine learning (ML), transformando grandes volumes de dados dos usuários, como transações bancárias, eventos dentro do app e registros de atendimento ao cliente, em features tabulares cuidadosamente engenheiradas para tarefas preditivas como previsão de risco, detecção de fraude e recomendações personalizadas [3, 4, 11]. Embora eficaz, esse processo costuma ser intensivo em trabalho e enfrenta dificuldades para capturar toda a riqueza e as nuances sutis presentes em dados sequenciais [3].
O desafio está em ir além das limitações de features estáticas e agregadas para construir uma compreensão dinâmica e profunda do comportamento financeiro individual. Isso é crucial porque até mesmo pequenos ganhos em performance de modelos centrais podem gerar valor significativo [11, 4]. Inspirados por avanços em outros domínios, como processamento de linguagem natural (NLP) e visão computacional, onde modelos aprendem representações ricas diretamente a partir de dados brutos, iniciamos uma jornada para aplicar Foundation Models a dados financeiros [3, 4]. Esse movimento representa um passo fundamental na direção da visão IA-First do Nubank [11].
Nossa evolução acelerou significativamente com a aquisição da Hyperplane, em julho de 2024, integrando sua expertise no desenvolvimento de modelos de grande escala para comportamento financeiro à cultura de mais de uma década do Nubank em levar inovação tecnológica à produção. Desde então, times de plataforma e produto têm colaborado para treinar e implantar large language models em diversos casos de uso de modelagem preditiva, estabelecendo as bases para um futuro financeiro mais inteligente e centrado no cliente [11].
Desde a introdução inicial do nuFormer, já o colocamos em produção para resolver problemas de crédito em larga escala no Brasil. Também expandimos o uso de foundation models por todo o Nubank, alcançando ganhos expressivos em avaliações offline em crédito, empréstimos, previsão de renda e cross-sell. Esse avanço demonstra como o trabalho dos nossos times pode ser entregue de forma horizontal em toda a empresa.
Arquitetando o entendimento: parametrizando nossos modelos fundacionais
No núcleo da nossa abordagem está a adoção de modelos sequenciais baseados em transformers, que são particularmente eficazes para capturar dependências de longo prazo em dados sequenciais. Essa característica é essencial para entender variações sazonais e cíclicas nos hábitos de consumo [1]. Adaptamos esses modelos para lidar tanto com atributos textuais quanto estruturados das transações. Chamamos essa abordagem de nuFormer [4].
Definindo a interface de transações: dos dados brutos aos embeddings
Transformers operam sobre sequências de embeddings. Por isso, um passo fundamental foi definir como converter uma transação do usuário em um formato que o modelo consiga processar [1]. Em vez de atribuir IDs únicos para cada combinação possível de transações, o que gera espaços massivos de IDs e problemas de cold start, optamos por uma versão modificada da abordagem “text-is-all-you-need” [1, 10].
Representamos cada transação por meio de seus atributos, como:
Essa representação modular permite a inclusão simples de novas features categóricas ou numéricas e é mais eficiente em termos de tokens do que uma abordagem totalmente baseada em texto. Em seguida, concatenamos as strings de transações de uma conta, adicionando tokens separadores e truncando a sequência para um tamanho máximo de contexto [1].
Escalando para gerar insight: pré-treinamento e parâmetros do modelo
Nosso pré-treinamento utiliza tarefas clássicas de modelagem de linguagem, como next token prediction (NTP) e masked language modeling (MLM). Nesse processo, os tokens das transações são incorporados por meio de uma tabela de embeddings [1].
Volume de dados de pré-treinamento
Embora conjuntos com cerca de 5 milhões de linhas de usuários mais rótulos já apresentem resultados promissores, observamos ganhos incrementais ao escalar para 20 milhões e 40 milhões de registros. Isso indica que os modelos continuam se beneficiando de maior exposição a padrões transacionais.
Comprimento de contexto
Compreender o comportamento financeiro frequentemente exige observar um histórico longo do usuário. Contextos maiores tendem a capturar melhor essas dependências. No entanto, o custo computacional da atenção cresce quadraticamente com o tamanho do contexto. Isso traz desafios como lentidão no treino e risco de divergência. A Figura 1 ilustra o aumento de performance conforme o comprimento do contexto cresce.
Figura 1: AUC de teste do nuFormer para diferentes comprimentos de contexto, 512, 1024 e 2048, com modelos de 24M e 330M parâmetros.
Tamanho do modelo
Demonstramos melhorias significativas de performance ao escalar o tamanho do modelo. Benchmarks iniciais mostram ganhos claros ao passar de 24 milhões para 330 milhões de parâmetros [1]. Enquanto modelos de 24M são úteis para experimentação rápida, os de 330M geralmente apresentam melhor desempenho nos tasks finais. Estamos ativamente trabalhando para escalar ainda mais, visando modelos de 700 milhões e 1,5 bilhão de parâmetros. O objetivo é capturar sinais comportamentais ainda mais complexos e propriedades emergentes [3, 11].
Figura 2: AUC de teste do nuFormer para diferentes volumes de dados de treino, 5M, 20M, 40M e 100M, com modelos de 24M e 330M parâmetros.
Conheça nossas oportunidades
Construindo a narrativa do usuário: seleção estratégica de dados
A abordagem digital-first e multi-país do Nubank gera volumes massivos de dados transacionais ricos, além de outras interações dos usuários, como eventos no app [3, 11]. Construir narrativas de usuário ideais para nossos foundation models envolve tratar a seleção e a representação de dados como um problema de busca em hiperparâmetros. O objetivo é incluir o máximo de informação útil possível usando o menor número de tokens, respeitando a janela de contexto limitada dos transformers [6].
Diversidade de fontes e seleção de dados
Dividimos nossos dados em diversas fontes. Embora seja possível pré-treinar com um conjunto mais amplo, o alinhamento entre as fontes usadas no pré-treinamento e no fine-tuning melhora a performance. Utilizamos um framework modular de pré-processadores que convertem atributos das transações em tokens [6]. Por exemplo:
De forma crucial, incorporamos dados do Sistema de Informações de Crédito (SCR) em nossos modelos brasileiros, oferecendo insights valiosos sobre o histórico financeiro dos usuários e suas relações com outras instituições financeiras antes (e depois) de ingressarem no Nubank [6]. Essa inclusão nos ajuda a entender melhor nossos clientes e a construir soluções mais adequadas às suas necessidades.
Validação experimental
A inclusão de diferentes fontes de dados e representações é validada por meio de experimentação rigorosa e avaliação empírica usando métricas offline [6]. Esse processo iterativo mostra que simplesmente adicionar mais tokens nem sempre melhora a performance. Em alguns casos, devido às limitações de contexto, pode até piorar os resultados. Nosso framework permite ir de uma fonte de dados bruta até resultados experimentais em poucos dias. Isso reduz drasticamente o esforço e a incerteza associados ao feature engineering tradicional [6].
Medindo impacto: avaliando nossos modelos pré-treinados
As avaliações iniciais dos modelos pré-treinados envolveram o treino de árvores de gradient boosting sobre os embeddings gerados. No entanto, observamos que essa abordagem capturava pouco sinal. Além disso, os ganhos nem sempre se propagavam para os modelos downstream. Para liberar todo o potencial desses modelos, passamos a realizar fine-tuning supervisionado diretamente para tarefas específicas [3].
Ajuste fino supervisionado
O processo consiste em adicionar uma prediction head linear a um transformer pré-treinado. Essa camada prevê um rótulo, binário, multiclasse ou de regressão, a partir do embedding final do token, também chamado de embedding do usuário.
Para maximizar a performance downstream, o modelo fine-tuned geralmente inclui features tabulares específicas da tarefa. Essas features são combinadas por um módulo de blending que integra as informações tabulares com os embeddings transacionais. Essa abordagem gera resultados excepcionais, mas avalia o poder da combinação entre embeddings e features tabulares.
Para avaliar isoladamente os modelos pré-treinados, congelamos o backbone e alimentamos o modelo apenas com transações. Nesse cenário, as features tabulares são excluídas do blending head. Isso ajuda a isolar o impacto dos embeddings transacionais. Ainda assim, esse processo exige fine-tuning, o que demanda tempo e recursos computacionais adicionais. No futuro, buscamos criar benchmarks melhores para modelos pré-treinados standalone, capazes de gerar embeddings não supervisionados para múltiplas tarefas.
Uma fronteira ativa de pesquisa
Modelos fundacionais aplicados a finanças formam um campo em rápida evolução. Apesar dos avanços expressivos, esta continua sendo uma área de pesquisa ativa, com muito espaço para inovação. Seguimos explorando novas arquiteturas, estratégias de pré-treinamento, casos de uso e metodologias de avaliação para expandir os limites do que é possível.
O caminho à frente
Nossos primeiros sucessos ao implantar modelos fundacionais preditivos na plataforma de IA do Nubank representam um passo inicial, porém significativo, rumo à nossa visão AI-First [11]. Nossa estratégia permanece clara e ambiciosa:
Continuaremos explorando parâmetros ótimos de modelo, incorporando fontes de dados ainda mais diversas e refinando nossas técnicas de avaliação. Essa transformação profunda em tecnologia e produto permitirá ao Nubank entender seus clientes muito além das capacidades dos métodos tradicionais. Isso nos ajuda a atender às suas necessidades financeiras no momento certo e a oferecer soluções verdadeiramente personalizadas e inteligentes [3].
O futuro das finanças é inteligente. No Nubank, estamos construindo esse futuro uma transação cheia de insight por vez.
Referências
Conheça nossas oportunidades