Autor: Daniel Braithwaite e Hiroto Udagawa

O trabalho descrito aqui é um esforço colaborativo de muitos engenheiros do Nubank (em ordem alfabética): Abhishek Shivanna, Arissa Yoshida, Austin McEver, Cristiano Breuel, Brian Zanfelice, Evan Wingert, Fabio Souza, Felipe Meneses, Helder Dias, Henrique Fernandes, Liam O’Neill, Marcelo Buga, Matheus Ramos e Misael Cavalcanti. Também agradecemos a Rohan Ramanath, Daniel Silva e Guilherme Tanure pelo apoio.

Revisores das traduções: Felipe Almeida e Kevin Rossell

Modelos preditivos são a base de muitos sistemas críticos dentro de instituições financeiras, como previsão de risco, detecção de fraudes e recomendações de produtos. Para alimentar essas previsões, a maioria das plataformas de bancos digitais tem acesso a grandes volumes de dados dos usuários, desde transações bancárias e eventos no aplicativo até logs de conversas com o suporte ao cliente. Combinadas, essas fontes podem nos fornecer insights valiosos sobre o que nossos clientes precisam de nós, que somos sua instituição financeira de confiança. Historicamente, porém, essas fontes de dados têm sido usadas para extrair features úteis, mas relativamente simples, para resolver as tarefas preditivas mencionadas. Neste post, propomos o desenvolvimento de modelos fundacionais (do inglês, foundational models)  para dados financeiros, especificamente transações. Esses modelos facilitam a descoberta automatizada de features gerais a partir das transações. Além disso, essas features são úteis para resolver diversas tarefas em todo o Nubank.

Modelos tradicionais de aprendizado de máquina (ML) foram construídos para features tabulares (por exemplo, numéricas, categóricas), que se tornaram a norma para sistemas de aprendizado de máquina na indústria devido à sua simplicidade, interpretabilidade e robustez. Embora essas abordagens funcionem bem na prática, a criação de features tabulares é intensiva e requer muita tentativa e erro. Em outros campos, no entanto, ML avançou em direção à aprendizagem de representações (do inglês, representation learning) diretamente a partir dos dados brutos para tarefas de aprendizado supervisionado. Um exemplo comum é que as redes neurais convolucionais aprendem automaticamente features como bordas, texturas e formas a partir de imagens brutas [1, 2]. Essa configuração facilita a aprendizagem automática de features que resolvem a tarefa de aprendizado supervisionado, evitando assim a necessidade de engenharia manual de features. Apesar dessas técnicas de modelagem mais avançadas existirem em outros domínios (linguagem, visão, sistemas de recomendação sequencial, etc.), a maioria das aplicações de ML na indústria financeira ficou para trás.

Uma das tendências mais significativas recentes no aprendizado de máquina é a noção de modelos fundacionais (do inglês, foundational models), que aprendem representações genéricas de embeddings a partir de dados brutos, como texto [3], imagens [4] e eventos [5]. Esses modelos são treinados com grandes quantidades de dados não rotulados e aproveitam o aprendizado auto-supervisionado (SSL, do inglês self-supervised learning), que envolve a construção implícita de rótulos pseudo-supervisionados a partir dos dados, por exemplo, prever as próximas palavras em uma frase. O uso do SSL permite que os modelos fundacionaisaprendam representações informativas das entradas sem rótulos explícitos. Essas representações podem então ser usadas para resolver diversas tarefas subsequentes com maior precisão, todas dependendo do mesmo modelo base. Isso contrasta com features criadas manualmente ou aprendidas com técnicas supervisionadas, ambas frequentemente dependentes do problema.

Curiosamente, a escalabilidade dos modelos fundacionais também pode resultar em propriedades emergentes. Por exemplo, grandes modelos de linguagem aprendem a realizar tarefas como responder perguntas ou resumir textos simplesmente ao observar a linguagem natural [6]. Como resultado, levantamos a hipótese de que, ao construir modelos de base a partir de transações bancárias e outras fontes de dados dentro de uma instituição financeira, podemos entender nossos clientes além das capacidades dos métodos existentes.

Na Nubank, estamos desenvolvendo modelos de base do zero para permitir que as equipes desbloqueiem os sinais dos vastos volumes de dados financeiros que os clientes produzem diariamente. Além disso, desenvolvemos uma plataforma de IA interna para estender esses modelos além das transações, considerando todas as interações do usuário (por exemplo, eventos no aplicativo) e novos fluxos de transações. As equipes da Nubank podem aproveitar um repositório central de modelos fundacionais e pipelines de ajuste fino para resolver suas tarefas específicas.

Neste post, exploramos modelos fundacionais, especificamente no contexto de dados de transações. Apesar do sucesso dos modelos fundacionais em outros campos, encontramos trabalhos publicamente disponíveis limitados em nosso domínio de interesse. Além disso, na literatura disponível [7, 8], a escala não se aproxima do volume de dados que temos disponível na Nubank. Por exemplo, [8] usa bilhões de transações, enquanto temos acesso a trilhões de transações e eventos entre os mais de 100 milhões de clientes da Nubank. Como mencionado, isso é importante porque o volume de dados é essencial para descobrir as propriedades emergentes de grandes modelos deste tipo.

Nosso objetivo é ingerir as transações ordenadas no tempo de um cliente e representar seu comportamento financeiro como um embedding. Cada transação é representada por texto, juntamente com atributos numéricos e categóricos. Como é comum em outros domínios, como linguagem natural, imagens e áudio, descobrimos que é possível resumir eficientemente o comportamento do cliente aprendendo a prever suas transações futuras. A estrutura geral do nosso modelo fundacional é mostrada na figura abaixo. No restante deste post, apresentamos alguns componentes-chave desse modelo, cujos detalhes serão abordados em posts futuros.

O núcleo do transformer [9] opera em sequências de embeddings. Portanto, devemos definir uma interface entre a transação e esses modelos de sequência para sequência. Isso nos permite construir nossos próprios modelos baseados em transformers por meio de pré-treinamento (do zero) no corpus de transações de usuários da Nubank. Como discutido, uma vantagem-chave desses modelos de embedding de usuários é que eles eliminam a necessidade de engenharia manual de features a partir desses dados. Além disso, observamos promissoras leis de escalabilidade, onde essas representações de usuários se tornam mais poderosas em várias tarefas à medida que aumentamos os dados, a capacidade de computação e o tamanho do modelo.

No entanto, para muitas tarefas subsequentes, as equipes têm soluções existentes baseadas em features tabulares derivadas de fontes de transações e não transações. É importante que qualquer solução baseada em modelos fundacionais possa combinar seus embeddings com essas features tabulares existentes. Isso acelera a adoção, pois podemos demonstrar rapidamente melhorias em cima de qualquer modelo existente. Para facilitar a combinação de embeddings e features, desenvolvemos um processo de ajuste fino de ponta a ponta, que treina uma rede neural profunda (DNN) para combinar embeddings e features tabulares enquanto ajusta conjuntamente o modelo fundacional. Essa abordagem otimiza os modelos fundacionais para qualquer tarefa subsequente específica e alcança desempenho de ponta. Também levantamos a hipótese de que a fusão conjunta facilita a aprendizagem de um embedding que contém sinais ortogonais ao que já é capturado pelas features tabulares.

Este blog post trouxe uma introdução de alto nível à abordagem da Nubank para aproveitar modelos fundacionais para dados financeiros, transformando transações brutas em insights acionáveis. Embora esses modelos se baseiem em fontes de dados padrão usadas em toda a indústria, eles facilitam a aprendizagem automática de features informativas que podem não ser óbvias para cientistas de dados. Por fim, e mais importante, as features geradas por esses modelos fundacionais melhoram a capacidade da Nubank de entender seus consumidores, para que possamos ajudá-los a atender às suas necessidades financeiras no momento certo. Em posts futuros, explicaremos com mais detalhes os aspectos-chave desse modelo.

Resumo da série

Se você chegou até aqui, aproveite para acessar os demais posts da série e entender com mais profundidade o contexto e os detalhes técnicos dessa abordagem.

  • No primeiro blog post, avaliamos o potencial dos foundation models aplicados a dados de transações, mostrando como o aprendizado auto-supervisionado pode gerar embeddings gerais que capturam o comportamento do cliente sem depender de dados rotulados.
  • No segundo blog post, aprofundamos na formulação técnica dos nossos foundation models, detalhando a arquitetura baseada em transformadores causais e como esses embeddings podem ser aplicados a diferentes tarefas.
  • No terceiro blog post, exploramos como melhorar o desempenho em tarefas específicas com o supervised fine-tuning e introduzimos o conceito de joint fusion — uma abordagem que combina dados sequenciais e tabulares em um único processo de treinamento fim a fim.

Conheça nossas oportunidades

Referências

[1] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25.

[2] Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.

[3] Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., … & Sutskever, I. (2021, July). Learning transferable visual models from natural language supervision. In International conference on machine learning (pp. 8748-8763). PmLR.

[4] Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training.

[5] Pancha, N., Zhai, A., Leskovec, J., & Rosenberg, C. (2022, August). Pinnerformer: Sequence modeling for user representation at pinterest. In Proceedings of the 28th ACM SIGKDD conference on knowledge discovery and data mining (pp. 3702-3712).

[6] Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.

[7] Babaev, D., Ovsov, N., Kireev, I., Ivanova, M., Gusev, G., Nazarov, I., & Tuzhilin, A. (2022, June). Coles: Contrastive learning for event sequences with self-supervision. In Proceedings of the 2022 International Conference on Management of Data (pp. 1190-1199).

[8] Skalski, P., Sutton, D., Burrell, S., Perez, I., & Wong, J. (2023, November). Towards a Foundation Purchasing Model: Pretrained Generative Autoregression on Transaction Sequences. In Proceedings of the Fourth ACM International Conference on AI in Finance (pp. 141-149).

[9] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

Conheça nossas oportunidades