{"id":32965,"date":"2025-05-14T11:47:05","date_gmt":"2025-05-14T14:47:05","guid":{"rendered":"https:\/\/building.nubank.com\/?p=32965"},"modified":"2025-05-14T13:12:54","modified_gmt":"2025-05-14T16:12:54","slug":"ajuste-fino-de-modelos-de-usuarios-de-transacoes","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/pt-br\/ajuste-fino-de-modelos-de-usuarios-de-transacoes\/","title":{"rendered":"Ajuste Fino de Modelos de Usu\u00e1rios de Transa\u00e7\u00f5es"},"content":{"rendered":"\n

Autores:<\/strong> Daniel Braithwaite<\/a>, Misael Cavalcanti<\/a> e Hiroto Udagawa<\/a>.<\/em><\/p>\n\n\n\n

O trabalho descrito aqui \u00e9 um esfor\u00e7o colaborativo de v\u00e1rios engenheiros do Nubank (em ordem alfab\u00e9tica): Abhishek Shivanna<\/em><\/a>, <\/em>Arissa Yoshida<\/em><\/a>, <\/em>Austin McEver<\/em><\/a>, <\/em>Brian Zanfelice<\/em><\/a>, <\/em>Cristiano Breuel<\/em><\/a>, <\/em>Evan Wingert<\/em><\/a>, <\/em>Fabio Souza<\/em><\/a>, <\/em>Felipe Meneses<\/em><\/a>, <\/em>Helder Dias<\/em><\/a>, <\/em>Henrique Fernandes<\/em><\/a>, <\/em>Liam O’Neill<\/em><\/a>, <\/em>Marcelo Buga<\/em><\/a> e <\/em>Matheus Ramos<\/em><\/a>. We also thank Rohan Ramanath, Daniel Silva e Guilherme Tanure pelo apoio.<\/em><\/p>\n\n\n\n

Tradu\u00e7\u00e3o t\u00e9cnica: <\/em>Cinthia Tanaka<\/em><\/a> e <\/em>Kevin Rossell<\/em><\/a><\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Esta \u00e9 a terceira parte de uma s\u00e9rie de postagens no blog sobre modelagem de finan\u00e7as de clientes por meio de modelos fundacionais. Leia a nossa primeira postagem no blog<\/a> para uma introdu\u00e7\u00e3o ao problema. Confira nossa segunda postagem no blog<\/a> para mais contexto sobre como formulamos nossos modelos de funda\u00e7\u00e3o para dados de transa\u00e7\u00f5es.<\/p>\n\n\n\n

Em nossas postagens anteriores sobre modelos fundacionais baseados em transa\u00e7\u00f5es para clientes, demonstramos como o aprendizado auto-supervisionado (pr\u00e9-treinamento) pode gerar embeddings gerais (n\u00e3o supervisionados) que representam o comportamento de um cliente a partir de dados de transa\u00e7\u00f5es. Esses embeddings n\u00e3o s\u00e3o otimizados para nenhuma tarefa espec\u00edfica e podem ser aplicados a uma variedade de problemas. No entanto, se quisermos alcan\u00e7ar um desempenho ideal em uma tarefa espec\u00edfica, podemos refinar ainda mais o transformer e seus embeddings por meio de um processo chamado ajuste fino supervisionado.<\/p>\n\n\n\n

Nosso processo de ajuste fino supervisionado \u00e9 uma etapa secund\u00e1ria na qual partimos de um modelo pr\u00e9-treinado e adicionamos uma camada linear, chamada de camada de predi\u00e7\u00e3o<\/em>, para prever o r\u00f3tulo fornecido, como uma classifica\u00e7\u00e3o bin\u00e1ria, multi-classe ou alvo de regress\u00e3o. A entrada para essa camada de predi\u00e7\u00e3o \u00e9 o embedding do \u00faltimo token da sequ\u00eancia, denominado embedding do usu\u00e1rio<\/em>, a partir da sa\u00edda do transformer causal. Ent\u00e3o, otimizamos o transformer simultaneamente com a camada de predi\u00e7\u00e3o para minimizar a perda (ou seja, entropia cruzada, erro quadr\u00e1tico m\u00e9dio). Assim, ap\u00f3s o ajuste fino supervisionado, os embeddings estar\u00e3o adaptados \u00e0 tarefa dada. A figura abaixo (\u00e0 esquerda) mostra esse processo. Al\u00e9m disso, a figura \u00e0 direita abaixo mostra uma melhoria relativa de 1,68% no AUC alcan\u00e7ada pelo ajuste fino em v\u00e1rias tarefas de benchmark.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Uma motiva\u00e7\u00e3o principal para o desenvolvimento de modelos fundacionais para dados de transa\u00e7\u00f5es \u00e9 capturar o sinal nesses dados de maneira mais eficaz atrav\u00e9s de uma codifica\u00e7\u00e3o aprimorada (aprendida). Al\u00e9m disso, como visto em outros campos, hipotetizamos que \u00e0 medida que escalamos esses modelos (por exemplo, mais hist\u00f3rico de transa\u00e7\u00f5es, modelos maiores, mais dados), o sinal capturado dos dados de transa\u00e7\u00f5es se tornar\u00e1 mais rico, levando a um desempenho ainda melhor em tarefas posteriores. Outro benef\u00edcio desses modelos de funda\u00e7\u00e3o \u00e9 que eles aliviam a necessidade de engenharia manual de features a partir dos dados de transa\u00e7\u00f5es sequenciais. No entanto, nem todos os dados \u00fateis s\u00e3o sequenciais. Na verdade, em muitos casos, os dados t\u00eam natureza tabular (por exemplo, informa\u00e7\u00f5es de bureau), o que significa que precisamos de uma solu\u00e7\u00e3o que nos permita incorporar tanto dados sequenciais quanto tabulares em uma solu\u00e7\u00e3o final.<\/p>\n\n\n\n

O processo de combinar embeddings com features tabulares \u00e9 conhecido como fus\u00e3o<\/em> (ou blending<\/em>). No restante deste post, discutimos sobre a fus\u00e3o e, finalmente, introduzimos uma arquitetura que incorpora essas features no procedimento de ajuste fino do transformer. A abordagem trivial para a fus\u00e3o \u00e9 usar modelos de \u00e1rvores de decis\u00e3o impulsionadas por gradiente (GBT; por exemplo, XGBoost [2] ou LightGBM [3]), para combinar os dados tabulares, pois geralmente s\u00e3o considerados estado da arte [1]. Junto com essas features tabulares, embeddings ajustados podem ser passados para o treinamento do GBT, em um processo denominado fus\u00e3o tardia [8]. No entanto, a fus\u00e3o tardia \u00e9 sub\u00f3tima porque os embeddings ajustados s\u00e3o aprendidos separadamente das features tabulares.<\/p>\n\n\n\n

Em contraste com a fus\u00e3o tardia, propomos um procedimento de treinamento baseado em fus\u00e3o conjunta [8]. Este procedimento otimiza conjuntamente o transformer junto com o modelo de fus\u00e3o, permitindo que o transformer capture melhor informa\u00e7\u00f5es n\u00e3o presentes nas features tabulares. A figura abaixo mostra uma compara\u00e7\u00e3o de alto n\u00edvel entre fus\u00e3o tardia e fus\u00e3o conjunta (os blocos verdes indicam quais se\u00e7\u00f5es do modelo s\u00e3o treinadas).<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Infelizmente, os GBTs n\u00e3o s\u00e3o diferenci\u00e1veis e, portanto, s\u00e3o incompat\u00edveis com a fus\u00e3o conjunta. Motivados por essa incompatibilidade, investimos em redes de features tabulares baseadas em Redes Neurais Profundas (DNNs). No entanto, apesar de alguns trabalhos recentes mostrarem que DNNs podem ser competitivas com GBTs [4], o desempenho das redes de features tabulares baseadas em DNNs pode variar drasticamente entre problemas. Por exemplo, um artigo de revis\u00e3o [5] avaliou 19 modelos de features tabulares (NN + GBT) em 176 conjuntos de dados, e cada modelo teve o melhor desempenho em um conjunto de dados e o pior em outro, tornando desafiador adotar uma abordagem \u00fanica para todos.<\/p>\n\n\n\n

O primeiro passo em nossa abordagem foi alcan\u00e7ar paridade entre DNNs e modelos GBT apenas nas features tabulares. Selecionamos a arquitetura DCNv2 [6], pois mostrou sucesso em problemas relacionados em grande escala (por exemplo, utilizada pelo Google [6]). No entanto, os resultados iniciais mostraram um desempenho muito pior (-0,40%) para os modelos DCNv2 baseados em DNNs em compara\u00e7\u00e3o com os GBTs.<\/p>\n\n\n\n

Em um artigo recente [7], os autores descobriram que incorporar atributos num\u00e9ricos como embeddings atingiu ganhos significativos ao modelar features tabulares num\u00e9ricas em DNNs. Esses embeddings num\u00e9ricos s\u00e3o constru\u00eddos usando ativa\u00e7\u00f5es peri\u00f3dicas em diferentes frequ\u00eancias aprendidas. Combinamos isso com tabelas de embeddings trein\u00e1veis para tamb\u00e9m facilitar embeddings de features categ\u00f3ricas. Incorporar essa estrat\u00e9gia de embedding no modelo DCNv2 nos permitiu alcan\u00e7ar paridade com os GBTs em muitos de nossos problemas internos.<\/p>\n\n\n\n

Apesar de alcan\u00e7ar paridade apenas com features tabulares, o \u00faltimo desafio a superar foi incorporar embeddings de usu\u00e1rios baseados em transformer nesses modelos, mantendo ou superando o desempenho do modelo GBT com DNNs. Tr\u00eas fatores-chave foram cr\u00edticos para alcan\u00e7ar isso. Primeiramente, usamos o DCNv2 para processar as features tabulares incorporadas e projetar o resultado em um embedding de baixa dimens\u00e3o. Esse embedding de features \u00e9 concatenado com o embedding baseado em transformer, e um perceptron de m\u00faltiplas camadas faz a predi\u00e7\u00e3o final. Em segundo lugar, adicionar regulariza\u00e7\u00e3o na forma de decaimento de peso e\/ou dropout nas camadas cruzadas do DCNv2 reduziu o overfitting. Finalmente, adicionar normaliza\u00e7\u00e3o aos embeddings baseados em transformer melhorou a consist\u00eancia do DCNv2, permitindo que o modelo de DNN consistentemente e de maneira confi\u00e1vel superasse os GBTs. A figura abaixo mostra a melhoria relativa m\u00e9dia em AUC para uma cole\u00e7\u00e3o de tarefas de benchmark em v\u00e1rias vers\u00f5es de nosso modelo DNN. Vemos que somente ao combinar o DCNv2 com os embeddings num\u00e9ricos somos capazes de superar o baseline.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Apesar dos desafios em usar DNNs com dados tabulares, conseguimos desenvolver um modelo que funciona bem para nossas tarefas atuais de interesse, utilizando uma combina\u00e7\u00e3o do DCNv2 [6], embeddings num\u00e9ricos, embeddings de features categ\u00f3ricas [7] e regulariza\u00e7\u00e3o. Usando esse modelo DCNv2 com as melhorias mencionadas, podemos treinar o modelo de fus\u00e3o para combinar features e embeddings enquanto simultaneamente ajustamos o modelo transformer. A figura abaixo mostra a fus\u00e3o de features tabulares como parte do processo de ajuste fino. A figura \u00e0 direita abaixo mostra o pr\u00e9-processamento e embedding de features tabulares em mais detalhes.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Na figura a seguir, visualizamos o ganho relativo em AUC ao usar fus\u00e3o conjunta versus fus\u00e3o tardia nas mesmas tarefas de benchmark mencionadas acima. Como anteriormente, o nosso baseline aqui \u00e9 um modelo LightGBM treinado apenas com as features. Isso demonstra a vantagem de realizar o ajuste fino conjuntamente com features tabulares. Importante notar que, tanto no caso da fus\u00e3o tardia quanto da fus\u00e3o conjunta, a melhora n\u00e3o \u00e9 obtida pela adi\u00e7\u00e3o de novas fontes de informa\u00e7\u00e3o. Em vez disso, a melhoria \u00e9 alcan\u00e7ada aprendendo automaticamente features informativas para a tarefa em quest\u00e3o por meio do ajuste fino de nossos modelos fundacionais de transa\u00e7\u00f5es.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Neste post, come\u00e7amos motivando e introduzindo uma abordagem padr\u00e3o de ajuste fino supervisionado para aprender embeddings adaptados a tarefas espec\u00edficas. Em seguida, apresentamos a fus\u00e3o conjunta, que nos permite combinar conjuntos de features tabulares existentes com nossos embeddings durante o ajuste fino. A fus\u00e3o conjunta facilita a melhoria do desempenho a partir de nossos embeddings de usu\u00e1rios, ao mesmo tempo em que incorpora qualquer solu\u00e7\u00e3o existente baseada em features tabulares. Por fim, demonstramos a melhoria gerada pela fus\u00e3o conjunta em benchmarks internos.<\/p>\n\n\n\n

Se voc\u00ea chegou at\u00e9 aqui, aproveite para acessar os demais posts da s\u00e9rie e entender com mais profundidade o contexto e os detalhes t\u00e9cnicos dessa abordagem.<\/p>\n\n\n\n

Resumo da s\u00e9rie<\/h2>\n\n\n\n

Se voc\u00ea chegou at\u00e9 aqui, aproveite para acessar os demais posts da s\u00e9rie e entender com mais profundidade o contexto e os detalhes t\u00e9cnicos dessa abordagem.<\/p>\n\n\n\n