{"id":32938,"date":"2025-05-14T11:47:05","date_gmt":"2025-05-14T14:47:05","guid":{"rendered":"https:\/\/building.nubank.com\/?p=32938"},"modified":"2025-05-14T13:12:59","modified_gmt":"2025-05-14T16:12:59","slug":"ajuste-fino-de-modelos-de-usuario-basados-en-transacciones","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/es\/ajuste-fino-de-modelos-de-usuario-basados-en-transacciones\/","title":{"rendered":"Ajuste Fino de Modelos de Usuario Basados en Transacciones"},"content":{"rendered":"\n

Autores: Daniel Braithwaite<\/a>, Misael Cavalcanti<\/a> y Hiroto Udagawa<\/a><\/em><\/p>\n\n\n\n

El trabajo descrito aqu\u00ed es un esfuerzo colaborativo de varios ingenieros de Nubank (en orden alfab\u00e9tico): <\/em>Abhishek Shivanna<\/em><\/a>, <\/em>Arissa Yoshida<\/em><\/a>, <\/em>Austin McEver<\/em><\/a>, <\/em>Brian Zanfelice<\/em><\/a>, <\/em>Cristiano Breuel<\/em><\/a>, <\/em>Evan Wingert<\/em><\/a>, <\/em>Fabio Souza<\/em><\/a>, <\/em>Felipe Meneses<\/em><\/a>, <\/em>Helder Dias<\/em><\/a>, <\/em>Henrique Fernandes<\/em><\/a>, <\/em>Liam O’Neill<\/em><\/a>, <\/em>Marcelo Buga<\/em><\/a>, y <\/em>Matheus Ramos<\/em><\/a>. <\/em> Tambi\u00e9n agradecemos a Rohan Ramanath, Daniel Silva y Guilherme Tanure por su apoyo.<\/p>\n\n\n\n

Traducciones: <\/em>Cinthia Tanaka<\/em><\/a> y <\/em>Kevin Rossell<\/em><\/a><\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Esta es la tercera parte de una serie de publicaciones en el blog sobre el modelado de las finanzas de los clientes a trav\u00e9s de modelos fundacionales. Lee nuestra primera publicaci\u00f3n en el blog<\/a> para una introducci\u00f3n al problema. Revisa nuestra segunda publicaci\u00f3n en el blog<\/a> para m\u00e1s contexto sobre c\u00f3mo formulamos nuestros modelos fundacionales para datos de transacciones.<\/p>\n\n\n\n

En nuestras publicaciones anteriores sobre modelos fundacionales de clientes basados en transacciones, demostramos c\u00f3mo el aprendizaje auto-supervisado (preentrenamiento) puede producir embeddings generales (no supervisados) que representan el comportamiento de un cliente a partir de datos de transacciones. Estos embeddings no est\u00e1n optimizados para ninguna tarea en particular y se pueden aplicar a una variedad de problemas. Sin embargo, si queremos lograr un rendimiento \u00f3ptimo en una tarea espec\u00edfica, podemos refinar a\u00fan m\u00e1s el transformador y sus embeddings a trav\u00e9s de un proceso llamado ajuste fino supervisado.<\/p>\n\n\n\n

Nuestro proceso de ajuste fino supervisado es un paso secundario en el cual tomamos un modelo preentrenado y a\u00f1adimos una capa lineal, llamada cabeza de predicci\u00f3n, para predecir la etiqueta dada, como una clasificaci\u00f3n binaria, multi-clase o un objetivo de regresi\u00f3n. La entrada para esta cabeza de predicci\u00f3n es el embedding del token final, denominado embedding de usuario, a partir de la salida del transformador causal. Luego optimizamos el transformador simult\u00e1neamente con la capa de predicci\u00f3n para minimizar la p\u00e9rdida (es decir, entrop\u00eda cruzada, error cuadr\u00e1tico medio). As\u00ed, despu\u00e9s del ajuste fino supervisado, las caracter\u00edsticas de embedding est\u00e1n adaptadas a la tarea dada. La figura abajo (a la izquierda) muestra este proceso. Adem\u00e1s, la figura a la derecha abajo muestra la mejora relativa del 1.68% en AUC lograda al ajustar finamente a trav\u00e9s de varias tareas de referencia.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Uma motiva\u00e7\u00e3o principal para o desenvolvimento de modelos fundacionais para dados de transa\u00e7\u00f5es \u00e9 capturar o sinal nesses dados de maneira mais eficaz atrav\u00e9s de uma codifica\u00e7\u00e3o aprimorada (aprendida). Al\u00e9m disso, como visto em outros campos, hipotetizamos que \u00e0 medida que escalamos esses modelos (por exemplo, mais hist\u00f3rico de transa\u00e7\u00f5es, modelos maiores, mais dados), o sinal capturado dos dados de transa\u00e7\u00f5es se tornar\u00e1 mais rico, levando a um desempenho ainda melhor em tarefas posteriores. Outro benef\u00edcio desses modelos de funda\u00e7\u00e3o \u00e9 que eles aliviam a necessidade de engenharia manual de features a partir dos dados de transa\u00e7\u00f5es sequenciais. No entanto, nem todos os dados \u00fateis s\u00e3o sequenciais. Na verdade, em muitos casos, os dados t\u00eam natureza tabular (por exemplo, informa\u00e7\u00f5es de bureau), o que significa que precisamos de uma solu\u00e7\u00e3o que nos permita incorporar tanto dados sequenciais quanto tabulares em uma solu\u00e7\u00e3o final.<\/p>\n\n\n\n

O processo de combinar embeddings com features tabulares \u00e9 conhecido como fus\u00e3o<\/em> (ou blending<\/em>). No restante deste post, discutimos sobre a fus\u00e3o e, finalmente, introduzimos uma arquitetura que incorpora essas features no procedimento de ajuste fino do transformer. A abordagem trivial para a fus\u00e3o \u00e9 usar modelos de \u00e1rvores de decis\u00e3o impulsionadas por gradiente (GBT; por exemplo, XGBoost [2] ou LightGBM [3]), para combinar os dados tabulares, pois geralmente s\u00e3o considerados estado da arte [1]. Junto com essas features tabulares, embeddings ajustados podem ser passados para o treinamento do GBT, em um processo denominado fus\u00e3o tardia [8]. No entanto, a fus\u00e3o tardia \u00e9 sub\u00f3tima porque os embeddings ajustados s\u00e3o aprendidos separadamente das features tabulares.<\/p>\n\n\n\n

Em contraste com a fus\u00e3o tardia, propomos um procedimento de treinamento baseado em fus\u00e3o conjunta [8]. Este procedimento otimiza conjuntamente o transformer junto com o modelo de fus\u00e3o, permitindo que o transformer capture melhor informa\u00e7\u00f5es n\u00e3o presentes nas features tabulares. A figura abaixo mostra uma compara\u00e7\u00e3o de alto n\u00edvel entre fus\u00e3o tardia e fus\u00e3o conjunta (os blocos verdes indicam quais se\u00e7\u00f5es do modelo s\u00e3o treinadas).<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Infelizmente, os GBTs n\u00e3o s\u00e3o diferenci\u00e1veis e, portanto, s\u00e3o incompat\u00edveis com a fus\u00e3o conjunta. Motivados por essa incompatibilidade, investimos em redes de features tabulares baseadas em Redes Neurais Profundas (DNNs). No entanto, apesar de alguns trabalhos recentes mostrarem que DNNs podem ser competitivas com GBTs [4], o desempenho das redes de features tabulares baseadas em DNNs pode variar drasticamente entre problemas. Por exemplo, um artigo de revis\u00e3o [5] avaliou 19 modelos de features tabulares (NN + GBT) em 176 conjuntos de dados, e cada modelo teve o melhor desempenho em um conjunto de dados e o pior em outro, tornando desafiador adotar uma abordagem \u00fanica para todos.<\/p>\n\n\n\n

O primeiro passo em nossa abordagem foi alcan\u00e7ar paridade entre DNNs e modelos GBT apenas nas features tabulares. Selecionamos a arquitetura DCNv2 [6], pois mostrou sucesso em problemas relacionados em grande escala (por exemplo, utilizada pelo Google [6]). No entanto, os resultados iniciais mostraram um desempenho muito pior (-0,40%) para os modelos DCNv2 baseados em DNNs em compara\u00e7\u00e3o com os GBTs.<\/p>\n\n\n\n

Em um artigo recente [7], os autores descobriram que incorporar atributos num\u00e9ricos como embeddings atingiu ganhos significativos ao modelar features tabulares num\u00e9ricas em DNNs. Esses embeddings num\u00e9ricos s\u00e3o constru\u00eddos usando ativa\u00e7\u00f5es peri\u00f3dicas em diferentes frequ\u00eancias aprendidas. Combinamos isso com tabelas de embeddings trein\u00e1veis para tamb\u00e9m facilitar embeddings de features categ\u00f3ricas. Incorporar essa estrat\u00e9gia de embedding no modelo DCNv2 nos permitiu alcan\u00e7ar paridade com os GBTs em muitos de nossos problemas internos.<\/p>\n\n\n\n

Apesar de alcan\u00e7ar paridade apenas com features tabulares, o \u00faltimo desafio a superar foi incorporar embeddings de usu\u00e1rios baseados em transformer nesses modelos, mantendo ou superando o desempenho do modelo GBT com DNNs. Tr\u00eas fatores-chave foram cr\u00edticos para alcan\u00e7ar isso. Primeiramente, usamos o DCNv2 para processar as features tabulares incorporadas e projetar o resultado em um embedding de baixa dimens\u00e3o. Esse embedding de features \u00e9 concatenado com o embedding baseado em transformer, e um perceptron de m\u00faltiplas camadas faz a predi\u00e7\u00e3o final. Em segundo lugar, adicionar regulariza\u00e7\u00e3o na forma de decaimento de peso e\/ou dropout nas camadas cruzadas do DCNv2 reduziu o overfitting. Finalmente, adicionar normaliza\u00e7\u00e3o aos embeddings baseados em transformer melhorou a consist\u00eancia do DCNv2, permitindo que o modelo de DNN consistentemente e de maneira confi\u00e1vel superasse os GBTs. A figura abaixo mostra a melhoria relativa m\u00e9dia em AUC para uma cole\u00e7\u00e3o de tarefas de benchmark em v\u00e1rias vers\u00f5es de nosso modelo DNN. Vemos que somente ao combinar o DCNv2 com os embeddings num\u00e9ricos somos capazes de superar o baseline.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Apesar dos desafios em usar DNNs com dados tabulares, conseguimos desenvolver um modelo que funciona bem para nossas tarefas atuais de interesse, utilizando uma combina\u00e7\u00e3o do DCNv2 [6], embeddings num\u00e9ricos, embeddings de features categ\u00f3ricas [7] e regulariza\u00e7\u00e3o. Usando esse modelo DCNv2 com as melhorias mencionadas, podemos treinar o modelo de fus\u00e3o para combinar features e embeddings enquanto simultaneamente ajustamos o modelo transformer. A figura abaixo mostra a fus\u00e3o de features tabulares como parte do processo de ajuste fino. A figura \u00e0 direita abaixo mostra o pr\u00e9-processamento e embedding de features tabulares em mais detalhes.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

En la siguiente figura, visualizamos la ganancia relativa en AUC al usar fusi\u00f3n conjunta versus fusi\u00f3n tard\u00eda en las mismas tareas de referencia mencionadas arriba. Como antes, el modelo de referencia aqu\u00ed es un modelo LightGBM entrenado solo con las caracter\u00edsticas. Esto demuestra la ventaja de afinar conjuntamente con caracter\u00edsticas tabulares. Es importante destacar que, en el caso de tanto la fusi\u00f3n tard\u00eda como la fusi\u00f3n conjunta, la mejora no se obtiene a\u00f1adiendo nuevas fuentes de informaci\u00f3n. M\u00e1s bien, la mejora se logra aprendiendo autom\u00e1ticamente caracter\u00edsticas informativas para la tarea en cuesti\u00f3n al afinar nuestros modelos fundacionales de transacciones.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

En esta publicaci\u00f3n del blog, comenzamos motivando e introduciendo un enfoque est\u00e1ndar de ajuste fino supervisado para aprender embeddings que est\u00e1n adaptados a tareas espec\u00edficas. Posteriormente, introducimos la fusi\u00f3n conjunta, que nos permite combinar conjuntos de caracter\u00edsticas tabulares existentes con nuestros embeddings durante el ajuste fino. La fusi\u00f3n conjunta facilita proporcionar una mejora en el rendimiento a partir de nuestros embeddings de usuario al mismo tiempo que se incorpora cualquier soluci\u00f3n existente basada en caracter\u00edsticas tabulares. Finalmente, demostramos la mejora generada por la fusi\u00f3n conjunta en benchmarks internos.<\/p>\n\n\n\n

Resumen de la serie<\/h2>\n\n\n\n

Si llegaste hasta aqu\u00ed, te invitamos a revisar el resto de la serie de blogs para obtener m\u00e1s contexto y profundidad t\u00e9cnica sobre este enfoque.<\/p>\n\n\n\n