O tema debatido no Nubank DS&ML Meetup #98 foi o poder transformador do processamento de dados em tempo real no contexto do banco digital. Aqui no Nubank, nossa stack propriet\u00e1ria (a Avalanche) integra tecnologias avan\u00e7adas para gerar insights instant\u00e2neos e respostas r\u00e1pidas.<\/p>\n\n\n\n
Da detec\u00e7\u00e3o robusta de fraudes \u00e0 personaliza\u00e7\u00e3o da experi\u00eancia do cliente, nossas engenheiras e engenheiros de machine learning \u2014 Caroline Cust\u00f3dio, Lucas Nolasco, Luiz Felix e Ot\u00e1vio Vasques \u2014 mostraram como estamos revolucionando seguran\u00e7a, efici\u00eancia e experi\u00eancia do usu\u00e1rio com o uso de analytics em tempo real.<\/p>\n\n\n\n
Avalanche \u00e9 uma abordagem padronizada de streaming de dados em tempo real, integrada \u00e0 arquitetura do Nubank. Enquanto o processamento em lote tradicional analisa dados em intervalos, a Avalanche processa fluxos cont\u00ednuos, permitindo ao Nubank identificar tend\u00eancias e anomalias de forma instant\u00e2nea.<\/p>\n\n\n\n
Essa capacidade \u00e9 respons\u00e1vel por aprimorar a tomada de decis\u00e3o em diversas equipes do Nu.<\/p>\n\n\n\n
O Kubernetes \u00e9 utilizado na aloca\u00e7\u00e3o de recursos e na gest\u00e3o de aplica\u00e7\u00f5es essenciais para opera\u00e7\u00f5es de streaming em escala. Seus recursos customizados e processos automatizados de deploy facilitam a manuten\u00e7\u00e3o de workflows complexos de streaming.<\/p>\n\n\n\n
No Nubank, o Kubernetes \u00e9 a base para o deploy de aplica\u00e7\u00f5es Apache Flink, garantindo escalabilidade e confiabilidade mesmo em cen\u00e1rios de alta demanda.<\/p>\n\n\n\n
O Kafka \u00e9 a camada de mensagens da Avalanche e possibilita uma comunica\u00e7\u00e3o \u00e0 prova de falhas entre aplica\u00e7\u00f5es de streaming.<\/p>\n\n\n\n
Ele mant\u00e9m mensagens temporariamente e permite a recupera\u00e7\u00e3o em caso de falhas sem perda de dados, o que garante consist\u00eancia e alta disponibilidade do sistema, mesmo sob grande volume.<\/p>\n\n\n\n
O Flink entrega capacidades poderosas de analytics em tempo real, com suporte a tarefas sofisticadas como janelas baseadas no tempo do evento, processamento com estado e joins de dados em tempo real.<\/p>\n\n\n\n
Ele gerencia com efici\u00eancia tanto fluxos finitos quanto infinitos de dados, e permite ao Nubank aplicar l\u00f3gica de neg\u00f3cios avan\u00e7ada de forma din\u00e2mica e eficiente.<\/p>\n\n\n\n
Complementando o Flink, o Pinot oferece um banco de dados anal\u00edtico altamente responsivo, ideal para intera\u00e7\u00f5es em tempo real com usu\u00e1rios.<\/p>\n\n\n\n
Com ele, analistas e desenvolvedores do Nu podem executar agrega\u00e7\u00f5es e consultas complexas em quest\u00e3o de segundos, acelerando decis\u00f5es orientadas por dados em tempo real de maneira \u00e1gil e flex\u00edvel.<\/p>\n\n\n\n
Redes neurais sequenciais s\u00e3o utilizadas para detectar fraudes em tempo real. Esses modelos processam dados recentes de transa\u00e7\u00f5es e padr\u00f5es de comportamento de clientes em milissegundos, permitindo avalia\u00e7\u00f5es altamente precisas de risco.<\/p>\n\n\n\n
Integrando Flink e Pinot, o sistema analisa continuamente eventos novos e hist\u00f3ricos, identificando comportamentos suspeitos de forma r\u00e1pida. Por exemplo, ao detectar uma transa\u00e7\u00e3o potencialmente fraudulenta, o sistema aciona uma an\u00e1lise imediata e permite uma resposta proativa, reduzindo significativamente o risco de perda financeira e fortalecendo a confian\u00e7a do cliente.<\/p>\n\n\n\n
O Autopilot \u00e9 um sistema criado para ajustar medidas antifraude com base em dados em tempo real. Thresholds est\u00e1ticos podem se tornar rapidamente obsoletos diante da evolu\u00e7\u00e3o dos padr\u00f5es de fraude.<\/p>\n\n\n\n
O Autopilot, por sua vez, monitora continuamente os fluxos de transa\u00e7\u00f5es e calibra automaticamente os limites de detec\u00e7\u00e3o conforme for necess\u00e1rio.<\/p>\n\n\n\n
Utilizando as capacidades de an\u00e1lise em tempo real do Avalanche, o Autopilot se adapta rapidamente a mudan\u00e7as, para gerenciar o risco de fraude. Essa abordagem \u00e1gil n\u00e3o apenas otimiza o uso dos recursos operacionais e mant\u00e9m o controle de SLA, como tamb\u00e9m garante tempos de resposta r\u00e1pidos. Isto \u00e9 essencial no contexto das finan\u00e7as digitais.<\/p>\n\n\n\n
O On-Demand Features Handler foi desenvolvido para facilitar a gest\u00e3o de features em tempo real em diferentes aplica\u00e7\u00f5es orientadas a dados. Ao padronizar a produ\u00e7\u00e3o e o consumo de features, engenheiras e engenheiros podem focar no desenvolvimento de modelos de machine learning de ponta, sem se preocupar com detalhes complexos de infraestrutura.<\/p>\n\n\n\n
Esse handler oferece uma interface HTTP intuitiva, abstraindo os processos internos que envolvem Kafka, Flink e Pinot. O resultado \u00e9 mais colabora\u00e7\u00e3o, mais consist\u00eancia de dados e maior agilidade para colocar solu\u00e7\u00f5es robustas de ML em produ\u00e7\u00e3o.<\/p>\n\n\n\n
Uma aplica\u00e7\u00e3o pr\u00e1tica desse sistema \u00e9 a detec\u00e7\u00e3o de solicitantes de cr\u00e9dito considerados oportunistas. Ou seja, pessoas com alta probabilidade de inadimpl\u00eancia.<\/p>\n\n\n\n
Analisando em tempo real as intera\u00e7\u00f5es dos clientes com o app do Nu, modelos de machine learning conseguem identificar comportamentos de risco com precis\u00e3o.<\/p>\n\n\n\n
Essa aplica\u00e7\u00e3o alcan\u00e7ou uma melhoria de 13% na efic\u00e1cia do modelo para identificar candidatos de alto risco em compara\u00e7\u00e3o com sistemas anteriores, demonstrando os benef\u00edcios das capacidades de an\u00e1lise em tempo real do Avalanche. Esta melhoria se traduz diretamente em uma gest\u00e3o de risco financeiro mais eficiente, protegendo o Nubank e seus clientes.<\/p>\n\n\n\n
Com a Avalanche, o Nubank impulsiona a inova\u00e7\u00e3o nos servi\u00e7os financeiros digitais. Ao transformar insights em tempo real em decis\u00f5es mais r\u00e1pidas e seguras (seja em preven\u00e7\u00e3o de fraudes, engajamento do cliente ou efici\u00eancia operacional) seguimos estabelecendo novos padr\u00f5es para o nosso setor.<\/p>\n\n\n\n
As capacidades avan\u00e7adas de streaming da Avalanche mant\u00eam o Nubank na vanguarda da tecnologia, moldando o futuro do sistema banc\u00e1rio com inova\u00e7\u00e3o e excel\u00eancia t\u00e9cnica.<\/p>\n\n\n\n