O tema debatido no Nubank DS&ML Meetup #98 foi o poder transformador do processamento de dados em tempo real no contexto do banco digital. Aqui no Nubank, nossa stack proprietária (a Avalanche) integra tecnologias avançadas para gerar insights instantâneos e respostas rápidas.

Da detecção robusta de fraudes à personalização da experiência do cliente, nossas engenheiras e engenheiros de machine learning — Caroline Custódio, Lucas Nolasco, Luiz Felix e Otávio Vasques — mostraram como estamos revolucionando segurança, eficiência e experiência do usuário com o uso de analytics em tempo real.

Avalanche stack: impulsionando o processamento de dados em tempo real no Nu

Avalanche é uma abordagem padronizada de streaming de dados em tempo real, integrada à arquitetura do Nubank. Enquanto o processamento em lote tradicional analisa dados em intervalos, a Avalanche processa fluxos contínuos, permitindo ao Nubank identificar tendências e anomalias de forma instantânea.

Essa capacidade é responsável por aprimorar a tomada de decisão em diversas equipes do Nu.

Conheça nossas oportunidades

Componentes principais da Avalanche

Kubernetes: a espinha dorsal da infraestrutura de streaming

O Kubernetes é utilizado na alocação de recursos e na gestão de aplicações essenciais para operações de streaming em escala. Seus recursos customizados e processos automatizados de deploy facilitam a manutenção de workflows complexos de streaming.

No Nubank, o Kubernetes é a base para o deploy de aplicações Apache Flink, garantindo escalabilidade e confiabilidade mesmo em cenários de alta demanda.

Apache Kafka: sistema robusto de mensagens e buffer

O Kafka é a camada de mensagens da Avalanche e possibilita uma comunicação à prova de falhas entre aplicações de streaming.

Ele mantém mensagens temporariamente e permite a recuperação em caso de falhas sem perda de dados, o que garante consistência e alta disponibilidade do sistema, mesmo sob grande volume.

Apache Flink: framework de processamento de dados em tempo real

O Flink entrega capacidades poderosas de analytics em tempo real, com suporte a tarefas sofisticadas como janelas baseadas no tempo do evento, processamento com estado e joins de dados em tempo real.

Ele gerencia com eficiência tanto fluxos finitos quanto infinitos de dados, e permite ao Nubank aplicar lógica de negócios avançada de forma dinâmica e eficiente.

Apache Pinot: banco de dados analítico para consultas em tempo real

Complementando o Flink, o Pinot oferece um banco de dados analítico altamente responsivo, ideal para interações em tempo real com usuários.

Com ele, analistas e desenvolvedores do Nu podem executar agregações e consultas complexas em questão de segundos, acelerando decisões orientadas por dados em tempo real de maneira ágil e flexível.

Aplicações em prevenção a fraudes

Modelos sequenciais em tempo real para prevenção de fraudes

Redes neurais sequenciais são utilizadas para detectar fraudes em tempo real. Esses modelos processam dados recentes de transações e padrões de comportamento de clientes em milissegundos, permitindo avaliações altamente precisas de risco.

Integrando Flink e Pinot, o sistema analisa continuamente eventos novos e históricos, identificando comportamentos suspeitos de forma rápida. Por exemplo, ao detectar uma transação potencialmente fraudulenta, o sistema aciona uma análise imediata e permite uma resposta proativa, reduzindo significativamente o risco de perda financeira e fortalecendo a confiança do cliente.

Autopilot: calibração de defesa antifraude em tempo real

O Autopilot é um sistema criado para ajustar medidas antifraude com base em dados em tempo real. Thresholds estáticos podem se tornar rapidamente obsoletos diante da evolução dos padrões de fraude.

O Autopilot, por sua vez, monitora continuamente os fluxos de transações e calibra automaticamente os limites de detecção conforme for necessário.

Utilizando as capacidades de análise em tempo real do Avalanche, o Autopilot se adapta rapidamente a mudanças, para gerenciar o risco de fraude. Essa abordagem ágil não apenas otimiza o uso dos recursos operacionais e mantém o controle de SLA, como também garante tempos de resposta rápidos. Isto é essencial no contexto das finanças digitais.

On-Demand Features Handler: simplificando a gestão de features em tempo real

O On-Demand Features Handler foi desenvolvido para facilitar a gestão de features em tempo real em diferentes aplicações orientadas a dados. Ao padronizar a produção e o consumo de features, engenheiras e engenheiros podem focar no desenvolvimento de modelos de machine learning de ponta, sem se preocupar com detalhes complexos de infraestrutura.

Esse handler oferece uma interface HTTP intuitiva, abstraindo os processos internos que envolvem Kafka, Flink e Pinot. O resultado é mais colaboração, mais consistência de dados e maior agilidade para colocar soluções robustas de ML em produção.

Estudo de caso: prevenindo empréstimos oportunistas

Uma aplicação prática desse sistema é a detecção de solicitantes de crédito considerados oportunistas. Ou seja, pessoas com alta probabilidade de inadimplência.

Analisando em tempo real as interações dos clientes com o app do Nu, modelos de machine learning conseguem identificar comportamentos de risco com precisão.

Essa aplicação alcançou uma melhoria de 13% na eficácia do modelo para identificar candidatos de alto risco em comparação com sistemas anteriores, demonstrando os benefícios das capacidades de análise em tempo real do Avalanche. Esta melhoria se traduz diretamente em uma gestão de risco financeiro mais eficiente, protegendo o Nubank e seus clientes.

Com a Avalanche, o Nubank impulsiona a inovação nos serviços financeiros digitais. Ao transformar insights em tempo real em decisões mais rápidas e seguras (seja em prevenção de fraudes, engajamento do cliente ou eficiência operacional) seguimos estabelecendo novos padrões para o nosso setor.

As capacidades avançadas de streaming da Avalanche mantêm o Nubank na vanguarda da tecnologia, moldando o futuro do sistema bancário com inovação e excelência técnica.

Conheça nossas oportunidades