El tema del Nubank DS&ML Meetup #98 fue el poder transformador del procesamiento de datos en tiempo real en el entorno de la banca digital. En Nubank, nuestra stack propietaria (Avalanche) integra tecnologías avanzadas que nos permiten generar insights instantáneos y respuestas rápidas.

Desde detección robusta de fraude hasta experiencias personalizadas para los clientes, nuestras ingenieras e ingenieros de machine learning —Caroline Custódio, Lucas Nolasco, Luiz Felix y Otávio Vasques— compartieron cómo estamos revolucionando la seguridad, eficiencia y experiencia del usuario a través de analítica en tiempo real de vanguardia.

Avalanche stack: impulsando el procesamiento de datos en tiempo real en Nubank

Avalanche es una estrategia estandarizada para el procesamiento de datos en streaming que se integra de forma fluida a la arquitectura de Nubank. A diferencia del procesamiento por lotes tradicional —que analiza los datos de forma periódica— Avalanche trabaja con flujos de datos en tiempo real, lo que permite identificar tendencias y anomalías de manera inmediata.

Esta capacidad mejora la toma de decisiones en múltiples equipos dentro de Nu.

Descubre las oportunidades

Componentes clave de Avalanche

Kubernetes: la columna vertebral de la infraestructura de streaming

Kubernetes orquesta de manera eficiente la asignación de recursos y la gestión de aplicaciones, funciones esenciales para operaciones de streaming a gran escala. Sus definiciones de recursos personalizados y procesos de despliegue automatizados simplifican el mantenimiento de flujos de trabajo complejos.

En Nubank, Kubernetes es la base sobre la cual desplegamos aplicaciones de Apache Flink, garantizando escalabilidad y confiabilidad en contextos de alto volumen.

Apache Kafka: sistema robusto de mensajería y buffering

Kafka funciona como la capa de mensajería confiable dentro de Avalanche, permitiendo una comunicación eficaz y tolerante a fallos entre las aplicaciones de streaming.

Retiene mensajes temporalmente, permitiendo la recuperación ante errores sin pérdida de datos, y asegura la disponibilidad continua del sistema incluso en momentos de alta demanda.

Apache Flink: framework para procesamiento de datos en tiempo real

Flink ofrece capacidades potentes para el análisis en tiempo real, incluyendo tareas complejas como ventanas basadas en el tiempo del evento, procesamiento con estado y joins en streaming.

Maneja eficientemente tanto flujos de datos finitos como infinitos, permitiendo a Nubank aplicar lógicas de negocio avanzadas de forma dinámica y eficiente.

Apache Pinot: base de datos analítica para consultas en tiempo real orientadas al usuario

Complementando a Flink, Pinot es una base de datos analítica diseñada específicamente para consultas en tiempo real por parte de usuarios.

Permite a los analistas y desarrolladores de Nubank ejecutar agregaciones y consultas complejas de forma instantánea, mejorando significativamente la velocidad y flexibilidad en la toma de decisiones basadas en datos.

Aplicaciones en detección de fraude

Modelos secuenciales en tiempo real para prevenir fraudes

Redes neuronales secuenciales son utilizadas para detectar fraudes en tiempo real. Estos modelos procesan datos recientes de transacciones y patrones de comportamiento de clientes en milisegundos, permitiendo evaluaciones de riesgo con alta precisión.

La integración de Flink y Pinot permite que el sistema analice continuamente eventos nuevos e históricos, identificando rápidamente comportamientos sospechosos. Por ejemplo, al detectar una transacción potencialmente fraudulenta, el sistema lanza un análisis inmediato que posibilita una intervención proactiva —reduciendo el riesgo de pérdida financiera y fortaleciendo la confianza del cliente.

Autopilot: calibración de defensa antifraude en tiempo real

Autopilot es un sistema diseñado para ajustar dinámicamente las medidas antifraude en función de datos en tiempo real. Los umbrales estáticos pueden volverse obsoletos rápidamente ante el cambio de los patrones de fraude.

Autopilot monitorea constantemente los flujos de transacciones, recalibrando automáticamente y de forma incremental los umbrales de detección.

Aprovechando las capacidades de análisis en tiempo real de Avalanche, Autopilot se adapta rápidamente a los cambios, gestionando de forma proactiva el riesgo de fraude. Este enfoque ágil no solo optimiza el uso de los recursos operativos y mantiene el control del SLA, sino que también proporciona tiempos de respuesta rápidos, esenciales en el dinámico panorama de las finanzas digitales.

On-Demand Features Handler: simplificando la gestión de features en tiempo real

El On-Demand Features Handler fue creado para facilitar la gestión de features en tiempo real en múltiples aplicaciones basadas en datos. Al estandarizar la producción y el consumo de features, los equipos de ingeniería pueden enfocarse en desarrollar modelos de machine learning de alto impacto, sin perder tiempo en los detalles técnicos de infraestructura.

Este handler ofrece una interfaz HTTP intuitiva que abstrae procesos complejos entre Kafka, Flink y Pinot. La solución mejora la colaboración entre equipos, garantiza consistencia en los datos y acelera la entrega de soluciones de ML confiables y de alto rendimiento.

Caso de uso: previniendo créditos oportunistas

Una implementación práctica de este sistema es la detección de solicitantes de préstamos considerados oportunistas —personas con alto riesgo de no pagar.

Analizando en tiempo real las interacciones del cliente con la app de Nubank, nuestros modelos de machine learning logran identificar conductas crediticias riesgosas con gran precisión.

Esta aplicación logró una mejora del 13% en la efectividad del modelo para identificar solicitantes de alto riesgo en comparación con los sistemas anteriores, demostrando los beneficios tangibles de las capacidades de análisis en tiempo real de Avalanche. Esta mejora se traduce directamente en una mejor gestión del riesgo financiero, protegiendo a Nubank y a sus clientes.

Con Avalanche, Nubank impulsa la innovación en servicios financieros digitales. Aprovechamos insights en tiempo real para mejorar la prevención de fraude, el engagement con clientes y la eficiencia operativa —estableciendo nuevos estándares de agilidad y desempeño en el sector.

Las capacidades avanzadas de streaming que ofrece Avalanche siguen posicionando a Nubank a la vanguardia, moldeando el futuro de la banca a través de la innovación y la excelencia tecnológica.

Descubre las oportunidades