Escrito por: Leonardo Abdalla y Michel Herszenhaut

En el acelerado mundo de la banca digital, la integridad y el control de los datos son cruciales para el éxito. Aquí es donde interviene Controlinho, una herramienta innovadora desarrollada por Nubank. Como fuerza líder en innovación tecnológica, la introducción de Controlinho por parte de Nubank revoluciona la gestión y el control de datos en el sector financiero. 

En esta guía completa, profundizaremos en el funcionamiento interno de Controlinho, su papel en la integración continua, el control automatizado, el monitoreo, el registro de datos y su profundo impacto en las operaciones de Nubank.

Si eres un ingeniero de datos que busca optimizar tus procesos de control de datos o un entusiasta de la tecnología financiera interesado en las últimas estrategias de gestión de datos, este artículo proporciona una inmersión profunda en cómo Controlinho está dando forma al futuro de los datos en la banca.

Nubank es conocido por sus innovaciones tecnológicas y Controlinho no es una excepción. Esta herramienta desempeña un papel esencial en nuestras operaciones, ya que nos ayuda a gestionar y dar sentido a nuestros datos, que es el núcleo de todo lo que hacemos en Nubank.

Arquitectura de datos y entrega de software

La entrega de software tiende a dividir la industria en arquitectura monolítica y de microservicios. Hace años, la entrega de software estaba adoptando una perspectiva monolítica. Fue sencillo y fácil de administrar. Todo estaba en un solo lugar: una única base de datos, una única base de código y una única implementación. Esta estructura tiene sus ventajas, como una depuración y pruebas más sencillas debido a la simplicidad del sistema. Sin embargo, también presenta inconvenientes importantes, como falta de flexibilidad, problemas de escalabilidad y un único punto de falla que podría hacer caer todo el sistema.

Nubank nació en la arquitectura de microservicios, ya que cada servicio podía desarrollarse, implementarse y escalarse de forma independiente. Sin embargo, también introdujo nuevos desafíos, uno de los cuales fue garantizar la coherencia de los datos en múltiples microservicios.

Consulta aquí lo que hemos aprendido al desarrollar un sistema complejo en una fintech durante los últimos seis años.

Descubre las oportunidades

Problemas de datos modernos

En el mundo de los servicios bancarios y financieros, los informes confiables y oportunos son primordiales. Los informes incorrectos pueden llevar a una mala toma de decisiones y a problemas regulatorios. Por lo tanto, en Nubank entendimos la importancia de entregar informes precisos y oportunos a los reguladores.

Además, no se puede subestimar la complejidad de la evaluación del riesgo crediticio y el papel de los datos en este proceso. Esta complejidad, sumada a la necesidad de una herramienta para automatizar los controles de datos, llevó al nacimiento de Controlinho.

Construyendo Controlinho: Una Herramienta de Ingeniería de Análisis

Crear una herramienta como Controlinho requirió planificación y concentración estructuradas. Debían tomarse decisiones clave para garantizar que cumpliera su propósito de manera efectiva. Nuestro objetivo era evitar tareas repetitivas y simplificar la creación de controles. Además, queríamos que todos pudieran contribuir fácilmente y al mismo tiempo garantizar que todo se registrara para rendir cuentas.

Democratizar los datos a través de una cultura de controles fue fundamental para nuestro enfoque, haciendo de Controlinho una herramienta que permitió a nuestros equipos tomar el control de sus datos.

Lo que comenzó como una herramienta interna para un equipo, rápidamente se presentó en un evento Megademo y fue adoptada por toda la organización, lo que representó más de 17,000 compromisos para su uso. 

Cómo funciona Controlinho

Controlinho es una herramienta que organiza, clasifica y ejecuta controles. Se nutre de las contribuciones de la comunidad y tiene un ciclo de ejecución que facilita la creación de controles únicos por parte de diferentes equipos. El objetivo no es sólo crear una herramienta sino fomentar una cultura en la que todos puedan contribuir a Controlinho.

La unidad fundamental de Controlinho se llama ″Control″. Consiste en una consulta SQL acompañada de algunos parámetros y metadatos que se definen en un archivo JSON. Cada Control sirve como una lista de verificación para que Controlinho inspeccione los datos que pasan a través de un servicio para garantizar que los entregue como se esperaba. Si algo anda mal, Controlinho avisará al analista responsable. Controlinho aprovecha el entorno de Bigquery para consultar conjuntos de datos y entregar más de mil controles a los colaboradores de Nubank, tanto ingenieros como no ingenieros. 

Entendemos que en una arquitectura de microservicio, cada servicio puede representar su propio mundo con lenguajes de programación y reglas únicas entre ingenieros. Sin embargo, dado que todos los datos importantes se materializan en tablas en el almacén de datos, aquí es donde hemos implementado las comprobaciones automáticas de Controlinho.

Integración Continua y Control Automatizado

Escalabilidad e integración continua

En un entorno en el que más de 250 ingenieros contribuyen mensualmente a nuestra base de código, gestionar la integridad del código se convierte en un desafío considerable. Sin embargo, en Nubank hemos recurrido a la integración continua como un aliado estratégico para gestionar esta complejidad.

La integración continua es la práctica de fusionar las copias de trabajo de todos los desarrolladores en una línea principal compartida varias veces al día. Este enfoque es fundamental para prevenir el “infierno de la integración” que suele surgir cuando las personas trabajan aisladas durante un período prolongado. Nos ayuda a detectar problemas a tiempo y solucionarlos cuando aún son pequeños.

Cada vez que se confirma un código, se activa un proceso de compilación automático, que ejecuta un conjunto de pruebas para garantizar que el nuevo código no rompa ninguna funcionalidad existente. Si se detecta algún problema, se notifica inmediatamente a los desarrolladores para que lo solucionen. Este proceso no solo mantiene la salud de nuestro código base, sino que también evita la sobrecarga en el proceso de revisión, lo que garantiza un flujo de trabajo optimizado y tiempos de entrega más rápidos.

Control de datos

Los datos son el alma de nuestras operaciones en Nubank y garantizar su integridad es primordial. Esto lo logramos a través de controles automatizados donde la frecuencia la define el usuario, una parte vital de Controlinho. Estos controles monitorean continuamente la integridad de los datos, realizando verificaciones de varios elementos de datos para garantizar que cumplan con los estándares definidos.

Por ejemplo, si consideramos un ejemplo práctico como la evaluación del riesgo crediticio, los controles automatizados podrían verificar que los datos de la calificación crediticia estén dentro del rango esperado, que no falten campos de datos y que los datos se actualicen de manera oportuna. Estos controles nos ayudan a prevenir errores, detectar anomalías y mantener la confiabilidad de nuestros procesos de toma de decisiones basados en datos.

Implementación de controles

La implementación de estos controles dentro de Controlinho es un proceso estructurado. Los datos de control están cuidadosamente organizados, con campos clasificados como obligatorios u opcionales según su relevancia. Esta clasificación garantiza que los campos de datos esenciales estén siempre completos y, al mismo tiempo, proporciona flexibilidad cuando sea necesario.

Además, utilizamos ampliamente pruebas de integración para garantizar la validez de los datos. Estas pruebas verifican que los diferentes componentes de Controlinho interactúen correctamente y que los datos fluyan a través del sistema como se espera. Este enfoque meticuloso para la implementación del control es lo que hace de Controlinho una herramienta poderosa y confiable.

Monitoreo y registro de datos

Ciclo de retroalimentación de datos

En Nubank, creemos en el poder de la retroalimentación para hacer lo mejor para la empresa, no para individuos o equipos específicos. Esta mentalidad se extiende a nuestras operaciones de datos. Una vez que un conjunto de controles pasa todas las pruebas, se generan mensajes de éxito y se envían a los equipos pertinentes. Esta retroalimentación inmediata ayuda a reforzar las buenas prácticas y eleva la moral.

Sin embargo, también entendemos que el fracaso es una oportunidad para aprender. Por lo tanto, cuando falla un control, se generan mensajes de error que se envían a los desarrolladores, brindándoles información valiosa sobre qué salió mal y dónde deben centrar sus esfuerzos de depuración. Es una gran ventaja monitorear continuamente las aplicaciones y comprender los cambios en la red de microservicios.

Todas estas interacciones, éxitos y fracasos se graban en registros, creando un historial de nuestras operaciones. Este registro es crucial para análisis futuros, ya que nos permite identificar patrones, tendencias y áreas potenciales de mejora.

Visualización de datos

La visualización de datos es otro aspecto crucial de nuestra estrategia de monitoreo de datos. Ayuda a los equipos a comprender la evolución de sus proyectos y tomar decisiones informadas. En Nubank, utilizamos herramientas de visualización avanzadas para representar nuestros datos de una manera que sea fácil de entender, incluso para miembros del equipo sin conocimientos técnicos.

Estas herramientas proporcionan una vista histórica de los controles, lo que nos permite realizar un seguimiento del progreso a lo largo del tiempo e identificar tendencias o patrones. Esta visibilidad mejora nuestra comprensión de nuestras operaciones, lo que lleva a una toma de decisiones más eficiente y efectiva.

Impacto del control en Nubank

Estadísticas de control en Nubank

Controlinho ha experimentado una adopción generalizada en todo Nubank. Actualmente contamos con una gran cantidad de controles activos, siendo numerosas las áreas de negocio confiando en la herramienta para su operativa diaria. Este uso generalizado es un testimonio de la eficacia de la herramienta y el valor que aporta a nuestros equipos.

Beneficios del control en Nubank

Los beneficios de implementar Controlinho en Nubank son múltiples.

 En primer lugar, ha mejorado significativamente nuestra capacidad para monitorear todos los procesos, garantizando la confiabilidad de los datos. Esto ha llevado a un aumento de la confianza en nuestros datos, lo cual es crucial para una organización basada en datos como la nuestra.

En segundo lugar, Controlinho ha permitido una rápida detección y corrección de errores. Con controles automatizados que se ejecutan continuamente, cualquier anomalía se detecta rápidamente, lo que nos permite rectificarla antes de que afecte nuestras operaciones o la experiencia del cliente.

En tercer lugar, Controlinho ha reducido la barrera técnica para los empleados de Nubank. Al automatizar tareas complejas de control de datos, ha facilitado que el personal no técnico interactúe con los datos, fomentando una cultura de democratización de los datos.

Además, Controlinho ha sido fundamental para evitar la repetición innecesaria de tareas. Al automatizar las tareas de control de datos, nuestros equipos se han liberado para centrarse en actividades más estratégicas y de alto valor.

Por último, Controlinho proporciona registros útiles para fines de auditoría y toma de decisiones. Estos registros ofrecen información valiosa sobre nuestras operaciones, ayudándonos a tomar decisiones informadas e impulsar la mejora continua.

En resumen, Controlinho ha desempeñado un papel fundamental en la transformación de nuestros procesos de control de datos, lo que ha llevado a una mayor eficiencia operativa, una mayor integridad de los datos y una cultura de democratización de los datos. No es sólo una herramienta; es un facilitador que nos permite tomar el control de nuestros datos y aprovecharlos para impulsar el éxito empresarial.

Descubre las oportunidades