Cómo escalamos nuestra plataforma de datos de manera eficiente y confiable

Nubank es uno de los bancos digitales más grandes del mundo con 35 millones de clientes en América Latina en abril de 2021. Sus productos van desde tarjetas de crédito y préstamos hasta cuentas bancarias y seguros de vida. Los datos son una parte inherente de cada decisión: los utilizamos para análisis, seguimiento, automatización y personalización de productos.

A medida que la empresa crecía, seguimos evolucionando nuestra organización de datos para satisfacer sus necesidades. Primero, crear un equipo central para construir la infraestructura de datos. En segundo lugar, descentralizar la creación y el consumo de datos a los usuarios en equipos multifuncionales (escuadrones). En tercer lugar, aumentar el alcance y la dotación de personal del equipo central para proporcionar herramientas y estándares para toda la empresa.

Como plataforma de autoservicio, la propiedad de los datos se distribuyó en todas las unidades de negocio (BUs); sin embargo, no estaba claro quién era responsable del mantenimiento y de la aplicación de esos nuevos estándares. 

Sin embargo, mantener datos de calidad era clave para todos los productos y los informes que dependían de ellos, así como para la eficiencia de los equipos que consumían esos datos a diario.

Necesitábamos resolver ese desafío: ¿cómo podemos asegurarnos de que la estructura de nuestra organización refleje los objetivos de agilidad y calidad de los datos de la empresa?

En este artículo, compartiremos contigo: 

1 – Los desafíos de gobernanza de una plataforma de datos de autoservicio

2 – Diseñar una organización híbrida para escalar la innovación con garantías de calidad

3 – Implementación e impacto

Parte 1 : Los desafíos de gobernanza de una plataforma de datos de autoservicio

Descubre las oportunidades

Controles de calidad vs. baja fricción

El objetivo de una plataforma de datos es fomentar la innovación con una forma fácil de usar y eficiente de encontrar, utilizar, agregar y crear datos.

Debe hacerlo limitando al mismo tiempo cualquier riesgo que pueda surgir de los datos, ya sea la calidad de las contribuciones y los metadatos, la seguridad y protección de cualquier dato personal y confidencial, la integridad del procesamiento de datos o los costos de procesamiento.

En nuestra plataforma, decidimos brindar una experiencia de muy baja fricción para agregar tablas a nuestras canalizaciones de datos. Esto dio lugar a la creación de muchas tablas (en abril de 2021, tuvimos 35,000 tablas sin formato creadas por 500 colaboradores de todos los equipos de la empresa) y se aprovecharon muchas oportunidades gracias a estos datos. 

Sin embargo, si bien no queríamos imponer reglas de calidad estrictas a todas las contribuciones, sí esperábamos que los datos clave aplicaran nuestros estándares y herramientas de alta calidad para controlar los riesgos y mejorar la eficiencia de los consumidores de datos.

La principal complejidad radicaba en definir y asignar esas responsabilidades de calidad para alcanzar nuestros objetivos, sin crear burocracia innecesaria.

Propiedad de la calidad de los datos

Como se explicó en un artículo anterior, el equipo de la plataforma de datos inició con éxito una iniciativa de calidad de datos mediante la creación de una capa de datos de calidad (“conjuntos de datos básicos”), nuevas bibliotecas para estructurar el código y la documentación, y herramientas para recibir alertas sobre anomalías en los controles de calidad. 

Para comenzar con el ejemplo, el equipo central creó los primeros ″conjuntos de datos básicos″: medio año después, el 75% de todos los conjuntos de datos utilizaban esos conjuntos de datos de alta calidad. Sin embargo, su objetivo era centrarse en las herramientas de la plataforma y entregar la propiedad de conjuntos de datos de alta calidad a las unidades de negocio.

La Unidad de Negocio de Datos no tenía la experiencia en el campo ni la capacidad para seleccionar y mantener todos los conjuntos de datos clave, mientras que la mayoría de las Unidades de Negocio multifuncionales se centraron en nuevas aplicaciones y análisis para sus productos en lugar de participar en acciones de calidad de datos.

Teníamos que asegurarnos de que la responsabilidad de la implementación de la calidad de los datos no cayera en manos de la organización.

Conciencia del impacto de los datos

Como la plataforma era de autoservicio, la mayoría de los equipos poseían algunas tablas, creadas con mayor frecuencia por analistas y científicos de datos. Sin embargo, los equipos no necesariamente se dieron cuenta del impacto que sus datos podrían tener en los demás; cuánto dependían de los conjuntos de datos de otros equipos; o cuánto tiempo se dedicó al procesamiento de datos.

Comprendimos que necesitábamos brindar más visibilidad sobre las responsabilidades y riesgos en juego al crear o utilizar un conjunto de datos.

Creamos un panel de visibilidad de gobernanza de datos que mostraba para cada equipo o unidad de negocio las principales métricas para el inventario de datos y las principales interdependencias que tenían en sentido ascendente y descendente.

También dimos recomendaciones sobre qué hacer: cuáles son los conjuntos de datos que debes mantener, crear, revisar, agregar documentación, etc. Además, realizamos encuestas para mostrar el tiempo cada vez mayor dedicado a la búsqueda de datos a medida que el inventario de datos crecía en términos de volumen y complejidad.

A medida que la importancia de los datos se volvió más medible y visible, quedó más claro que necesitábamos un equipo responsable para implementar esas recomendaciones de gobernanza de datos y diseñar una estrategia de datos coherente con cada unidad de negocio.

Parte 2: Una organización híbrida para escalar la innovación con garantías de calidad

El equipo de la plataforma central de datos

Nuestro equipo de plataforma de datos se enfoca en proporcionar la infraestructura, herramientas y reglas que permitan el consumo y la producción de datos de la manera más efectiva y segura, en lugar de crear conjuntos de datos para los consumidores. Es responsable de los objetivos de la plataforma en materia de satisfacción del usuario, calidad de los datos, integridad, privacidad y costos.

Consideramos escalar el equipo enfocado en la calidad de los datos y la estrategia dentro del equipo de datos central, sin embargo, nos decidimos por una organización distribuida por dos razones principales: 

• Primero, la empresa tiene una cultura de equipos multifuncionales, lo que resulta muy competente para la motivación y las entregas del equipo. 
• Segundo, la diversidad y complejidad de nuestros productos financieros aumentaron la importancia de la experiencia en el dominio.

La función de Ingeniería Analítica

Ahí es donde entra en juego el capítulo (es decir, función) del Ingeniero de Analítica: su principal objetivo y responsabilidad es definir una estrategia de datos, crear y mantener conjuntos de datos y canalizaciones, asegurándose de que sean sólidos, precisos, compatibles con la protección de datos, rentables y bien documentados.

Los Ingenieros de Analítica están integrados en equipos multifuncionales, pero reportan principalmente al capítulo. Son responsables de aportar valor a los equipos en los que participan, pero también de la calidad de los datos de la empresa en su conjunto.

No solo tienen las habilidades para traducir una necesidad empresarial en una estrategia de datos con entregables, sino que también tienen las habilidades de ingeniería para crear código sólido, con pruebas. Entienden las complejidades de las canalizaciones de datos, el impacto de las dependencias entre conjuntos de datos, así como la arquitectura de bases de datos y los conceptos de modelado.

Mantener el capítulo unido mientras estamos integrados en equipos multifuncionales nos permite definir una estrategia de datos y un modelado coherentes en toda la empresa.

Uno de los aspectos clave para garantizar la calidad de los datos en toda la empresa, y posteriormente en todas las decisiones que se toman sobre ellos, fue escalar el capítulo de Ingeniería Analítica a las diferentes unidades de negocio.

Objetivos y responsabilidades compartidos

El equipo central de la plataforma de datos y el capítulo de Ingeniería Analítica tienen objetivos comunes y responsabilidades compartidas para alcanzarlos, oficializados en una política de gobernanza de datos.

En cada unidad de negocio, el equipo de Ingeniería de Análisis se asegura de que exista un buen equilibrio entre priorizar la creación de nuevos datos para nuevas aplicaciones y tener las garantías de calidad adecuadas sobre los datos que posee este equipo.

Para el proceso de contribución y las reglas, también está coordinado por ambos equipos, y las reglas evolucionan a medida que cambia la empresa.

Mantuvimos las reglas generales de contribución al mínimo y aplicamos reglas más estrictas para ciertos tipos de conjuntos de datos, como la capa de alta calidad de los conjuntos de datos centrales. En este caso, los ingenieros analíticos realizan una revisión más exhaustiva tanto en términos de lógica de negocio como de optimización del código, documentación de los conjuntos de datos y sus columnas, etc.

Parte 3: Implementación e impacto

Explicar el papel y el impacto

El trabajo de los Ingenieros de Analítica no es necesariamente tan conocido como el de otras funciones como los analistas de negocios o los Ingenieros de Software. Entonces, una parte clave del aumento de las responsabilidades de datos en cada unidad de negocios fue explicar la importancia de ese trabajo, crear algunos incentivos para priorizarlo y contratar Ingenieros de Analítica.

A finales de 2020, habíamos implementado con éxito ingenieros de análisis en varios equipos multifuncionales. Junto con las diferentes unidades de negocio, planificamos aumentar la cobertura de ingeniería analítica en 2021 duplicando nuestro equipo a más de 70 AEs.

El impacto es más datos de calidad, con más estructura, metadatos, documentación y cálculos verificados. Esto se traduce en más eficiencia, menos riesgos y más colaboración para los usuarios de datos que consumen estos datos seleccionados. Además, podemos diseñar e implementar una estrategia de datos global coherente, lo que en última instancia resultará en una mayor agilidad para crear productos innovadores y tomar decisiones basadas en datos de manera confiable.

Un ejemplo de implementación exitosa

La unidad de negocios de Marketing envía comunicaciones personalizadas para atraer a nuestros clientes con contenido relevante. Participan analistas de marketing, científicos de datos, comunicadores y diseñadores. 

Los datos de nuestros clientes son clave para garantizar que los modelos creados por los científicos de datos y el análisis de nuestros analistas de marketing sean precisos. Los ingenieros analíticos del equipo de marketing son responsables de diseñar la arquitectura de las tablas, nombrar y calcular las métricas, documentar y clasificar los datos, asegurarse de que los datos personales se traten de forma segura y mantener el conjunto de datos para que toda la empresa pueda desarrollarlo también.

Estar integrado en la BU ha permitido a los ingenieros analíticos sugerir soluciones adaptadas obteniendo todo el contexto, y ser parte de la organización del capítulo garantiza que se tenga en cuenta la confiabilidad y la calidad de los datos, minimizando al mismo tiempo el procesamiento de datos personales. 

El proyecto se inició con éxito y muchos otros equipos tienen acceso a la fuente de la verdad para las comunicaciones de marketing.

Conclusión

A medida que escala, una plataforma de datos no sólo necesita adaptar su pila de tecnología, sino también la organización de personas que la rodean: cómo los equipos consumen y publican datos, quién es responsable de la calidad, la integridad, el mantenimiento, los costos, la experiencia del usuario, etc. Con el tiempo, el sistema de gobierno se adapta a la etapa de la empresa, la estructura organizativa y los objetivos comerciales.

Después de centrar nuestros esfuerzos en hacer que la plataforma de datos fuera fluida y fácil de usar, creamos una organización de datos híbrida para alcanzar nuestros objetivos de gobernanza de datos.
Un equipo de plataforma de datos central responsable de la infraestructura, las herramientas y la visibilidad. Un equipo de ingeniería analítica, integrado en las unidades de negocio, responsable de la calidad, la privacidad y la estrategia de los datos. 

Uno de los desafíos es asegurarse de que todas las BUs tengan los incentivos para contratar a esos ingenieros de análisis en sus equipos y colaborar en la definición de su hoja de ruta. Hasta ahora, la visibilidad, las herramientas y los casos exitosos en muchas BUs han convencido a las demás de ampliar esas capacidades, ¡y estamos entusiasmados de hacer crecer el equipo en toda la organización!