Reviewed by Felipe Yukio

En la era digital actual, los datos desempeñan un papel fundamental a la hora de impulsar las estrategias y decisiones empresariales. Como pionero en la industria fintech, Nubank comprende el poder de los datos y busca maximizar su potencial. Esta publicación de blog profundizará en el concepto de Core Datasets y en cómo está demostrando ser un punto de inflexión para Nubank.

También arrojaremos luz sobre la práctica del autoservicio de datos y por qué es un activo para las empresas modernas. ¡Siga leyendo!

Comprendiendo el autoservicio de datos

Imagine un espacio de trabajo donde cada empleado, independientemente de su departamento, tenga la capacidad de acceder y analizar los datos necesarios cuando sea necesario. De eso precisamente se trata el autoservicio de datos. Democratiza los datos, permitiendo un flujo de información más fluido entre varios departamentos, promoviendo una cultura de toma de decisiones basada en datos.

Beneficios del autoservicio de datos

  1. Empoderamiento y velocidad: con los datos al alcance de la mano, los equipos pueden abordar problemas rápidamente, generar nuevos conjuntos de datos y ejecutar tareas analíticas sin depender de un equipo de datos centralizado.
  2. Resolución de problemas mejorada: el acceso inmediato a los datos conduce a una rápida identificación y resolución de problemas, lo que permite un enfoque proactivo.

Sin embargo, esta poderosa herramienta no está exenta de desafíos.

Desafíos

  1. Reprocesamiento: cada departamento suele tener una perspectiva única sobre cómo deben comportarse los datos dentro de su ámbito. Esto puede llevar a que varios equipos creen conjuntos de datos similares. En lugar de tener conjuntos de datos redundantes, es imperativo reutilizarlos y reutilizarlos. No hacerlo puede dar lugar a un procesamiento de datos repetitivo por parte de diferentes departamentos, incurriendo en costes innecesarios.
  2. Interdependencia: cuando varios equipos dependen de un único conjunto de datos, las modificaciones realizadas en un equipo pueden afectar a otros sin darse cuenta. Por lo tanto, surge la necesidad de una ‘fuente de verdad’ unificada para abordar estos desafíos—entran los Core Datasets.

Descubre las oportunidades

Los Core Datasets de Nubank en acción

Los Core Datasets son la base de una gestión de datos confiable y orientada a las mejores prácticas. Mitigan problemas comunes como el reprocesamiento y allanan el camino para flujos de datos consistentes y confiables. Estos conjuntos de datos actúan como punto de referencia, garantizando la uniformidad y reduciendo las discrepancias.

Para apreciar realmente el valor de los Core Datasets, exploremos dos casos de uso de las operaciones de Nubank:

Desafíos de los datos del cliente

En el pasado, diferentes unidades de negocios dentro de Nubank tuvieron que lidiar con reglas comerciales especializadas, lo que hacía que un análisis consolidado de clientes fuera increíblemente complejo. Al reconocer las complicaciones que esto podría traer, Nubank recurrió a Core Datasets como la solución.

Al utilizar estos conjuntos de datos, hemos podido presentar una visión integral de nuestros clientes. El resultado no fue sólo un proceso armonizado de análisis de clientes sino una fuente de verdad centralizada. Este cambio simplificó tanto el mantenimiento como la evolución de los datos de nuestros clientes, fomentando una mayor eficiencia y claridad en nuestras operaciones.

Discrepancias de datos en productos de tarjetas de crédito

Con una amplia gama de productos de tarjetas de crédito bajo la bandera de Nubank, nos encontramos navegando por un laberinto de métricas, cada una con su conjunto único de reglas comerciales. La amplitud de las fuentes de datos hizo que conciliarlas se convirtiera en una tarea meticulosa.

Para abordar esto, iniciamos la unificación de reglas de negocio para indicadores corporativos. Este proceso requirió una colaboración profundamente arraigada entre las partes interesadas y las unidades de negocio. Al definir claramente la propiedad tanto funcional como técnica, logramos una visión corporativa cohesiva. Esta nueva perspectiva respetó puntos de vista especializados, lo que garantizó que, si bien tuviéramos una descripción general completa, no se perdieran los matices únicos de cada unidad. 

Además, este cambio reforzó nuestros procesos de gobernanza, especialmente en áreas relacionadas con la calidad, usabilidad e integridad de los datos.

Referencia de Core Datasets

En la práctica, los conjuntos de datos principales tienen una documentación más estricta, denominada especificaciones de diseño. El equipo de Ingeniería Analítica de Nubank hace referencia a lo siguiente link:

Calidad de Datos en Airbnb 

Dinámica operativa

No hay dos problemas idénticos, por lo tanto, sus soluciones pueden variar. Cuando se trabaja con Core Datasets, la esencia es lograr las propiedades enumeradas a continuación, garantizando que el conjunto de datos final sea:

  • La fuente definitiva para casos de uso particulares.
  • Escalable con el crecimiento orgánico de la empresa.
  • Caracterizado por reglas comerciales claras, ya sea a través de código o documentación.
  • Completamente documentado.

En Nubank, se han implementado dos enfoques distintos para lograr esto: el Modelado Tabular y el Modelado EAVT. Profundicemos en ello mientras entendemos la motivación teórica detrás de estas metodologías.

Conceptos de Modelado Dimensional de Kimball

Imagine una tabla que represente las transacciones. Una clave primaria, el ″grano″, define su esencia central. A partir de aquí, se añaden varias características o ‘tablas de dimensiones’ para describir estos eventos, culminando en lo que se denomina el ‘esquema de estrella’. Siguiendo estos principios, Nubank garantiza la eficiencia operativa.

Esto implica mapear procesos de negocios, definir el grano, identificar dimensiones y detallar el evento real, lo que conduce a una base de datos estructurada con propiedades flexibles y escalables.

Sin embargo, los avances tecnológicos y los paradigmas cambiantes han desplazado el enfoque del almacenamiento al procesamiento.

El enfoque EAVT

Dada la naturaleza costosa de implementar más información en una tabla, un conjunto de datos con más columnas resulta atractivo. De esta línea de pensamiento surgió el modelo EAVT (Entidad, Atributo, Valor, Marca de Tiempo). EAVT se puede visualizar como una tabla donde se apilan las columnas, listas para girar al formato tabular deseado cuando sea necesario.

El modelo EAVT, con su énfasis en Entidad, Atributo, Valor y Marca de Tiempo, presenta una perspectiva refrescante en el ámbito del manejo de datos. Una de sus ventajas más pronunciadas es la menor necesidad de modificaciones del esquema. Esto, a su vez, proporciona un mayor grado de modularidad y facilita iteraciones más simples. Cuando se trabaja con grandes conjuntos de datos, un modelo de este tipo resulta invaluable, ya que permite a los manejadores de datos adaptarse rápidamente a los cambios.

Sin embargo, cada aspecto positivo tiene su contrapartida. Si bien el modelo EAVT es revolucionario en muchos sentidos, puede que no sea perfecto para todos los escenarios. Por ejemplo, cuando se trata de tablas más pequeñas, la implementación del modelo EAVT puede considerarse excesiva, tal vez incluso engorrosa. Otro desafío surge cuando se maneja una lógica empresarial compleja. En tales situaciones, el modelo exige una manipulación compleja, que puede resultar desalentadora para quienes no están familiarizados con sus detalles.

Nubank ha desarrollado un marco sólido para la manipulación de EAVT, equipado con herramientas de monitoreo, sistemas de alerta y rastreadores de reglas comerciales.

En conclusión, nuestro viaje dentro del intrincado mundo de los datos ha sido a la vez desafiante y esclarecedor. A pesar de los hitos alcanzados, parece que recién estamos comenzando y esperamos con ansias las infinitas posibilidades que tenemos por delante.

Descubre las oportunidades