{"id":29092,"date":"2024-05-07T14:13:30","date_gmt":"2024-05-07T14:13:30","guid":{"rendered":"https:\/\/building.nubank.com\/enhancing-data-reliability-with-core-datasets\/"},"modified":"2024-05-13T11:36:10","modified_gmt":"2024-05-13T11:36:10","slug":"mejorando-la-confiabilidad-de-los-core-datasets","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/es\/mejorando-la-confiabilidad-de-los-core-datasets\/","title":{"rendered":"Mejorando la confiabilidad de los Core Datasets"},"content":{"rendered":"\n

Reviewed by Felipe Yukio<\/em><\/p>\n\n\n\n

En la era digital actual, los datos desempe\u00f1an un papel fundamental a la hora de impulsar las estrategias y decisiones empresariales. Como pionero en la industria fintech, Nubank comprende el poder de los datos y busca maximizar su potencial. Esta publicaci\u00f3n de blog profundizar\u00e1 en el concepto de Core Datasets y en c\u00f3mo est\u00e1 demostrando ser un punto de inflexi\u00f3n para Nubank.<\/p>\n\n\n\n

Tambi\u00e9n arrojaremos luz sobre la pr\u00e1ctica del autoservicio de datos y por qu\u00e9 es un activo para las empresas modernas. \u00a1Siga leyendo!<\/p>\n\n\n\n

Comprendiendo el autoservicio de datos<\/h2>\n\n\n\n

Imagine un espacio de trabajo donde cada empleado, independientemente de su departamento, tenga la capacidad de acceder y analizar los datos necesarios cuando sea necesario. De eso precisamente se trata el autoservicio de datos. Democratiza los datos, permitiendo un flujo de informaci\u00f3n m\u00e1s fluido entre varios departamentos, promoviendo una cultura de toma de decisiones basada en datos.<\/p>\n\n\n\n

Beneficios del autoservicio de datos<\/h3>\n\n\n\n
    \n
  1. Empoderamiento y velocidad:<\/strong> con los datos al alcance de la mano, los equipos pueden abordar problemas r\u00e1pidamente, generar nuevos conjuntos de datos y ejecutar tareas anal\u00edticas sin depender de un equipo de datos centralizado.<\/li>\n\n\n\n
  2. Resoluci\u00f3n de problemas mejorada:<\/strong> el acceso inmediato a los datos conduce a una r\u00e1pida identificaci\u00f3n y resoluci\u00f3n de problemas, lo que permite un enfoque proactivo.<\/li>\n<\/ol>\n\n\n\n

    Sin embargo, esta poderosa herramienta no est\u00e1 exenta de desaf\u00edos.<\/p>\n\n\n\n

    Desaf\u00edos<\/h3>\n\n\n\n
      \n
    1. Reprocesamiento:<\/strong> cada departamento suele tener una perspectiva \u00fanica sobre c\u00f3mo deben comportarse los datos dentro de su \u00e1mbito. Esto puede llevar a que varios equipos creen conjuntos de datos similares. En lugar de tener conjuntos de datos redundantes, es imperativo reutilizarlos y reutilizarlos. No hacerlo puede dar lugar a un procesamiento de datos repetitivo por parte de diferentes departamentos, incurriendo en costes innecesarios.<\/li>\n\n\n\n
    2. Interdependencia:<\/strong> cuando varios equipos dependen de un \u00fanico conjunto de datos, las modificaciones realizadas en un equipo pueden afectar a otros sin darse cuenta. Por lo tanto, surge la necesidad de una ‘fuente de verdad’ unificada para abordar estos desaf\u00edos\u2014entran los Core Datasets.<\/li>\n<\/ol>\n\n\n\n

      Los Core Datasets de Nubank en acci\u00f3n<\/h2>\n\n\n\n

      Los Core Datasets son la base de una gesti\u00f3n de datos confiable y orientada a las mejores pr\u00e1cticas. Mitigan problemas comunes como el reprocesamiento y allanan el camino para flujos de datos consistentes y confiables. Estos conjuntos de datos act\u00faan como punto de referencia, garantizando la uniformidad y reduciendo las discrepancias.<\/p>\n\n\n\n

      Para apreciar realmente el valor de los Core Datasets, exploremos dos casos de uso de las operaciones de Nubank:<\/p>\n\n\n\n

      Desaf\u00edos de los datos del cliente<\/h3>\n\n\n\n

      En el pasado, diferentes unidades de negocios dentro de Nubank tuvieron que lidiar con reglas comerciales especializadas, lo que hac\u00eda que un an\u00e1lisis consolidado de clientes fuera incre\u00edblemente complejo. Al reconocer las complicaciones que esto podr\u00eda traer, Nubank recurri\u00f3 a Core Datasets como la soluci\u00f3n.<\/p>\n\n\n\n

      Al utilizar estos conjuntos de datos, hemos podido presentar una visi\u00f3n integral de nuestros clientes. El resultado no fue s\u00f3lo un proceso armonizado de an\u00e1lisis de clientes sino una fuente de verdad centralizada. Este cambio simplific\u00f3 tanto el mantenimiento como la evoluci\u00f3n de los datos de nuestros clientes, fomentando una mayor eficiencia y claridad en nuestras operaciones.<\/p>\n\n\n\n

      Discrepancias de datos en productos de tarjetas de cr\u00e9dito<\/h3>\n\n\n\n

      Con una amplia gama de productos de tarjetas de cr\u00e9dito bajo la bandera de Nubank, nos encontramos navegando por un laberinto de m\u00e9tricas, cada una con su conjunto \u00fanico de reglas comerciales. La amplitud de las fuentes de datos hizo que conciliarlas se convirtiera en una tarea meticulosa.<\/p>\n\n\n\n

      Para abordar esto, iniciamos la unificaci\u00f3n de reglas de negocio para indicadores corporativos. Este proceso requiri\u00f3 una colaboraci\u00f3n profundamente arraigada entre las partes interesadas y las unidades de negocio. Al definir claramente la propiedad tanto funcional como t\u00e9cnica, logramos una visi\u00f3n corporativa cohesiva. Esta nueva perspectiva respet\u00f3 puntos de vista especializados, lo que garantiz\u00f3 que, si bien tuvi\u00e9ramos una descripci\u00f3n general completa, no se perdieran los matices \u00fanicos de cada unidad. <\/p>\n\n\n\n

      Adem\u00e1s, este cambio reforz\u00f3 nuestros procesos de gobernanza, especialmente en \u00e1reas relacionadas con la calidad, usabilidad e integridad de los datos.<\/p>\n\n\n\n

      Referencia de Core Datasets<\/h2>\n\n\n\n

      En la pr\u00e1ctica, los conjuntos de datos principales tienen una documentaci\u00f3n m\u00e1s estricta, denominada especificaciones de dise\u00f1o. El equipo de Ingenier\u00eda Anal\u00edtica de Nubank hace referencia a lo siguiente link:<\/p>\n\n\n\n

      Calidad de Datos en Airbnb<\/a> <\/p>\n\n\n\n

      Din\u00e1mica operativa<\/h2>\n\n\n\n

      No hay dos problemas id\u00e9nticos, por lo tanto, sus soluciones pueden variar. Cuando se trabaja con Core Datasets, la esencia es lograr las propiedades enumeradas a continuaci\u00f3n, garantizando que el conjunto de datos final sea:<\/p>\n\n\n\n

        \n
      • La fuente definitiva para casos de uso particulares.<\/li>\n\n\n\n
      • Escalable con el crecimiento org\u00e1nico de la empresa.<\/li>\n\n\n\n
      • Caracterizado por reglas comerciales claras, ya sea a trav\u00e9s de c\u00f3digo o documentaci\u00f3n.<\/li>\n\n\n\n
      • Completamente documentado.<\/li>\n<\/ul>\n\n\n\n

        En Nubank, se han implementado dos enfoques distintos para lograr esto: el Modelado Tabular y el Modelado EAVT<\/strong>. Profundicemos en ello mientras entendemos la motivaci\u00f3n te\u00f3rica detr\u00e1s de estas metodolog\u00edas.<\/p>\n\n\n\n

        Conceptos de Modelado Dimensional de Kimball<\/h3>\n\n\n\n

        Imagine una tabla que represente las transacciones. Una clave primaria, el \u2033<\/span>grano\u2033<\/span>, define su esencia central. A partir de aqu\u00ed, se a\u00f1aden varias caracter\u00edsticas o ‘tablas de dimensiones’ para describir estos eventos, culminando en lo que se denomina el ‘esquema de estrella’. Siguiendo estos principios, Nubank garantiza la eficiencia operativa.<\/p>\n\n\n\n

        Esto implica mapear procesos de negocios, definir el grano, identificar dimensiones y detallar el evento real, lo que conduce a una base de datos estructurada con propiedades flexibles y escalables.<\/p>\n\n\n\n

        Sin embargo, los avances tecnol\u00f3gicos y los paradigmas cambiantes han desplazado el enfoque del almacenamiento al procesamiento.<\/p>\n\n\n\n

        El enfoque EAVT<\/h2>\n\n\n\n

        Dada la naturaleza costosa de implementar m\u00e1s informaci\u00f3n en una tabla, un conjunto de datos con m\u00e1s columnas resulta atractivo. De esta l\u00ednea de pensamiento surgi\u00f3 el modelo EAVT (Entidad, Atributo, Valor, Marca de Tiempo). EAVT se puede visualizar como una tabla donde se apilan las columnas, listas para girar al formato tabular deseado cuando sea necesario.<\/p>\n\n\n\n

        El modelo EAVT, con su \u00e9nfasis en Entidad, Atributo, Valor y Marca de Tiempo, presenta una perspectiva refrescante en el \u00e1mbito del manejo de datos. Una de sus ventajas m\u00e1s pronunciadas es la menor necesidad de modificaciones del esquema. Esto, a su vez, proporciona un mayor grado de modularidad y facilita iteraciones m\u00e1s simples. Cuando se trabaja con grandes conjuntos de datos, un modelo de este tipo resulta invaluable, ya que permite a los manejadores de datos adaptarse r\u00e1pidamente a los cambios.<\/p>\n\n\n\n

        Sin embargo, cada aspecto positivo tiene su contrapartida. Si bien el modelo EAVT es revolucionario en muchos sentidos, puede que no sea perfecto para todos los escenarios. Por ejemplo, cuando se trata de tablas m\u00e1s peque\u00f1as, la implementaci\u00f3n del modelo EAVT puede considerarse excesiva, tal vez incluso engorrosa. Otro desaf\u00edo surge cuando se maneja una l\u00f3gica empresarial compleja. En tales situaciones, el modelo exige una manipulaci\u00f3n compleja, que puede resultar desalentadora para quienes no est\u00e1n familiarizados con sus detalles.<\/p>\n\n\n\n

        Nubank ha desarrollado un marco s\u00f3lido para la manipulaci\u00f3n de EAVT, equipado con herramientas de monitoreo, sistemas de alerta y rastreadores de reglas comerciales.<\/p>\n\n\n\n

        En conclusi\u00f3n, nuestro viaje dentro del intrincado mundo de los datos ha sido a la vez desafiante y esclarecedor. A pesar de los hitos alcanzados, parece que reci\u00e9n estamos comenzando y esperamos con ansias las infinitas posibilidades que tenemos por delante.<\/p>\n\n\n\n

        <\/p>\n\n\n\n

        \n