\u00bfC\u00f3mo conoces todas las opciones y cu\u00e1les puedes comparar con los an\u00e1lisis de otros?<\/p>\n\n\n\n
Para abordar la calidad de los datos y, en \u00faltima instancia, aumentar la eficiencia de los Nubankers para obtener datos y tomar las mejores decisiones basadas en datos, recientemente creamos una nueva capa de datos de calidad verificada en nuestro almac\u00e9n de datos, con un nuevo equipo central para coordinar su adopci\u00f3n y sostenibilidad.<\/p>\n\n\n\n
En este texto, vamos a: <\/h2>\n\n\n\n\n- dar algo de contexto<\/strong> sobre el enfoque previamente descentralizado de Nubank respecto de la calidad de los datos;<\/li>\n\n\n\n
- explicar c\u00f3mo condujo al desaf\u00edo<\/strong> de lograr tanto eficiencia como calidad de los datos;<\/li>\n\n\n\n
- presentar la capa y el marco de \u2033<\/span>datos centrales\u2033<\/span><\/strong> que presentamos en enero de 2020 junto con un equipo central para aumentar tanto la eficiencia como la calidad.<\/li>\n<\/ol>\n\n\n\n
![\"\"](\"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2020\/08\/Nubank_Escritorio_Alta_V1_17Ago17_SP-2.jpg?resize=1024%2C684&ssl=1\")
<\/figure>\n\n\n\nParte 1: Nubank es una organizaci\u00f3n descentralizada, de ritmo r\u00e1pido y basada en datos, con una plataforma de datos de autoservicio<\/h2>\n\n\n\n
Trabajamos en una empresa que ha experimentado un enorme crecimiento: Siete a\u00f1os despu\u00e9s de su lanzamiento, Nubank cuenta con m\u00e1s de 25 millones de clientes<\/strong>, m\u00e1s que cualquier otra fintech del mundo, excluyendo Asia.<\/p>\n\n\n\nHa logrado este impresionante crecimiento con una organizaci\u00f3n muy \u00e1gil, tanto en t\u00e9rminos de organizaci\u00f3n de personas (unos 100 equipos aut\u00f3nomos<\/strong>) como de arquitectura de ingenier\u00eda (unos 500 microservicios<\/strong>). Esto significa equipos multifuncionales (escuadrones) centrados en un proyecto u objetivo espec\u00edfico de la empresa, junto con algunos equipos centrales horizontales.<\/p>\n\n\n\nEl Equipo de Datos Horizontales se hab\u00eda centrado en democratizar el acceso a los datos mediante la implementaci\u00f3n de una infraestructura de flujos de datos (ETL), la integraci\u00f3n con herramientas de consulta \/ BI y el cumplimiento de la protecci\u00f3n de la privacidad de los datos. Sin embargo, como a cada equipo se le dio libertad para crear sus propias tablas, an\u00e1lisis y modelos de ciencia de datos, la calidad de los datos variaba mucho.<\/em><\/p>\n\n\n\nEntonces, la ejecuci\u00f3n del ETL (proceso Extract Transform Load, para transferir datos de nuestros microservicios de producci\u00f3n a nuestro Lago de Datos y Almac\u00e9n de Datos) es responsabilidad del Equipo Horizontal<\/strong>; sin embargo, cualquier equipo puede agregar una nueva fuente de datos al ETL, o una nueva tabla, simplemente utilizando las herramientas de autoservicio desarrolladas internamente.<\/p>\n\n\n\nCon una fuerte mentalidad cuantitativa<\/strong> y de ingenier\u00eda<\/strong>entre los analistas de negocios, la adopci\u00f3n de las herramientas de datos fue muy r\u00e1pida y amplia. Una cosa impresionante en Nubank es que cientos de analistas saben c\u00f3mo escribir SQL, Scala, usar git y escribir pruebas para sus transformaciones.<\/p>\n\n\n\nEn muchas empresas, agregar una transformaci\u00f3n al ETL automatizado es un proceso de cuello de botella, por lo que la cantidad de tablas que se ejecutan autom\u00e1ticamente es limitada. Sin embargo, en Nubank, este proceso se ha democratizado para que todos puedan contribuir con muy poca fricci\u00f3n.<\/em><\/p>\n\n\n\nNuestras avanzadas herramientas de datos de autoservicio fueron \u2033<\/span>v\u00edctimas de su propio \u00e9xito\u2033<\/span>: en pocos a\u00f1os, no solo ten\u00edamos miles de tablas sin procesar, sino tambi\u00e9n miles de tablas de datos transformadas<\/strong> \u2013 \u00a1y creciendo!<\/p>\n\n\n\n![\"\"](\"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2020\/08\/maltchique_nubank-outdoor_5499TESTE-1.jpg?resize=1024%2C683&ssl=1\")
<\/figure>\n\n\n\nParte 2: El an\u00e1lisis descentralizado gener\u00f3 desaf\u00edos para la coherencia de los datos y la productividad anal\u00edtica<\/h2>\n\n\n\nControles de calidad vs. velocidad de ejecuci\u00f3n<\/h2>\n\n\n\n
Todos los Nubankers pueden utilizar nuestra plataforma de datos de autoservicio para manipular datos, teniendo la responsabilidad de comprobar la calidad de los datos que utilizan y publican.<\/p>\n\n\n\n
Sin embargo, comprobar la calidad de los datos requer\u00eda cada vez m\u00e1s tiempo <\/strong>debido al aumento de tablas de datos sin procesar y transformados:<\/p>\n\n\n\n\n- datos sin procesar <\/strong>(tablas de 20K) <\/strong>con la diversificaci\u00f3n de nuestros productos financieros ofrecidos desde un producto de tarjeta de cr\u00e9dito hasta puntos de recompensa, cuentas de ahorro y pr\u00e9stamos;<\/li>\n\n\n\n
- tablas transformadas<\/strong> (10K) en nuestro entorno de an\u00e1lisis con un n\u00famero creciente de contribuyentes (~500 entre los cuales ingenieros anal\u00edticos<\/a>, analistas, ingenieros de datos y cient\u00edficos de datos).<\/li>\n<\/ul>\n\n\n\n
La coherencia de las definiciones de conceptos y m\u00e9tricas en toda la empresa tambi\u00e9n se convirti\u00f3 en un desaf\u00edo, ya que la cantidad de equipos creci\u00f3 a cien y necesitaban coordinarse y colaborar de la mejor manera.<\/p>\n\n\n\n
Para cada uso de datos, era necesario repetir las tareas de control de calidad: asegurarse de que los datos consumidos se comprendan (legibilidad), sean correctos (precisi\u00f3n) y coherentes (consistencia). En \u00faltima instancia, la velocidad de entrega (productividad) del an\u00e1lisis de datos se vio afectada.<\/em><\/p>\n\n\n\nHab\u00eda que hacer un equilibrio <\/strong>entre la velocidad de entrega y la calidad de los datos<\/strong> seg\u00fan el caso de uso. Priorizar la calidad para informes regulatorios, modelos de ciencia de datos de alta exposici\u00f3n o decisiones estrat\u00e9gicas, al mismo tiempo que se prioriza la velocidad para an\u00e1lisis ad hoc o informes solo internos.<\/p>\n\n\n\nAunque hab\u00edamos revisado las tablas minuciosamente, no era obvio distinguirlas entre otras. Adem\u00e1s, los datos cuya calidad se controla pueden volverse obsoletos con el tiempo si no se mantienen, y algunas tablas de calidad pueden no ser coherentes con el resto en t\u00e9rminos de convenciones de nomenclatura.<\/p>\n\n\n\n
Identificar ganancias de calidad y eficiencia<\/p>\n\n\n\n
Se hizo m\u00e1s claro que hab\u00eda enormes oportunidades de ganar eficiencia, ya que muchas de esas tareas repetidas de control de calidad en cientos de equipos pod\u00edan realizarse una vez de forma centralizada, dejando m\u00e1s tiempo para que los analistas y cient\u00edficos de datos se concentren en los an\u00e1lisis y los modelos que en la b\u00fasqueda de los datos correctos.<\/p>\n\n\n\n
Cuando nos dimos cuenta de que pod\u00edamos aumentar significativamente la eficiencia, la coherencia, la precisi\u00f3n y la comprensibilidad del an\u00e1lisis de datos coordinando la calidad de los datos en un equipo central, en enero de 2020 se cre\u00f3 el equipo de Productividad de An\u00e1lisis en Nubank.<\/em><\/p>\n\n\n\nNuestro objetivo era lograr esta eficiencia manteniendo al mismo tiempo la libertad anal\u00edtica de los analistas de toda la empresa. Si bien los objetivos aut\u00f3nomos de cientos de equipos deber\u00edan ser coherentes con los objetivos generales de la empresa, imaginamos que las m\u00e9tricas, los modelos y los informes deber\u00edan ser coherentes <\/strong>en toda la empresa a pesar de haber sido generados por cientos de microservicios independientes.<\/p>\n\n\n\nParte 3: Introducci\u00f3n de una capa de \u201cdatos centrales\u201d para toda la empresa con un equipo central para coordinar su lanzamiento y sostenibilidad<\/h2>\n\n\n\n
A medida que el nuevo equipo de Productividad Anal\u00edtica se hizo cargo de la calidad de los datos de la empresa, abord\u00f3 la organizaci\u00f3n del almac\u00e9n de datos junto con un conjunto de reglas (convenciones de nomenclatura, requisitos de documentaci\u00f3n), procesos (contribuci\u00f3n y mantenimiento) e iniciativas de comunicaci\u00f3n.<\/p>\n\n\n\n
Nuestros componentes de implementaci\u00f3n de gobernanza de calidad de datos en Nubank<\/em><\/p>\n\n\n\nUna nueva capa \u2033<\/span>n\u00facleo\u2033<\/span> en el almac\u00e9n de datos con algunos principios<\/p>\n\n\n\nEl equipo cre\u00f3 una carpeta \u2033<\/span>central\u2033<\/span> (es decir, capa, esquema, contenedor o espacio de nombres) para diferenciar claramente las tablas con control de calidad de las otras carpetas de acceso abierto (lectura y escritura).<\/p>\n\n\n\nAplicamos reglas m\u00e1s estrictas \u00fanicamente a la \u2033<\/span>carpeta principal\u2033<\/span>, mientras manten\u00edamos el resto del almac\u00e9n de datos en un entorno de lectura y escritura de autoservicio y bajas restricciones. Esto fue fundamental para que los equipos mantuvieran la libertad de uso de datos que ha sido un catalizador para el crecimiento de Nubank.<\/p>\n\n\n\nAdem\u00e1s, reconocemos que es necesario que coexistan diferentes capas de datos, ya que no todas las tablas est\u00e1n destinadas a usarse para m\u00e1s de un caso de uso o equipo. Nuestro objetivo es que las tablas de datos centrales sean la fuente de datos reutilizables con calidad comprobada para capas m\u00e1s espec\u00edficas de aplicaciones comerciales.<\/p>\n\n\n\n
Los principios fundamentales de la capa \u2033<\/span>n\u00facleo\u2033<\/span> son:<\/h2>\n\n\n\n\n- Los datos deben ser precisos (o lo m\u00e1s precisos posible) y mantenerse para seguir siendo precisos.<\/li>\n\n\n\n
- Las m\u00e9tricas deben tener definiciones y convenciones de nomenclatura coherentes y consistentes en todas las tablas de esa capa.<\/li>\n\n\n\n
- Cualquier Nubanker debe encontrar y utilizar datos \u201cmaestros\u201d y fuentes veraces para los principales objetos y procesos comerciales.<\/li>\n\n\n\n
- Las tablas se calcular\u00edan en funci\u00f3n de datos sin procesar u otros conjuntos de datos b\u00e1sicos para garantizar que se mantenga la precisi\u00f3n.<\/li>\n\n\n\n
- Siempre hay una documentaci\u00f3n actualizada con cada tabla para garantizar que sus consumidores comprendan el contenido r\u00e1pidamente.<\/li>\n<\/ol>\n\n\n\n
Una representaci\u00f3n simple de nuestra implementaci\u00f3n: una capa central de datos de calidad controlada en nuestro almac\u00e9n de datos.<\/em><\/p>\n\n\n\nNormas y procesos para hacerlo una realidad sostenible<\/h2>\n\n\n\n
Para asegurarnos de que se siguieran los principios, definimos reglas <\/strong>y las aplicamos t\u00e9cnicamente: para agregar, modificar o eliminar un conjunto de datos en la capa central, solo puedes hacerlo desde una carpeta espec\u00edfica en nuestro repositorio de c\u00f3digo con reglas de contribuci\u00f3n m\u00e1s estrictas<\/strong>.<\/p>\n\n\n\nLuego, tenemos procesos de mantenimiento<\/strong> que monitorean problemas potenciales en las tablas de esa carpeta principal, con un propietario responsable para solucionarlo.<\/p>\n\n\n\nComunicaci\u00f3n para involucrar a toda la empresa<\/h2>\n\n\n\n
A medida que abordamos una necesidad creciente de nuestros consumidores de datos, esperamos que utilicen nuestros conjuntos de datos principales. Tambi\u00e9n esperamos que los equipos ayuden a contribuir<\/strong> cuando sea su dominio de experiencia o cuando posean tablas que ya cumplan con nuestros criterios y puedan transferirse a la carpeta principal; mientras que el equipo central coordina que se cumplan los principios de contribuci\u00f3n.<\/p>\n\n\n\nCon comunicaci\u00f3n y capacitaciones, buscamos impulsar la contribuci\u00f3n y el consumo en toda la empresa, adem\u00e1s de asegurarnos de estar cerca de las necesidades de nuestros consumidores de datos.<\/p>\n\n\n\n
El equipo<\/h2>\n\n\n\n
Comenzamos el equipo con Ingenieros Anal\u00edticos (AEs<\/a>) y Analistas de Negocios (BAs).<\/p>\n\n\n\n
<\/figure>\n\n\n\nParte 1: Nubank es una organizaci\u00f3n descentralizada, de ritmo r\u00e1pido y basada en datos, con una plataforma de datos de autoservicio<\/h2>\n\n\n\n
Trabajamos en una empresa que ha experimentado un enorme crecimiento: Siete a\u00f1os despu\u00e9s de su lanzamiento, Nubank cuenta con m\u00e1s de 25 millones de clientes<\/strong>, m\u00e1s que cualquier otra fintech del mundo, excluyendo Asia.<\/p>\n\n\n\n Ha logrado este impresionante crecimiento con una organizaci\u00f3n muy \u00e1gil, tanto en t\u00e9rminos de organizaci\u00f3n de personas (unos 100 equipos aut\u00f3nomos<\/strong>) como de arquitectura de ingenier\u00eda (unos 500 microservicios<\/strong>). Esto significa equipos multifuncionales (escuadrones) centrados en un proyecto u objetivo espec\u00edfico de la empresa, junto con algunos equipos centrales horizontales.<\/p>\n\n\n\n El Equipo de Datos Horizontales se hab\u00eda centrado en democratizar el acceso a los datos mediante la implementaci\u00f3n de una infraestructura de flujos de datos (ETL), la integraci\u00f3n con herramientas de consulta \/ BI y el cumplimiento de la protecci\u00f3n de la privacidad de los datos. Sin embargo, como a cada equipo se le dio libertad para crear sus propias tablas, an\u00e1lisis y modelos de ciencia de datos, la calidad de los datos variaba mucho.<\/em><\/p>\n\n\n\n Entonces, la ejecuci\u00f3n del ETL (proceso Extract Transform Load, para transferir datos de nuestros microservicios de producci\u00f3n a nuestro Lago de Datos y Almac\u00e9n de Datos) es responsabilidad del Equipo Horizontal<\/strong>; sin embargo, cualquier equipo puede agregar una nueva fuente de datos al ETL, o una nueva tabla, simplemente utilizando las herramientas de autoservicio desarrolladas internamente.<\/p>\n\n\n\n Con una fuerte mentalidad cuantitativa<\/strong> y de ingenier\u00eda<\/strong>entre los analistas de negocios, la adopci\u00f3n de las herramientas de datos fue muy r\u00e1pida y amplia. Una cosa impresionante en Nubank es que cientos de analistas saben c\u00f3mo escribir SQL, Scala, usar git y escribir pruebas para sus transformaciones.<\/p>\n\n\n\n En muchas empresas, agregar una transformaci\u00f3n al ETL automatizado es un proceso de cuello de botella, por lo que la cantidad de tablas que se ejecutan autom\u00e1ticamente es limitada. Sin embargo, en Nubank, este proceso se ha democratizado para que todos puedan contribuir con muy poca fricci\u00f3n.<\/em><\/p>\n\n\n\n Nuestras avanzadas herramientas de datos de autoservicio fueron \u2033<\/span>v\u00edctimas de su propio \u00e9xito\u2033<\/span>: en pocos a\u00f1os, no solo ten\u00edamos miles de tablas sin procesar, sino tambi\u00e9n miles de tablas de datos transformadas<\/strong> \u2013 \u00a1y creciendo!<\/p>\n\n\n\n Todos los Nubankers pueden utilizar nuestra plataforma de datos de autoservicio para manipular datos, teniendo la responsabilidad de comprobar la calidad de los datos que utilizan y publican.<\/p>\n\n\n\n Sin embargo, comprobar la calidad de los datos requer\u00eda cada vez m\u00e1s tiempo <\/strong>debido al aumento de tablas de datos sin procesar y transformados:<\/p>\n\n\n\n La coherencia de las definiciones de conceptos y m\u00e9tricas en toda la empresa tambi\u00e9n se convirti\u00f3 en un desaf\u00edo, ya que la cantidad de equipos creci\u00f3 a cien y necesitaban coordinarse y colaborar de la mejor manera.<\/p>\n\n\n\n Para cada uso de datos, era necesario repetir las tareas de control de calidad: asegurarse de que los datos consumidos se comprendan (legibilidad), sean correctos (precisi\u00f3n) y coherentes (consistencia). En \u00faltima instancia, la velocidad de entrega (productividad) del an\u00e1lisis de datos se vio afectada.<\/em><\/p>\n\n\n\n Hab\u00eda que hacer un equilibrio <\/strong>entre la velocidad de entrega y la calidad de los datos<\/strong> seg\u00fan el caso de uso. Priorizar la calidad para informes regulatorios, modelos de ciencia de datos de alta exposici\u00f3n o decisiones estrat\u00e9gicas, al mismo tiempo que se prioriza la velocidad para an\u00e1lisis ad hoc o informes solo internos.<\/p>\n\n\n\n Aunque hab\u00edamos revisado las tablas minuciosamente, no era obvio distinguirlas entre otras. Adem\u00e1s, los datos cuya calidad se controla pueden volverse obsoletos con el tiempo si no se mantienen, y algunas tablas de calidad pueden no ser coherentes con el resto en t\u00e9rminos de convenciones de nomenclatura.<\/p>\n\n\n\n Identificar ganancias de calidad y eficiencia<\/p>\n\n\n\n Se hizo m\u00e1s claro que hab\u00eda enormes oportunidades de ganar eficiencia, ya que muchas de esas tareas repetidas de control de calidad en cientos de equipos pod\u00edan realizarse una vez de forma centralizada, dejando m\u00e1s tiempo para que los analistas y cient\u00edficos de datos se concentren en los an\u00e1lisis y los modelos que en la b\u00fasqueda de los datos correctos.<\/p>\n\n\n\n Cuando nos dimos cuenta de que pod\u00edamos aumentar significativamente la eficiencia, la coherencia, la precisi\u00f3n y la comprensibilidad del an\u00e1lisis de datos coordinando la calidad de los datos en un equipo central, en enero de 2020 se cre\u00f3 el equipo de Productividad de An\u00e1lisis en Nubank.<\/em><\/p>\n\n\n\n Nuestro objetivo era lograr esta eficiencia manteniendo al mismo tiempo la libertad anal\u00edtica de los analistas de toda la empresa. Si bien los objetivos aut\u00f3nomos de cientos de equipos deber\u00edan ser coherentes con los objetivos generales de la empresa, imaginamos que las m\u00e9tricas, los modelos y los informes deber\u00edan ser coherentes <\/strong>en toda la empresa a pesar de haber sido generados por cientos de microservicios independientes.<\/p>\n\n\n\n A medida que el nuevo equipo de Productividad Anal\u00edtica se hizo cargo de la calidad de los datos de la empresa, abord\u00f3 la organizaci\u00f3n del almac\u00e9n de datos junto con un conjunto de reglas (convenciones de nomenclatura, requisitos de documentaci\u00f3n), procesos (contribuci\u00f3n y mantenimiento) e iniciativas de comunicaci\u00f3n.<\/p>\n\n\n\n Nuestros componentes de implementaci\u00f3n de gobernanza de calidad de datos en Nubank<\/em><\/p>\n\n\n\n Una nueva capa \u2033<\/span>n\u00facleo\u2033<\/span> en el almac\u00e9n de datos con algunos principios<\/p>\n\n\n\n El equipo cre\u00f3 una carpeta \u2033<\/span>central\u2033<\/span> (es decir, capa, esquema, contenedor o espacio de nombres) para diferenciar claramente las tablas con control de calidad de las otras carpetas de acceso abierto (lectura y escritura).<\/p>\n\n\n\n Aplicamos reglas m\u00e1s estrictas \u00fanicamente a la \u2033<\/span>carpeta principal\u2033<\/span>, mientras manten\u00edamos el resto del almac\u00e9n de datos en un entorno de lectura y escritura de autoservicio y bajas restricciones. Esto fue fundamental para que los equipos mantuvieran la libertad de uso de datos que ha sido un catalizador para el crecimiento de Nubank.<\/p>\n\n\n\n Adem\u00e1s, reconocemos que es necesario que coexistan diferentes capas de datos, ya que no todas las tablas est\u00e1n destinadas a usarse para m\u00e1s de un caso de uso o equipo. Nuestro objetivo es que las tablas de datos centrales sean la fuente de datos reutilizables con calidad comprobada para capas m\u00e1s espec\u00edficas de aplicaciones comerciales.<\/p>\n\n\n\n Una representaci\u00f3n simple de nuestra implementaci\u00f3n: una capa central de datos de calidad controlada en nuestro almac\u00e9n de datos.<\/em><\/p>\n\n\n\n Para asegurarnos de que se siguieran los principios, definimos reglas <\/strong>y las aplicamos t\u00e9cnicamente: para agregar, modificar o eliminar un conjunto de datos en la capa central, solo puedes hacerlo desde una carpeta espec\u00edfica en nuestro repositorio de c\u00f3digo con reglas de contribuci\u00f3n m\u00e1s estrictas<\/strong>.<\/p>\n\n\n\n Luego, tenemos procesos de mantenimiento<\/strong> que monitorean problemas potenciales en las tablas de esa carpeta principal, con un propietario responsable para solucionarlo.<\/p>\n\n\n\n A medida que abordamos una necesidad creciente de nuestros consumidores de datos, esperamos que utilicen nuestros conjuntos de datos principales. Tambi\u00e9n esperamos que los equipos ayuden a contribuir<\/strong> cuando sea su dominio de experiencia o cuando posean tablas que ya cumplan con nuestros criterios y puedan transferirse a la carpeta principal; mientras que el equipo central coordina que se cumplan los principios de contribuci\u00f3n.<\/p>\n\n\n\n Con comunicaci\u00f3n y capacitaciones, buscamos impulsar la contribuci\u00f3n y el consumo en toda la empresa, adem\u00e1s de asegurarnos de estar cerca de las necesidades de nuestros consumidores de datos.<\/p>\n\n\n\n Comenzamos el equipo con Ingenieros Anal\u00edticos (AEs<\/a>) y Analistas de Negocios (BAs).<\/p>\n\n\n\n<\/figure>\n\n\n\nParte 2: El an\u00e1lisis descentralizado gener\u00f3 desaf\u00edos para la coherencia de los datos y la productividad anal\u00edtica<\/h2>\n\n\n\n
Controles de calidad vs. velocidad de ejecuci\u00f3n<\/h2>\n\n\n\n
\n
Parte 3: Introducci\u00f3n de una capa de \u201cdatos centrales\u201d para toda la empresa con un equipo central para coordinar su lanzamiento y sostenibilidad<\/h2>\n\n\n\n
Los principios fundamentales de la capa \u2033<\/span>n\u00facleo\u2033<\/span> son:<\/h2>\n\n\n\n
\n
Normas y procesos para hacerlo una realidad sostenible<\/h2>\n\n\n\n
Comunicaci\u00f3n para involucrar a toda la empresa<\/h2>\n\n\n\n
El equipo<\/h2>\n\n\n\n