En Ciencia de Datos, la gesti\u00f3n efectiva de consultas es fundamental. Sum\u00e9rgete en la estrategia de Nubank, donde se aprovecha el poder de Scala y Spark para asegurar transformaciones de datos eficientes.<\/p>\n\n\n\n
Descubre c\u00f3mo la intrincada arquitectura de datos de Nubank, que incluye extracci\u00f3n, transformaci\u00f3n y carga, funciona de manera fluida con Scala para mantener la consistencia y gobernanza de los datos.<\/p>\n\n\n\n
Esta gu\u00eda ofrece una inmersi\u00f3n profunda en los matices de la codificaci\u00f3n y ejemplos del mundo real, mostrando las enormes capacidades de Scala y Spark para manejar consultas complejas.<\/p>\n\n\n\n
Antes de profundizar en la parte de programaci\u00f3n, es crucial entender la estructura de datos de Nubank. En resumen, nuestra arquitectura de datos se compone de tres partes est\u00e1ndar:<\/p>\n\n\n\n
Scala y Spark entran en juego durante la etapa de transformaci\u00f3n. Con la gran cantidad de transformaciones que ocurren, es imperativo gestionar nuestras consultas de manera efectiva, asegurando la consistencia y gobernanza de los datos. Aqu\u00ed es donde Scala y Spark brillan.<\/p>\n\n\n\n
Profundizando en el aspecto de la codificaci\u00f3n, es importante mencionar que utilizamos Databricks, que es similar a Jupyter. Es un entorno de ejecuci\u00f3n con el formato de un cuaderno de notas.<\/p>\n\n\n\n
Vamos a demostrar una consulta simple construida utilizando una ‘Tabla Base’. Esta tabla consta de detalles de transacciones, como la fecha de solicitud y la informaci\u00f3n del cliente.<\/p>\n\n\n\n
Aunque el c\u00f3digo inicial consta de solo unas pocas l\u00edneas, el poder de Scala y Spark nos permite reescribir las transformaciones como cadenas basadas en funciones puras. Este enfoque estructurado ayuda a gestionar consultas complejas de manera m\u00e1s eficiente.<\/p>\n\n\n\n
Cuando se manejan grandes cantidades de datos, los metadatos se vuelven cruciales. Estos proporcionan informaci\u00f3n sobre la consulta, su autor, la descripci\u00f3n y m\u00e1s.<\/p>\n\n\n\n
Aunque es posible mantener un repositorio de metadatos separado, integrar la consulta con sus metadatos es m\u00e1s eficiente, simplificando el proceso de transformaci\u00f3n y gesti\u00f3n de datos.<\/p>\n\n\n\n
La propuesta \u00fanica de Scala es su capacidad para combinar la programaci\u00f3n orientada a objetos con la programaci\u00f3n funcional de manera fluida.<\/p>\n\n\n\n
Para estructurar mejor nuestros metadatos, introducimos ‘Spark Query’, un Trait en Scala (similar a una interfaz en Java o una clase abstracta en otros lenguajes). Esto nos permite definir una consulta con sus metadatos asociados.<\/p>\n\n\n\n
Por ejemplo, una ‘Spark Query’ puede tener:<\/p>\n\n\n\n
Imagina el desaf\u00edo: tienes una consulta y necesitas integrarla en tu estructura predefinida. Esto requiere que crees un objeto para la consulta previamente definida. Para efectos de este tutorial, podemos llamarlo CompletedPixTransactions.<\/strong>.<\/p>\n\n\n\n Para implementar un hilo en Scala, usamos la palabra clave extends. Despu\u00e9s de extender nuestro hilo, definiremos todos los elementos necesarios dentro. Dado que Scala cuenta con capacidades impresionantes de inferencia de tipos, no es necesario especificar expl\u00edcitamente el tipo para todo. Por ejemplo, si tableName es una cadena de texto, simplemente definimos nuestra cadena.<\/p>\n\n\n\n Para este ejercicio, nuestro tableName se llamar\u00e1 CompletedPixMovements. Aqu\u00ed es donde residir\u00e1n nuestros datos. Para proporcionar una breve descripci\u00f3n o lo que llamar\u00edamos un ExampleDataset, consid\u00e9relo como una instant\u00e1nea de nuestro proyecto en curso. El equipo propietario (llam\u00e9moslo OwnerTeam) no necesita ser entendido en profundidad para este contexto. Nuestros datos pertenecen a Brasil, por lo que, naturalmente, todo nuestro contenido est\u00e1 en portugu\u00e9s.<\/p>\n\n\n\n Despu\u00e9s de evaluar nuestra consulta, concluimos que su nivel de QualityAssurance es alto, lo que indica un concepto de negocio bien escrito y preciso. En cuanto a nuestras entradas, lo hemos mantenido simple utilizando solo una tabla: PixMovements.<\/p>\n\n\n\n Ahora viene la parte crucial. \u00bfC\u00f3mo redactamos nuestra consulta? Recuperaremos nuestra consulta previamente escrita y la integraremos dentro de nuestra estructura de encapsulaci\u00f3n. Con Scala, al construir un objeto de esta manera, hay libertad para a\u00f1adir detalles suplementarios. Si se desea, se puede agregar un metadato de frecuencia para indicar la frecuencia de ejecuci\u00f3n de la consulta.<\/p>\n\n\n\n Funciones \u00fanicas exclusivas de esta consulta de Spark tambi\u00e9n pueden estar anidadas dentro. Esto mejora la claridad, ya que al escribir la consulta, estas funciones pueden ser referenciadas directamente.<\/p>\n\n\n\n El siguiente paso es extraer nuestros datos de entrada del dataframe, aplicar las transformaciones necesarias como antes, y evitar cualquier funci\u00f3n de visualizaci\u00f3n ya que nuestra principal preocupaci\u00f3n es la ejecuci\u00f3n de la consulta, no su visualizaci\u00f3n o mecanismo de guardado.<\/p>\n\n\n\n Con una ejecuci\u00f3n exitosa, este enfoque nos ayuda a encapsular tanto nuestra consulta como sus metadatos asociados dentro de un solo objeto estandarizado.<\/p>\n\n\n\n El proceso para ejecutar esta consulta encapsulada es bastante intuitivo. Primero, especifica la entrada de tu consulta, que t\u00edpicamente es un mapa, luego accede a los datos dentro de la tabla usando el nombre del mapa. Este objeto puede entonces llamar a la consulta definida e introducir los datos en ella. Si se ejecuta correctamente, deber\u00edas ver resultados similares a los de antes.<\/p>\n\n\n\n Para guardar los resultados en una tabla\u2014un procedimiento est\u00e1ndar en las pipelines\u2014puedes utilizar los comandos de Spark. El nombre de la tabla est\u00e1 predefinido dentro de nuestro objeto como TableName. Al ejecutar, los resultados de la consulta ser\u00e1n almacenados en esta tabla especificada.<\/p>\n\n\n\n En resumen, hemos encapsulado exitosamente una consulta b\u00e1sica y sus metadatos en un objeto estandarizado, ofreciendo un m\u00e9todo claro y robusto para gestionar consultas de Spark con Scala.<\/p>\n\n\n\n Los entornos de producci\u00f3n reales no lidian con una sola consulta, sino potencialmente con cientos. Manejar tal volumen requiere un enfoque m\u00e1s avanzado.<\/p>\n\n\n\n En nuestro segmento inicial, aprendimos c\u00f3mo elaborar una consulta de Spark utilizando la API de Scala, enfatizando funciones puras y capas de gobernanza mejoradas. A medida que avanzamos, profundizaremos en aprovechar el poder combinado de la programaci\u00f3n orientada a objetos y el lenguaje funcional con Scala.<\/p>\n\n\n\n Dentro de nuestra consulta de Spark, poseemos un atributo llamado QueryInputs. Este atributo contiene una lista que detalla las entradas para una consulta espec\u00edfica.<\/p>\n\n\n\n Por ejemplo, si queremos determinar el n\u00famero de entradas para una consulta dada, podr\u00edamos hacerlo f\u00e1cilmente llamando al m\u00e9todo .size en nuestra lista.<\/p>\n\n\n\n Para demostrar, podemos crear una funci\u00f3n llamada getNumberOfInputs que obtenga el n\u00famero de entradas. Cuando esta funci\u00f3n se aplica a una lista de consultas, producir\u00eda una lista de enteros que representa la cantidad de entradas para cada consulta.<\/p>\n\n\n\n Esta transformaci\u00f3n es posible utilizando el operador map. El operador map aplica una funci\u00f3n dada a cada elemento de una lista de entrada, creando una nueva lista que contiene los elementos devueltos por la funci\u00f3n.<\/p>\n\n\n\n Otra operaci\u00f3n crucial en la programaci\u00f3n funcional es reduce. El objetivo de reduce es tomar una lista de elementos y condensarla en un solo valor.<\/p>\n\n\n\n Por ejemplo, dada una lista de n\u00fameros, uno podr\u00eda usar reduce para calcular el promedio o la suma de la lista. La funci\u00f3n que acepta el m\u00e9todo reduce t\u00edpicamente toma dos argumentos y retorna un solo resultado.<\/p>\n\n\n\n Para visualizarlo, imagina aplicar una funci\u00f3n secuencialmente a pares de elementos en una lista, reduci\u00e9ndola gradualmente hasta obtener un \u00fanico resultado acumulado.<\/p>\n\n\n\n Para poner esto en perspectiva, consideremos un escenario donde tenemos una lista de enteros que representa las entradas de consultas. Podr\u00edamos definir una funci\u00f3n, sumNumberOfInputs, que calcule la suma de dos enteros.<\/p>\n\n\n\n Cuando esta funci\u00f3n se aplica sobre nuestra lista utilizando reduce, acumular\u00eda el n\u00famero total de entradas a trav\u00e9s de todas las consultas.<\/p>\n\n\n\n Para aislar las consultas creadas por el equipo de Ingenieros PIX, empleamos la operaci\u00f3n filter. Esta operaci\u00f3n procesa una lista, reteniendo solo los elementos que cumplen con una condici\u00f3n dada.<\/p>\n\n\n\n En nuestro caso, definimos una funci\u00f3n, isFromTeamPixEngineers, que verifica si una consulta dada se origina de este equipo espec\u00edfico.<\/p>\n\n\n\n De nuestra lista filtrada de consultas de los Ingenieros PIX, podr\u00edamos querer discernir cu\u00e1les de ellas son de baja calidad. Podemos introducir otra condici\u00f3n de filtrado, verificando el atributo QualityAssurance de cada consulta en busca del valor ‘bajo’.<\/p>\n\n\n\n Un requisito com\u00fan en los entornos ETL es identificar dependencias. Supongamos que queremos identificar qu\u00e9 conjuntos de datos dependen del conjunto de datos Meetup PixMovements. Podemos crear otra funci\u00f3n de filtro para examinar nuestra lista y encontrar consultas que dependan de este conjunto de datos espec\u00edfico.<\/p>\n\n\n\n Este ejercicio es fundamental, especialmente al considerar los efectos en cadena de alterar una consulta fundamental.<\/p>\n\n\n\n Despu\u00e9s de establecer un sistema de consultas robusto, \u00bfqu\u00e9 sigue? Aqu\u00ed hay algunas provocaciones:<\/p>\n\n\n\n Estas son pr\u00e1cticas que hemos integrado en nuestra gobernanza de datos en Nubank, asegurando control y consistencia.<\/p>\n\n\n\n La flexibilidad de Scala ofrece posibilidades a\u00fan m\u00e1s avanzadas:<\/p>\n\n\n\n Por ejemplo, con solo unas pocas l\u00edneas de c\u00f3digo, podemos crear un dataframe, que nos permite analizar la distribuci\u00f3n de datos, como el n\u00famero de conjuntos de datos por pa\u00eds o por equipo propietario, en tiempo real.<\/p>\n\n\n\n Dominar Scala y Spark resulta fundamental para optimizar las transformaciones y la gesti\u00f3n de datos. Como ilustra la metodolog\u00eda de Nubank, integrar ambas herramientas ofrece una soluci\u00f3n integral a los desaf\u00edos de la gobernanza de datos.<\/p>\n\n\n\n Con caracter\u00edsticas como la encapsulaci\u00f3n de consultas y metadatos, la visualizaci\u00f3n de dependencias y el tratamiento de metadatos como datos reales, Scala se convierte en un activo invaluable para los profesionales de datos. A medida que los ecosistemas de datos contin\u00faan creciendo y volvi\u00e9ndose m\u00e1s complejos, adoptar estas estrategias se vuelve crucial para las empresas que buscan eficiencia, claridad y una gobernanza de datos robusta.<\/p>\n\n\n\n Mira lo que compartimos sobre este tema en Meetup a continuaci\u00f3n:<\/p>\n\n\n\nCreando nuestro objeto<\/h3>\n\n\n\n
Construyendo metadatos y la consulta<\/h3>\n\n\n\n
Ejecuci\u00f3n y resultados<\/h3>\n\n\n\n
Un paso m\u00e1s all\u00e1: m\u00faltiples consultas<\/h2>\n\n\n\n
Creando la funci\u00f3n getNumberOfInputs<\/h2>\n\n\n\n
Entendiendo la operaci\u00f3n reduce:<\/h2>\n\n\n\n
Sumando las entradas<\/h3>\n\n\n\n
Identificando consultas del equipo de ingenieros PIX<\/h2>\n\n\n\n
Aislamiento de consultas de baja calidad<\/h2>\n\n\n\n
Desafiando las normas: exigiendo m\u00e1s de Scala<\/h2>\n\n\n\n
Implementaci\u00f3n de pruebas rigurosas<\/h3>\n\n\n\n
\n
Capacidades avanzadas de Scala<\/h3>\n\n\n\n
\n