Na ci\u00eancia de dados, o gerenciamento eficaz de consultas \u00e9 fundamental. Mergulhe na estrat\u00e9gia do Nubank, onde o poder de Scala e Spark \u00e9 aproveitado para garantir transforma\u00e7\u00f5es de dados eficientes.<\/p>\n\n\n\n
Descubra como a complexa arquitetura de dados do Nubank, que inclui extra\u00e7\u00e3o, transforma\u00e7\u00e3o e carregamento, trabalha perfeitamente com Scala para manter a consist\u00eancia e governan\u00e7a dos dados.<\/p>\n\n\n\n
Este guia oferece uma imers\u00e3o nas nuances da codifica\u00e7\u00e3o e exemplos do mundo real, demonstrando as imensas capacidades de Scala e Spark no manejo de consultas complexas.<\/p>\n\n\n\n
Antes de mergulharmos na parte de programa\u00e7\u00e3o, \u00e9 crucial entender a estrutura de dados do Nubank. Em resumo, nossa arquitetura de dados \u00e9 composta por tr\u00eas partes principais:<\/p>\n\n\n\n
Scala e Spark entram em cena durante a etapa de transforma\u00e7\u00e3o. Com a grande quantidade de transforma\u00e7\u00f5es ocorrendo, \u00e9 essencial gerenciar nossas consultas de maneira eficaz, garantindo a consist\u00eancia e governan\u00e7a dos dados. \u00c9 aqui que Scala e Spark realmente se destacam.<\/p>\n\n\n\n
Entrando na parte de codifica\u00e7\u00e3o, \u00e9 importante mencionar que utilizamos o Databricks, que \u00e9 semelhante ao Jupyter. Este \u00e9 um ambiente de execu\u00e7\u00e3o no estilo de um notebook.<\/p>\n\n\n\n
Vamos demonstrar uma consulta simples constru\u00edda usando uma ‘Tabela Base’. Esta tabela consiste em detalhes de transa\u00e7\u00f5es, como a data da solicita\u00e7\u00e3o e informa\u00e7\u00f5es do cliente.<\/p>\n\n\n\n
Embora o c\u00f3digo inicial consista em apenas algumas linhas, o poder do Scala e Spark nos permite reescrever as transforma\u00e7\u00f5es como cadeias baseadas em fun\u00e7\u00f5es puras. Essa abordagem estruturada ajuda a gerenciar consultas complexas de maneira mais eficiente.<\/p>\n\n\n\n
Ao lidar com grandes volumes de dados, os metadados se tornam cruciais. Eles fornecem informa\u00e7\u00f5es sobre a consulta, seu autor, a descri\u00e7\u00e3o e muito mais.<\/p>\n\n\n\n
Embora seja poss\u00edvel manter um reposit\u00f3rio de metadados separado, integrar a consulta com seus metadados \u00e9 mais eficiente, simplificando o processo de transforma\u00e7\u00e3o e gerenciamento de dados.<\/p>\n\n\n\n
A grande vantagem do Scala \u00e9 sua capacidade de combinar programa\u00e7\u00e3o orientada a objetos com programa\u00e7\u00e3o funcional de forma fluida.<\/p>\n\n\n\n
Para estruturar melhor nossos metadados, introduzimos o ‘Spark Query’\u2014um Trait em Scala (semelhante a uma interface no Java ou uma classe abstrata em outras linguagens). Isso nos permite definir uma consulta com seus metadados associados.<\/p>\n\n\n\n
Por exemplo, um ‘Spark Query’ pode ter:<\/p>\n\n\n\n
Imagine o desafio: voc\u00ea tem uma consulta e precisa encaix\u00e1-la na sua estrutura predefinida. Isso exige a cria\u00e7\u00e3o de um objeto para a consulta definida previamente. Para fins deste tutorial, podemos nome\u00e1-lo de CompletedPixTransactions<\/strong>.<\/p>\n\n\n\n Para implementar um trait em Scala, usamos a palavra-chave extends. Ap\u00f3s estender nosso trait, definimos todos os elementos necess\u00e1rios dentro dele. Como o Scala possui capacidades impressionantes de infer\u00eancia de tipos, n\u00e3o \u00e9 necess\u00e1rio especificar o tipo explicitamente para tudo. Por exemplo, se tableName \u00e9 uma string, basta definir nossa string.<\/p>\n\n\n\n Para este exerc\u00edcio, nosso tableName ser\u00e1 nomeado CompletedPixMovements. \u00c9 aqui que nossos dados ser\u00e3o armazenados. Para fornecer uma breve descri\u00e7\u00e3o, ou o que chamar\u00edamos de ExampleDataset, considere-o como um instant\u00e2neo do nosso projeto em andamento. A equipe propriet\u00e1ria (vamos cham\u00e1-la de OwnerTeam) n\u00e3o precisa ser compreendida em profundidade para este contexto. Nossos dados dizem respeito ao Brasil, ent\u00e3o, naturalmente, todo o nosso conte\u00fado est\u00e1 em portugu\u00eas.<\/p>\n\n\n\n Ap\u00f3s avaliar nossa consulta, conclu\u00edmos que seu n\u00edvel de QualityAssurance \u00e9 alto, indicando um conceito de neg\u00f3cio bem escrito e preciso. Quanto aos nossos inputs, mantivemos tudo simples, usando apenas uma tabela: PixMovements.<\/p>\n\n\n\n Agora vem a parte crucial. Como redigir nossa consulta? Vamos recuperar nossa consulta escrita anteriormente e incorpor\u00e1-la dentro da nossa estrutura de encapsulamento. Com Scala, ao construir um objeto dessa maneira, temos a liberdade de adicionar detalhes adicionais. Se desejado, podemos acrescentar metadados de frequ\u00eancia para indicar a frequ\u00eancia de execu\u00e7\u00e3o da consulta.<\/p>\n\n\n\n Fun\u00e7\u00f5es exclusivas para essa consulta do Spark tamb\u00e9m podem ser aninhadas dentro dela. Isso melhora a clareza, pois quando a consulta \u00e9 escrita, essas fun\u00e7\u00f5es podem ser referenciadas diretamente.<\/p>\n\n\n\n O pr\u00f3ximo passo \u00e9 extrair nossos dados de entrada do dataframe, aplicar as transforma\u00e7\u00f5es necess\u00e1rias como antes, e evitar quaisquer fun\u00e7\u00f5es de exibi\u00e7\u00e3o, j\u00e1 que nossa principal preocupa\u00e7\u00e3o \u00e9 a execu\u00e7\u00e3o da consulta, e n\u00e3o seu mecanismo de exibi\u00e7\u00e3o ou salvamento.<\/p>\n\n\n\n Com a execu\u00e7\u00e3o bem-sucedida, essa abordagem nos ajuda a encapsular tanto nossa consulta quanto seus metadados associados dentro de um \u00fanico objeto padronizado.<\/p>\n\n\n\n O processo para executar essa consulta encapsulada \u00e9 bastante intuitivo. Primeiro, especifique a entrada da sua consulta, que normalmente \u00e9 um mapa (map). Em seguida, acesse os dados dentro da tabela usando o nome desse mapa. Esse objeto pode ent\u00e3o chamar a consulta definida e inserir dados nela. Se executada corretamente, voc\u00ea deve ver resultados semelhantes aos anteriores.<\/p>\n\n\n\n Para salvar os resultados em uma tabela\u2014um procedimento padr\u00e3o em pipelines\u2014voc\u00ea pode utilizar os comandos do Spark. O nome da tabela est\u00e1 predefinido dentro do nosso objeto como TableName. Ao executar, os resultados da consulta ser\u00e3o armazenados nessa tabela especificada.<\/p>\n\n\n\n Em resumo, encapsulamos com sucesso uma consulta b\u00e1sica e seus metadados em um objeto padronizado, oferecendo um m\u00e9todo claro e robusto para gerenciar consultas Spark com Scala.<\/p>\n\n\n\n Ambientes de produ\u00e7\u00e3o do mundo real lidam n\u00e3o apenas com uma consulta, mas potencialmente com centenas. Gerenciar volumes desse tipo exige uma abordagem mais avan\u00e7ada.<\/p>\n\n\n\n No nosso segmento inicial, aprendemos como criar uma consulta Spark usando a API do Scala, com \u00eanfase em fun\u00e7\u00f5es puras e camadas de governan\u00e7a aprimoradas. \u00c0 medida que avan\u00e7amos, vamos explorar como aproveitar o poder combinado da programa\u00e7\u00e3o orientada a objetos e da linguagem funcional com Scala.<\/p>\n\n\n\n Dentro da nossa Spark Query, possu\u00edmos um atributo chamado QueryInputs. Esse atributo cont\u00e9m uma lista detalhando as entradas para uma consulta espec\u00edfica.<\/p>\n\n\n\n Por exemplo, se quisermos determinar o n\u00famero de entradas para uma dada consulta, podemos facilmente fazer isso chamando o m\u00e9todo .size na nossa lista.<\/p>\n\n\n\n Para demonstrar, podemos criar uma fun\u00e7\u00e3o chamada getNumberOfInputs que busca o n\u00famero de entradas. Quando essa fun\u00e7\u00e3o \u00e9 aplicada a uma lista de consultas, ela retorna uma lista de inteiros, representando o n\u00famero de entradas para cada consulta.<\/p>\n\n\n\n Essa transforma\u00e7\u00e3o \u00e9 poss\u00edvel usando o operador map. O operador map aplica uma fun\u00e7\u00e3o dada a cada item de uma lista de entrada, criando uma nova lista que cont\u00e9m os itens retornados pela fun\u00e7\u00e3o.<\/p>\n\n\n\n Outra opera\u00e7\u00e3o crucial na programa\u00e7\u00e3o funcional \u00e9 o reduce. O objetivo do reduce \u00e9 pegar uma lista de elementos e condens\u00e1-la em um \u00fanico valor.<\/p>\n\n\n\n Por exemplo, dada uma lista de n\u00fameros, pode-se usar o reduce para calcular a m\u00e9dia ou a soma dessa lista. A fun\u00e7\u00e3o aceita pelo m\u00e9todo reduce normalmente recebe dois argumentos e retorna um \u00fanico resultado.<\/p>\n\n\n\n Para visualizar, imagine aplicar uma fun\u00e7\u00e3o sequencialmente a pares de elementos em uma lista, reduzindo gradualmente at\u00e9 obter um \u00fanico resultado acumulado.<\/p>\n\n\n\n Para ilustrar, considere um cen\u00e1rio onde temos uma lista de inteiros representando entradas de consultas. Podemos definir uma fun\u00e7\u00e3o chamada sumNumberOfInputs, que calcula a soma de dois inteiros.<\/p>\n\n\n\n Quando aplicada \u00e0 nossa lista usando o reduce, essa fun\u00e7\u00e3o acumularia o total de entradas em todas as consultas.<\/p>\n\n\n\n Para isolar as consultas feitas pela equipe de engenheiros do PIX, utilizamos a opera\u00e7\u00e3o de filtragem. Essa opera\u00e7\u00e3o processa uma lista, retendo apenas os elementos que correspondem a uma determinada condi\u00e7\u00e3o.<\/p>\n\n\n\n Para o nosso caso, definimos uma fun\u00e7\u00e3o chamada isFromTeamPixEngineers, que verifica se uma determinada consulta \u00e9 origin\u00e1ria dessa equipe espec\u00edfica.<\/p>\n\n\n\n A partir da nossa lista filtrada de consultas dos engenheiros do PIX, podemos querer identificar quais delas s\u00e3o de baixa qualidade. Podemos introduzir outra condi\u00e7\u00e3o de filtragem, verificando o atributo QualityAssurance de cada consulta e comparando com o valor ‘low’.<\/p>\n\n\n\n Uma exig\u00eancia comum em ambientes ETL \u00e9 identificar depend\u00eancias. Suponha que queremos determinar quais conjuntos de dados dependem do dataset Meetup PixMovements. Podemos criar outra fun\u00e7\u00e3o de filtro para examinar nossa lista e encontrar consultas que dependem desse dataset espec\u00edfico.<\/p>\n\n\n\n Esse exerc\u00edcio \u00e9 crucial, especialmente ao considerar os efeitos em cadeia de alterar uma consulta fundamental.<\/p>\n\n\n\n Depois de estabelecer um sistema robusto de consultas, o que vem a seguir? Aqui est\u00e3o algumas provoca\u00e7\u00f5es:<\/p>\n\n\n\n Essas s\u00e3o pr\u00e1ticas que incorporamos na nossa governan\u00e7a de dados no Nubank, garantindo controle e consist\u00eancia.<\/p>\n\n\n\n A flexibilidade do Scala oferece possibilidades ainda mais avan\u00e7adas:<\/p>\n\n\n\n Por exemplo, com apenas algumas linhas de c\u00f3digo, podemos criar um dataframe, que nos permite analisar a distribui\u00e7\u00e3o dos dados, como o n\u00famero de conjuntos de dados por pa\u00eds ou equipe respons\u00e1vel, em tempo real.<\/p>\n\n\n\n Dominar Scala e Spark \u00e9 crucial para otimizar as transforma\u00e7\u00f5es e o gerenciamento de dados. Conforme ilustrado pela metodologia do Nubank, a integra\u00e7\u00e3o de ambas as ferramentas oferece uma solu\u00e7\u00e3o abrangente para os desafios da governan\u00e7a de dados.<\/p>\n\n\n\n Com recursos como encapsular consultas e metadados, visualizar depend\u00eancias e tratar metadados como dados reais, o Scala se revela um ativo inestim\u00e1vel para os profissionais de dados. \u00c0 medida que os ecossistemas de dados continuam a crescer e se tornar mais complexos, adotar tais estrat\u00e9gias se torna essencial para empresas que buscam efici\u00eancia, clareza e uma governan\u00e7a de dados robusta.<\/p>\n\n\n\n Confira o que compartilhamos sobre esse tema no Meetup a seguir:<\/p>\n\n\n\nCriando nosso objeto<\/h3>\n\n\n\n
Construindo metadados e a consulta<\/h3>\n\n\n\n
Execu\u00e7\u00e3o e resultados<\/h3>\n\n\n\n
Um passo al\u00e9m: m\u00faltiplas consultas<\/h2>\n\n\n\n
Criando a fun\u00e7\u00e3o getNumberOfInputs <\/h2>\n\n\n\n
Entendendo a opera\u00e7\u00e3o de reduce:<\/h2>\n\n\n\n
Somando as entradas<\/h3>\n\n\n\n
Identificando consultas da equipe de engenheiros do PIX<\/h2>\n\n\n\n
Isolando consultas de baixa qualidade<\/h2>\n\n\n\n
Desafiando as normas: exigindo mais do Scala <\/h2>\n\n\n\n
Implementando testes rigorosos<\/h3>\n\n\n\n
\n
Capacidades avan\u00e7adas do Scala<\/h3>\n\n\n\n
\n