{"id":26629,"date":"2021-04-09T19:37:32","date_gmt":"2021-04-09T19:37:32","guid":{"rendered":"https:\/\/building.nubank.com\/how-we-scale-our-data-platform-efficiently-and-reliably\/"},"modified":"2024-03-21T12:43:02","modified_gmt":"2024-03-21T12:43:02","slug":"como-dimensionamos-nossa-plataforma-de-dados-de-maneira-eficiente-e-confiavel","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/pt-br\/como-dimensionamos-nossa-plataforma-de-dados-de-maneira-eficiente-e-confiavel\/","title":{"rendered":"Como dimensionamos nossa plataforma de dados de maneira eficiente e confi\u00e1vel"},"content":{"rendered":"\n

O Nubank \u00e9 um dos maiores bancos digitais do mundo, com 35 milh\u00f5es de clientes na Am\u00e9rica Latina em abril de 2021. Seus produtos v\u00e3o desde cart\u00f5es de cr\u00e9dito e empr\u00e9stimos at\u00e9 contas banc\u00e1rias e seguros de vida. Os dados s\u00e3o uma parte inerente de cada decis\u00e3o: n\u00f3s os utilizamos para an\u00e1lise, monitoramento, automa\u00e7\u00e3o e personaliza\u00e7\u00e3o de produtos.<\/p>\n\n\n\n

\u00c0 medida que a empresa crescia, continu\u00e1vamos evoluindo nossa organiza\u00e7\u00e3o de dados para atender \u00e0s suas necessidades. Primeiro, criar uma equipe central para construir a infraestrutura de dados. Segundo, descentralizar a cria\u00e7\u00e3o e o consumo de dados para usu\u00e1rios em equipes multifuncionais (esquadr\u00f5es). Terceiro, aumentar o \u00e2mbito e o pessoal da equipe central para fornecer ferramentas e padr\u00f5es a toda a empresa.<\/p>\n\n\n\n

Por ser uma plataforma de autoatendimento, a propriedade dos dados foi distribu\u00edda em todas as unidades de neg\u00f3cios (BUs); no entanto, n\u00e3o estava claro quem era o respons\u00e1vel pela manuten\u00e7\u00e3o e pela aplica\u00e7\u00e3o desses novos padr\u00f5es. <\/em><\/p>\n\n\n\n

No entanto, manter dados de qualidade foi fundamental para todos os produtos e relat\u00f3rios que deles dependem, bem como para a efici\u00eancia das equipes que consomem esses dados diariamente.<\/p>\n\n\n\n

Precis\u00e1vamos resolver esse desafio: como podemos garantir que nossa estrutura organizacional reflita as metas de agilidade e qualidade de dados da empresa?<\/p>\n\n\n\n

Neste artigo, compartilharemos com voc\u00ea: <\/h2>\n\n\n\n

1 \u2013 Os desafios de governan\u00e7a de uma plataforma de dados de autoatendimento<\/strong><\/p>\n\n\n\n

2 \u2013 Projetar uma organiza\u00e7\u00e3o h\u00edbrida para dimensionar a inova\u00e7\u00e3o com garantias de qualidade<\/strong><\/p>\n\n\n\n

3 \u2013 Implementa\u00e7\u00e3o e impacto<\/strong><\/p>\n\n\n\n

\"\"
O foco da equipe de dados ao longo do tempo
<\/figcaption><\/figure>\n\n\n\n

Parte 1: Os desafios de governan\u00e7a de uma plataforma de dados de autoatendimento<\/p>\n\n\n\n

Controles de qualidade vs. baixo atrito<\/h2>\n\n\n\n

O objetivo de uma plataforma de dados \u00e9 promover a inova\u00e7\u00e3o<\/strong> com uma maneira f\u00e1cil de usar<\/strong> e eficiente de encontrar, usar, adicionar e criar dados.<\/p>\n\n\n\n

Ela precisa fazer isso ao mesmo tempo que limita qualquer risco<\/strong> que possa advir dos dados, seja a qualidade das contribui\u00e7\u00f5es e dos metadados, a seguran\u00e7a e prote\u00e7\u00e3o de quaisquer dados pessoais e confidenciais, a integridade do processamento de dados ou os custos de processamento.<\/p>\n\n\n\n

Em nossa plataforma, decidimos fornecer uma experi\u00eancia de baixo atrito para adicionar tabelas aos nossos pipelines de dados. Isso resultou na cria\u00e7\u00e3o de muitas tabelas \u2013 em abril de 2021, t\u00ednhamos 35 mil tabelas n\u00e3o brutas criadas por 500 colaboradores em todos os esquadr\u00f5es da empresa \u2013 e muitas oportunidades aproveitadas gra\u00e7as a esses dados. <\/p>\n\n\n\n

No entanto, embora n\u00e3o quis\u00e9ssemos impor regras de qualidade rigorosas a todas as contribui\u00e7\u00f5es, esper\u00e1vamos que os dados principais aplicassem os nossos padr\u00f5es e ferramentas de alta qualidade, para controlar os riscos e melhorar a efici\u00eancia dos consumidores de dados.<\/p>\n\n\n\n

A principal complexidade reside em definir e atribuir essas responsabilidades de qualidade para atingir os nossos objetivos, sem criar burocracia desnecess\u00e1ria.<\/em><\/p>\n\n\n\n

Propriedade da qualidade dos dados<\/h2>\n\n\n\n

Conforme explicado em um artigo anterior<\/a>, a equipe da plataforma de dados iniciou com sucesso uma iniciativa de qualidade de dados criando uma camada de dados de qualidade<\/strong> (\u201cconjuntos de dados principais\u201d), novas bibliotecas para estruturar o c\u00f3digo e a documenta\u00e7\u00e3o<\/strong> e ferramentas para receber alertas sobre anomalias de verifica\u00e7\u00f5es de qualidade. <\/p>\n\n\n\n

Para dar o exemplo, a equipe central criou os primeiros \u201cconjuntos de dados principais\u201d \u2013 meio ano depois, 75% de todos os conjuntos de dados usavam esses conjuntos de dados de alta qualidade. No entanto, o objetivo era focar nas ferramentas da plataforma e entregar a propriedade de conjuntos de dados de alta qualidade \u00e0s unidades de neg\u00f3cios.<\/p>\n\n\n\n

A BU de Dados n\u00e3o tinha experi\u00eancia no dom\u00ednio nem capacidade para organizar e manter todos os principais conjuntos de dados, enquanto a maioria das BUs multifuncionais se concentravam em novas aplica\u00e7\u00f5es e an\u00e1lises para os seus produtos, em vez de se envolverem em a\u00e7\u00f5es de qualidade de dados.<\/em><\/p>\n\n\n\n

T\u00ednhamos que garantir que a responsabilidade pela implementa\u00e7\u00e3o da qualidade dos dados n\u00e3o ca\u00edsse nas m\u00e3os da organiza\u00e7\u00e3o.<\/p>\n\n\n\n

Conscientiza\u00e7\u00e3o sobre o impacto dos dados<\/h2>\n\n\n\n

Como a plataforma era de autoatendimento, a maioria das equipes possu\u00eda algumas tabelas, criadas com mais frequ\u00eancia por analistas e cientistas de dados. No entanto, as equipes n\u00e3o perceberam necessariamente o impacto que os seus dados poderiam ter sobre os outros; o quanto eles dependiam dos conjuntos de dados de outras equipes; ou quanto tempo foi gasto na an\u00e1lise de dados.<\/p>\n\n\n\n

Entendemos que precis\u00e1vamos fornecer mais visibilidade sobre as responsabilidades e os riscos envolvidos ao criar ou usar um conjunto de dados.<\/p>\n\n\n\n

Criamos um <\/em>painel de visibilidade<\/em><\/strong> de governan\u00e7a de dados que mostrava, para cada equipe ou unidade de neg\u00f3cios, as principais m\u00e9tricas para invent\u00e1rio de dados e as principais interdepend\u00eancias que eles tinham upstream e downstream.<\/em><\/p>\n\n\n\n

Tamb\u00e9m demos recomenda\u00e7\u00f5es<\/strong> sobre o que fazer: quais s\u00e3o os conjuntos de dados que voc\u00ea deve manter, criar, revisar, adicionar documenta\u00e7\u00e3o etc. Al\u00e9m disso, realizamos pesquisas para mostrar o tempo cada vez mais gasto na localiza\u00e7\u00e3o de dados \u00e0 medida que o invent\u00e1rio de dados crescia em termos de volume e complexidade.<\/p>\n\n\n\n

\u00c0 medida que a import\u00e2ncia dos dados se tornou mais mensur\u00e1vel<\/strong> e vis\u00edvel, ficou mais claro que precis\u00e1vamos de uma equipe respons\u00e1vel para implementar essas recomenda\u00e7\u00f5es de governan\u00e7a de dados e projetar uma estrat\u00e9gia de dados coerente com cada unidade de neg\u00f3cios.<\/p>\n\n\n\n

\"\"\/
Extrato do nosso painel de visibilidade de governan\u00e7a de dados 
<\/figcaption><\/figure>\n\n\n\n

Parte 2: Projetar uma organiza\u00e7\u00e3o h\u00edbrida para dimensionar a inova\u00e7\u00e3o com garantias de qualidade<\/p>\n\n\n\n

A equipe da plataforma central de dados<\/h2>\n\n\n\n

A nossa equipe de plataforma de dados concentra-se em fornecer a infraestrutura, as ferramentas e as regras que permitem o consumo e a produ\u00e7\u00e3o de dados da forma mais eficaz e segura, em vez de criar conjuntos de dados para os consumidores. Ela \u00e9 respons\u00e1vel pelos objetivos da plataforma de satisfa\u00e7\u00e3o do usu\u00e1rio, qualidade dos dados<\/a>, integridade, privacidade e custos.<\/p>\n\n\n\n

Consideramos dimensionar a equipe focada na qualidade e estrat\u00e9gia dos dados dentro da equipe central de dados, no entanto, decidimos por uma organiza\u00e7\u00e3o distribu\u00edda por dois motivos principais: <\/p>\n\n\n\n