{"id":28956,"date":"2024-04-09T21:25:07","date_gmt":"2024-04-09T21:25:07","guid":{"rendered":"https:\/\/building.nubank.com\/mastering-databricks-performance-with-spark-ui\/"},"modified":"2024-04-09T21:41:27","modified_gmt":"2024-04-09T21:41:27","slug":"entendendo-performance-no-databricks-usando-o-spark-ui","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/pt-br\/entendendo-performance-no-databricks-usando-o-spark-ui\/","title":{"rendered":"Entendendo Performance no Databricks usando o Spark UI"},"content":{"rendered":"\n

Revisado por Felipe Yukio<\/em><\/p>\n\n\n\n

Databricks e Spark UI s\u00e3o ferramentas poderosas para lidar com opera\u00e7\u00f5es com muitos dados. Assim como qualquer sistema robusto, otimizar o desempenho \u00e9 essencial para aproveitar os recursos ao m\u00e1ximo. Este guia detalha as m\u00e9tricas de desempenho no Databricks usando o Spark UI.\u00a0<\/p>\n\n\n\n

Desde a prepara\u00e7\u00e3o at\u00e9 a identifica\u00e7\u00e3o de desafios e o aperfei\u00e7oamento de solu\u00e7\u00f5es, ele oferece uma perspectiva abrangente sobre o aproveitamento m\u00e1ximo de opera\u00e7\u00f5es de dados. Com uma mistura de ideias t\u00e9cnicas e conselhos pr\u00e1ticos, os leitores aprender\u00e3o a usar as capacidades de diagn\u00f3stico do Spark UI, garantindo que as opera\u00e7\u00f5es de dados sejam eficientes, eficazes e esclarecidas. Continue lendo!<\/p>\n\n\n\n

O valor do Spark UI<\/h2>\n\n\n\n

O Spark UI \u00e9 uma ferramenta instrumental de diagn\u00f3stico para quem trabalha com Databricks e Apache Spark. Ele oferece uma vis\u00e3o dos funcionamentos internos das opera\u00e7\u00f5es de dados. Ao lidar com grandes conjuntos de dados, costuma ser dif\u00edcil determinar se melhorias est\u00e3o sendo realizadas. O Spark UI oferece clareza apresentando dados de opera\u00e7\u00e3o de uma maneira compreens\u00edvel.<\/p>\n\n\n\n

Prepara\u00e7\u00e3o para an\u00e1lise e resolu\u00e7\u00e3o de problemas de amostra<\/h2>\n\n\n\n

Antes de come\u00e7ar a an\u00e1lise, garantir um ambiente condutivo \u00e9 fundamental. Isso envolve evitar caching de dados, que podem afetar m\u00e9tricas de processamento de dados em tempo real. \u00c9 poss\u00edvel desabilitar o cache no Databricks com comandos como definir “spark.databricks.io.cache.enabled” como falso.<\/p>\n\n\n\n

Liberar o cache no cat\u00e1logo do Spark garante um ambiente sem cache. Para entusiastas de SQL no Databricks, \u00e9 poss\u00edvel obter o mesmo efeito com o comando de liberar cache do SQL. Caso queira evitar erros, \u00e9 bom considerar reiniciar o cluster para garantir uma configura\u00e7\u00e3o sem cache.<\/p>\n\n\n\n

Explorando as m\u00e9tricas<\/h2>\n\n\n\n

Ao executar consultas no Spark, as m\u00e9tricas do Spark UI se tornam centrais. Uma observa\u00e7\u00e3o inicial \u00e9 direcionada \u00e0 visualiza\u00e7\u00e3o de “trabalho”, oferecendo uma perspectiva mais ampla. Toda opera\u00e7\u00e3o de dados no Spark ativa “trabalhos” que t\u00eam m\u00faltiplas “etapas” compostas de diversas “tarefas”. M\u00e9tricas como quantidade de tarefas por etapa o tempo necess\u00e1rio para cada etapa s\u00e3o apresentadas aqui.<\/p>\n\n\n\n

Uma explora\u00e7\u00e3o mais detalhada leva \u00e0 visualiza\u00e7\u00e3o de “etapa”, revelando detalhes mais espec\u00edficos, como distribui\u00e7\u00f5es de parti\u00e7\u00e3o. M\u00e9tricas valiosas como hor\u00e1rios de coleta de lixo e distribui\u00e7\u00f5es de tamanho de entrada s\u00e3o apresentadas, ajudando no diagn\u00f3stico de problemas como assimetria de dados.<\/p>\n\n\n\n

O Databricks opera em um ambiente em cluster, e as m\u00e9tricas agregadas pelo executor destacam o desempenho de cada executor nesse cen\u00e1rio. Na visualiza\u00e7\u00e3o de “tarefa”, h\u00e1 ainda mais granularidade, esclarecendo as m\u00e9tricas de cada tarefa e garantindo uma an\u00e1lise de desempenho abrangente.<\/p>\n\n\n\n

Perspectivas sobre Opera\u00e7\u00f5es Assim\u00e9tricas<\/h2>\n\n\n\n

As opera\u00e7\u00f5es s\u00e3o consideradas assim\u00e9tricas quando h\u00e1 uma parti\u00e7\u00e3o que processa muito mais dados do que as outras, fazendo com que o Spark n\u00e3o seja capaz de executar as transforma\u00e7\u00f5es em paralelo. Isso acontece porque o Spark envia todos os dados com o mesmo c\u00f3digo para uma \u00fanica parti\u00e7\u00e3o, e se h\u00e1 um valor de c\u00f3digo mais comum do que outros, a parti\u00e7\u00e3o fica assim\u00e9trica. <\/p>\n\n\n\n

No Spark UI, isso pode ser identificado quando uma “tarefa” leva muito mais tempo do que a m\u00e9dia de todas as outras tarefas de um trabalho. E uma transforma\u00e7\u00e3o assim\u00e9trica pode ocorrer em uma fun\u00e7\u00e3o join ou window. Para evitar isso, verifique se os dados assim\u00e9tricos podem ser filtrados antes de realizar qualquer uma dessas transforma\u00e7\u00f5es.<\/p>\n\n\n\n

Desafios com Shuffle e Spill<\/h2>\n\n\n\n

Shuffle \u00e9 uma t\u00e9cnica cara usada pelo Spark para redistribuir os dados em diferentes parti\u00e7\u00f5es, o que \u00e9 desencadeado por transforma\u00e7\u00f5es comuns como: join e groupBy.<\/p>\n\n\n\n

A quantidade de parti\u00e7\u00f5es usadas para o Shuffle dos dados pode ser aumentada ou reduzida por spark.sql.shuffle.partitions<\/em>. Se estiver lidando com quantidades menores de dados, voc\u00ea deve reduzir a quantidade de parti\u00e7\u00f5es de Shuffle para evitar a execu\u00e7\u00e3o simult\u00e2nea de diversas tarefas com um volume pequeno de dados. Por outro lado, uma grande quantidade de dados sendo executada em poucas parti\u00e7\u00f5es faz as tarefas demorarem demais e pode causar erros de mem\u00f3ria.<\/p>\n\n\n\n

Acertar o n\u00famero de parti\u00e7\u00f5es de Shuffle \u00e9 complicado, pois geralmente s\u00e3o necess\u00e1rios testes com diferentes valores para identificar a melhor quantidade. No entanto, costuma valer o esfor\u00e7o, pois \u00e9 a fonte mais comum de erros de desempenho em trabalhos do Spark.<\/p>\n\n\n\n

Como \u00faltimo recurso para evitar erros de mem\u00f3ria, o Spark pode vazar dados da mem\u00f3ria para o disco, que depois precisam ser movidos de volta aumentando as taxas de leitura e escrita do disco, al\u00e9m do tempo de execu\u00e7\u00e3o da tarefa. Essa m\u00e9trica tamb\u00e9m pode ser identificada pelo Spark UI. Aumentar o n\u00famero de parti\u00e7\u00f5es de Shuffle \u00e9 uma das maneiras de reduzir o vazamento de dados.<\/p>\n\n\n\n

Conclus\u00e3o<\/h2>\n\n\n\n

Esse aprofundamento no Databricks e no Spark UI ressaltou a import\u00e2ncia da prepara\u00e7\u00e3o, das complexidades das m\u00e9tricas e das nuances dos processos de refinamento. Ao aproveitar as capacidades de diagn\u00f3stico do Spark UI, \u00e9 poss\u00edvel navegar pelo vasto cen\u00e1rio de opera\u00e7\u00f5es de dados com clareza e confian\u00e7a.<\/p>\n\n\n\n

Seja para resolver problemas espec\u00edficos, testar m\u00e9todos diferentes ou aperfei\u00e7oar solu\u00e7\u00f5es, uma abordagem informada pode melhorar muito o desempenho. Conforme o mundo dos dados continua crescendo, ferramentas como o Spark UI se tornam indispens\u00e1veis, garantindo que toda opera\u00e7\u00e3o de dados n\u00e3o seja s\u00f3 um processo, mas uma oportunidade para otimiza\u00e7\u00e3o.<\/p>\n\n\n\n

\n