{"id":28961,"date":"2024-04-09T21:25:07","date_gmt":"2024-04-09T21:25:07","guid":{"rendered":"https:\/\/building.nubank.com\/mastering-databricks-performance-with-spark-ui\/"},"modified":"2024-04-09T21:40:31","modified_gmt":"2024-04-09T21:40:31","slug":"dominando-el-rendimiento-de-databricks-con-spark-ui","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/es\/dominando-el-rendimiento-de-databricks-con-spark-ui\/","title":{"rendered":"Dominando el Rendimiento de Databricks con Spark UI"},"content":{"rendered":"\n

Revisado por Felipe Yukio<\/em><\/p>\n\n\n\n

Databricks y Spark UI son herramientas potentes para manejar operaciones de datos a gran escala. Como ocurre con cualquier sistema s\u00f3lido, optimizar el rendimiento es crucial para aprovechar al m\u00e1ximo los recursos. Esta gu\u00eda profundiza en la comprensi\u00f3n de las m\u00e9tricas de rendimiento dentro de Databricks mediante la interfaz de usuario de Spark.\u00a0<\/p>\n\n\n\n

Desde la preparaci\u00f3n hasta la identificaci\u00f3n de desaf\u00edos y el perfeccionamiento de soluciones, ofrece una visi\u00f3n integral para aprovechar al m\u00e1ximo las operaciones de datos. Con una combinaci\u00f3n de conocimientos t\u00e9cnicos y consejos pr\u00e1cticos, los lectores aprender\u00e1n c\u00f3mo aprovechar las capacidades de diagn\u00f3stico de Spark UI, garantizando que las operaciones de datos sean eficientes, efectivas y aclaradas. \u00a1Siga leyendo!<\/p>\n\n\n\n

El valor de Spark UI<\/h2>\n\n\n\n

Spark UI es una herramienta de diagn\u00f3stico instrumental para quienes trabajan con Databricks y Apache Spark. Ofrece una ventana al funcionamiento interno de las operaciones de datos. Cuando se trabaja con grandes conjuntos de datos, suele resultar complicado determinar si se est\u00e1n realizando mejoras. Spark UI ofrece claridad al presentar los datos de operaci\u00f3n de manera comprensible.<\/p>\n\n\n\n

Preparaci\u00f3n para el an\u00e1lisis y resoluci\u00f3n de problemas de muestra.<\/h2>\n\n\n\n

Antes de iniciar el an\u00e1lisis, es fundamental garantizar un entorno propicio. Esto implica evitar el almacenamiento en cach\u00e9 de datos, que puede distorsionar las m\u00e9tricas de procesamiento de datos en tiempo real. Se puede deshabilitar el cach\u00e9 en Databricks con comandos como establecer \u2033<\/span>spark.databricks.io.cache.enabled\u2033<\/span> en falso.<\/p>\n\n\n\n

Borrar el cach\u00e9 en Spark.catalog garantiza un entorno libre de cach\u00e9. Para los entusiastas de SQL dentro de Databricks, se puede lograr el mismo efecto con el comando SQL borrar cach\u00e9. Si desea evitar errores, incluso se podr\u00eda considerar reiniciar el cl\u00faster para garantizar una configuraci\u00f3n sin cach\u00e9.<\/p>\n\n\n\n

Explorando las m\u00e9tricas<\/h2>\n\n\n\n

Al ejecutar consultas de Spark, las m\u00e9tricas de Spark UI se vuelven centrales. Una observaci\u00f3n inicial se dirige a la visi\u00f3n del \u2033<\/span>trabajo\u2033<\/span>, ofreciendo una perspectiva m\u00e1s amplia. Cada operaci\u00f3n de datos en Spark desencadena \u2033<\/span>trabajos\u2033<\/span>, que comprenden m\u00faltiples \u2033<\/span>etapas\u2033<\/span> que constan de varias \u2033<\/span>tareas\u2033<\/span>. Aqu\u00ed se presentan m\u00e9tricas como la cantidad de tareas por etapa y el tiempo necesario para cada etapa.<\/p>\n\n\n\n

Una exploraci\u00f3n m\u00e1s detallada conduce a la vista del \u2033<\/span>escenario\u2033<\/span>, que revela detalles m\u00e1s finos como las distribuciones de particiones. Se presentan m\u00e9tricas valiosas como los tiempos de recolecci\u00f3n de basura y las distribuciones del tama\u00f1o de los insumos, lo que ayuda a diagnosticar problemas como la distorsi\u00f3n de los datos.<\/p>\n\n\n\n

Databricks opera en un entorno agrupado y las m\u00e9tricas agregadas por el ejecutor resaltan el desempe\u00f1o de cada ejecutor en esta configuraci\u00f3n. La vista de \u2033<\/span>tareas\u2033<\/span> ofrece a\u00fan m\u00e1s granularidad, enfatizando sobre las m\u00e9tricas de cada tarea y garantizando un an\u00e1lisis de rendimiento integral.<\/p>\n\n\n\n

Perspectivas sobre Operaciones Sesgadas<\/h2>\n\n\n\n

Se dice que las operaciones est\u00e1n sesgadas cuando hay una partici\u00f3n que procesa muchos m\u00e1s datos que otras, lo que hace que Spark no pueda ejecutar transformaciones en paralelo. Esto sucede porque Spark env\u00eda todos los datos con la misma clave a una \u00fanica partici\u00f3n y si un \u00fanico valor de clave es mucho m\u00e1s com\u00fan que otros, esa partici\u00f3n est\u00e1 sesgada. <\/p>\n\n\n\n

En la interfaz de usuario de Spark, esto se puede identificar cuando una \u2033<\/span>tarea\u2033<\/span> lleva mucho m\u00e1s tiempo que la media de todas las dem\u00e1s tareas de un trabajo. Y una transformaci\u00f3n sesgada puede ocurrir en una funci\u00f3n de combinaci\u00f3n o de ventana. Para evitarlo, verifique si los datos sesgados se pueden filtrar antes de realizar cualquiera de estas transformaciones.<\/p>\n\n\n\n

Desaf\u00edos con Shuffle y Spill<\/h2>\n\n\n\n

Shuffling es una t\u00e9cnica costosa utilizada por Spark para redistribuir los datos entre diferentes particiones, que se activa mediante algunas transformaciones comunes como: join y groupBy.<\/p>\n\n\n\n

La cantidad de particiones utilizadas para mezclar los datos se puede aumentar o disminuir mediante spark.sql.shuffle.partitions<\/em>. Si trabaja con menos cantidad de datos, debe reducir la cantidad de particiones aleatorias para evitar ejecutar m\u00faltiples tareas con un peque\u00f1o volumen de datos. Por otro lado, una gran cantidad de datos que se ejecutan en muy pocas particiones provoca que las tareas se ejecuten durante demasiado tiempo y, en ocasiones, errores de falta de memoria.<\/p>\n\n\n\n

Lograr el n\u00famero correcto de particiones aleatorias es un trabajo complicado, ya que normalmente se necesitan varias ejecuciones experimentales con diferentes valores para identificar el n\u00famero \u00f3ptimo. Sin embargo, normalmente vale la pena el esfuerzo ya que es la fuente m\u00e1s com\u00fan de problemas de rendimiento en los trabajos de Spark.<\/p>\n\n\n\n

Como \u00faltimo recurso para evitar errores de falta de memoria, Spark puede derramar datos de la memoria al disco, lo que luego debe moverse de vuelta aumentando tanto las tasas de lectura como de escritura en disco, as\u00ed como el tiempo de ejecuci\u00f3n de la tarea. Esta m\u00e9trica tambi\u00e9n se puede identificar a trav\u00e9s de la interfaz de usuario de Spark. Aumentar el n\u00famero de particiones aleatorias es una de las formas de mitigar la fuga de datos.<\/p>\n\n\n\n

Conclusi\u00f3n<\/h2>\n\n\n\n

Esta inmersi\u00f3n profunda en Databricks y Spark UI ha iluminado la importancia de la preparaci\u00f3n, las complejidades de las m\u00e9tricas y los matices de los procesos de refinamiento. Al aprovechar las capacidades de diagn\u00f3stico de Spark UI, se puede navegar por el vasto panorama de operaciones de datos con claridad y confianza.<\/p>\n\n\n\n

Ya sea que se trate de abordar problemas espec\u00edficos, experimentar con diferentes m\u00e9todos o perfeccionar soluciones, un enfoque bien informado puede mejorar dr\u00e1sticamente el rendimiento. A medida que el mundo de los datos contin\u00faa creciendo, herramientas como Spark UI se vuelven invaluables, asegurando que cada operaci\u00f3n de datos no sea solo un proceso sino una oportunidad de optimizaci\u00f3n.<\/p>\n\n\n\n

\n