Aba Stages

Stages na Spark UI

A guia stage é uma componente essencial da Spark UI, proporcionando uma visão abrangente e consolidada de todos os stages que compõem os trabalhos do aplicativo Spark. Esta guia é especialmente útil para os desenvolvedores e administradores que buscam monitorar, analisar e otimizar o desempenho das suas aplicações Spark em um nível granular.

Subseções da Guia stages:

Tarefas e Estatísticas de stage: Ao selecionar um stage específico, os usuários são conduzidos a esta subseção. Ela apresenta informações detalhadas sobre as tarefas associadas ao stage selecionado e oferece métricas e estatísticas cruciais relacionadas ao desempenho do stage.
Detalhes do Pool: Esta subseção se torna acessível quando o aplicativo Spark opera no modo de agendamento FAIR. Fornecendo insights valiosos sobre a configuração e o desempenho dos pools de recursos, ela é vital para a gestão eficaz dos recursos no Spark.

Aviso

É importante notar que se nenhum trabalho foi submetido ao aplicativo Spark até o momento, a guia stages simplesmente mostrará seu título, indicando que ainda não há stages para exibir. Esta característica auxilia na limpeza visual e na usabilidade da Spark UI.

A página "Stages" na Spark UI é essencial para monitorar e compreender os diferentes estágios pelos quais um aplicativo Spark passa durante sua execução. Esta página classifica e apresenta os estágios com base em seu estado atual, oferecendo uma visão clara e organizada do progresso e dos possíveis gargalos ou problemas que possam surgir.
Os estágios de um aplicativo Spark são divididos em quatro categorias principais:

Stages Ativos: Estágios que estão atualmente em execução. Estes são os estágios que o Spark está processando no momento.
Etapas Pendentes: Estágios que estão na fila e aguardam a disponibilidade de recursos ou a conclusão de estágios dependentes.
Etapas Concluídas: Estágios que foram processados e concluídos com sucesso, sem erros.
Fases Falhadas: Estágios que encontraram erros durante sua execução e não puderam ser concluídos.

Referências

The Internals of Spark Core UI - Guia de um Mestre
Documentação Oficial da Spark UI