Extração dos dados
Extração dos dados
Foram desenvolvidas três funções para extrair os dados de forma prática, eficiente e sem sobrecarga dos servidores que os disponibilizam.
Download de Arquivos CSV de Dados Históricos de Voos (Função download_csv_files)
Objetivo: Essa função foca no download de dados históricos de voos para um ano específico a partir do site da ANAC.
Processo: Inicia-se configurando uma sessão de requests com políticas de retry para lidar com falhas de conexão ou timeouts. Após isso, realiza-se uma requisição GET para o site da ANAC, analisando o conteúdo HTML para localizar os links de download. Os arquivos CSV são, então, baixados mês a mês, com uma pausa entre cada download para não sobrecarregar o servidor.
Resultado: Os arquivos CSV são salvos localmente, proporcionando um conjunto de dados detalhados sobre voos no ano especificado.
Download e Conversão de Dados Complementares (Função download_dados_complementares)
Objetivo: Essa função é responsável pelo download de arquivos complementares relacionados a dados de voos, como glossários de aeródromos e empresas aéreas.
Processo: O método inclui a definição das URLs para download, a criação de diretórios para armazenamento e a execução do download. Além disso, há uma etapa de conversão de arquivos .xls para o formato .csv, com ajustes nas colunas quando necessário.
Resultado: Os arquivos baixados e convertidos são armazenados localmente, enriquecendo a base de dados com informações adicionais relevantes para a análise.
Download e Extração de Dados Climáticos (Função download_and_extract_climate_data)
Objetivo: Focada em dados climáticos, esta função busca coletar informações do clima de um ano específico do portal do INMET.
Processo: Similarmente à primeira função, configura-se uma sessão de requests com regras de retry. A função constrói a URL do arquivo ZIP desejado, faz o download e, em seguida, extrai seu conteúdo em um diretório especificado.
Resultado: Os dados climáticos são disponibilizados localmente em formato descompactado, agregando uma camada de informação ambiental para a análise.
Essas funções, em conjunto, formam a espinha dorsal do processo de extração de dados do projeto, garantindo uma coleta de dados abrangente, sistemática e eficiente. Com dados históricos de voos, informações complementares e dados climáticos em mãos, vamos para o tratamento e limpeza de dados.