Introdução ao Apache Airflow em Python
"Aprenda a implementar e agendar fluxos de trabalho de engenharia de dados."
Comece O Curso Gratuitamente4 horas16 vídeos55 exercícios41.262 aprendizesDeclaração de Realização
Crie sua conta gratuita
ou
Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.Treinar 2 ou mais pessoas?
Tentar DataCamp for BusinessAmado por alunos de milhares de empresas
Descrição do Curso
Agora atualizado para o Apache Airflow 2.7 - A entrega de dados em um cronograma pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias maneiras de atender a um conjunto de requisitos em constante mudança - e é ainda mais complicado gerenciar tudo quando se trabalha com colegas de equipe. O Apache Airflow pode eliminar essa dor de cabeça, adicionando agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você dominará os conceitos básicos do Apache Airflow e aprenderá a implementar pipelines complexos de engenharia de dados na produção. Você também aprenderá a usar gráficos acíclicos direcionados (DAGs), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma fácil e repetível, ajudando-o a manter a sanidade mental.
Treinar 2 ou mais pessoas?
Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.Nas seguintes faixas
- 1
Introdução ao fluxo de ar
GratuitoNeste capítulo, você terá uma introdução completa aos componentes do Apache Airflow e aprenderá como e por que deve usá-los.
Introdução ao Apache Airflow50 xpTeste de uma tarefa no Airflow50 xpExaminando os comandos de fluxo de ar50 xpFluxo de ar DAGs50 xpDefinição de um simples DAG100 xpTrabalhando com DAGs e o shell Airflow50 xpSolução de problemas DAG creation100 xpInterface web do Airflow50 xpIniciando o servidor da Web do Airflow50 xpNavegando pelo fluxo de ar UI50 xpExaminando DAGs com o fluxo de ar UI50 xp - 2
Implementação do fluxo de ar DAGs
O que você está fazendo em DAG? Agora é hora de você aprender os conceitos básicos da implementação do Airflow DAGs. Por meio de atividades práticas, você aprenderá a configurar e implantar operadores, tarefas e agendamento.
Operadores de fluxo de ar50 xpDefinição de uma tarefa BashOperator100 xpVários BashOperators100 xpTarefas de fluxo de ar50 xpDefinir a ordem dos BashOperators100 xpDeterminação da ordem das tarefas100 xpSolução de problemas das dependências do DAG50 xpOperadores adicionais50 xpUsando o PythonOperator100 xpMais PythonOperators100 xpEmailOperator e dependências100 xpProgramação do fluxo de ar50 xpAgende um DAG via Python100 xpDecifrando as programações de fluxo de ar100 xpSolução de problemas DAG runs50 xp - 3
Manutenção e monitoramento dos fluxos de trabalho do Airflow
Neste capítulo, você aprenderá a economizar tempo usando componentes do Airflow, como sensores e executores, enquanto monitora e soluciona problemas de fluxos de trabalho do Airflow.
Sensores de fluxo de ar50 xpSensores versus operadores100 xpPrivação sensorial50 xpExecutores de fluxo de ar50 xpDeterminação do executor50 xpImplicações do executor100 xpDepuração e solução de problemas no Airflow50 xpDAGs na bolsa50 xpFaltando DAG100 xpSLAs e relatórios no Airflow50 xpDefinição de um SLA100 xpDefinição de uma tarefa SLA100 xpGerar e enviar um relatório por e-mail100 xpAdição de e-mails de status100 xp - 4
Criando pipelines de produção no Airflow
Junte tudo isso. Neste capítulo final, você aplicará tudo o que aprendeu para criar um fluxo de trabalho com qualidade de produção no Airflow.
Trabalhando com modelos50 xpCriando um BashOperator com modelo100 xpModelos com vários argumentos100 xpMais modelos50 xpUso de listas com modelos100 xpCompreensão das opções de parâmetros50 xpEnvio de e-mails com modelos100 xpRamificação50 xpDefinir um BranchPythonOperator100 xpSolução de problemas de filiais50 xpCriação de um pipeline de produção50 xpCriando um pipeline de produção nº 1100 xpCriação de um pipeline de produção #2100 xpAdicionando as alterações finais ao seu pipeline100 xpParabéns!50 xp
Treinar 2 ou mais pessoas?
Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.Nas seguintes faixas
colaboradores
Mike Metzger
Ver MaisData Engineer Consultant @ Flexible Creations
O que os outros alunos têm a dizer?
Junte-se a mais de 15 milhões de alunos e comece Introdução ao Apache Airflow em Python hoje mesmo!
Crie sua conta gratuita
ou
Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.