Pular para o conteúdo principal

Início Data Engineering

curso

Introdução ao Apache Airflow em Python

Avançado

Updated 12/2024

"Aprenda a implementar e agendar fluxos de trabalho de engenharia de dados."

Iniciar curso gratuitamente

Incluído gratuitamentePremium or Teams

AirflowEngenharia de dados4 horas16 vídeos55 exercícios4,050 XP42,597Declaração de Realização

Crie sua conta gratuita

Google LinkedIn Facebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.

Treinar 2 ou mais pessoas?

Tentar DataCamp for Business

Amado por alunos de milhares de empresas

Descrição do curso

Agora atualizado para o Apache Airflow 2.7 - A entrega de dados em um cronograma pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias maneiras de atender a um conjunto de requisitos em constante mudança - e é ainda mais complicado gerenciar tudo quando se trabalha com colegas de equipe. O Apache Airflow pode eliminar essa dor de cabeça, adicionando agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você dominará os conceitos básicos do Apache Airflow e aprenderá a implementar pipelines complexos de engenharia de dados na produção. Você também aprenderá a usar gráficos acíclicos direcionados (DAGs), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma fácil e repetível, ajudando-o a manter a sanidade mental.

Pré-requisitos

Intermediate Python Introduction to Shell

1

Introdução ao fluxo de ar

Iniciar capítulo

Introdução ao Apache Airflow

Teste de uma tarefa no Airflow

Examinando os comandos de fluxo de ar

Fluxo de ar DAGs

Definição de um simples DAG

Trabalhando com DAGs e o shell Airflow

Solução de problemas DAG creation

Interface web do Airflow

Iniciando o servidor da Web do Airflow

Navegando pelo fluxo de ar UI

Examinando DAGs com o fluxo de ar UI

2

Implementação do fluxo de ar DAGs

Iniciar capítulo

Operadores de fluxo de ar

Definição de uma tarefa BashOperator

Vários BashOperators

Tarefas de fluxo de ar

Definir a ordem dos BashOperators

Determinação da ordem das tarefas

Solução de problemas das dependências do DAG

Operadores adicionais

Usando o PythonOperator

Mais PythonOperators

EmailOperator e dependências

Programação do fluxo de ar

Agende um DAG via Python

Decifrando as programações de fluxo de ar

Solução de problemas DAG runs

3

Manutenção e monitoramento dos fluxos de trabalho do Airflow

Iniciar capítulo

Sensores de fluxo de ar

Sensores versus operadores

Privação sensorial

Executores de fluxo de ar

Determinação do executor

Implicações do executor

Depuração e solução de problemas no Airflow

DAGs na bolsa

Faltando DAG

SLAs e relatórios no Airflow

Definição de um SLA

Definição de uma tarefa SLA

Gerar e enviar um relatório por e-mail

Adição de e-mails de status

4

Criando pipelines de produção no Airflow

Iniciar capítulo

Trabalhando com modelos

Criando um BashOperator com modelo

Modelos com vários argumentos

Mais modelos

Uso de listas com modelos

Compreensão das opções de parâmetros

Envio de e-mails com modelos

Ramificação

Definir um BranchPythonOperator

Solução de problemas de filiais

Criação de um pipeline de produção

Criando um pipeline de produção nº 1

Criação de um pipeline de produção #2

Adicionando as alterações finais ao seu pipeline

Introdução ao Apache Airflow em Python

Curso
Completo

Declaração de Realização Earn

Adicione esta credencial ao seu perfil, currículo ou currículo do LinkedIn
Compartilhe nas redes sociais e em sua avaliação de desempenho

Incluído comPremium or Teams

Inscreva-se agora

Junte-se a mais 15 milhões de alunos e comece Introdução ao Apache Airflow em Python Hoje!

Crie sua conta gratuita

Google LinkedIn Facebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.