Pular para o conteúdo principal
InícioData Engineering

Introdução ao Apache Airflow em Python

"Aprenda a implementar e agendar fluxos de trabalho de engenharia de dados."

Comece O Curso Gratuitamente
4 horas16 vídeos55 exercícios41.546 aprendizesTrophyDeclaração de Realização

Crie sua conta gratuita

GoogleLinkedInFacebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.
Group

Treinar 2 ou mais pessoas?

Tentar DataCamp for Business

Amado por alunos de milhares de empresas

Descrição do Curso

Agora atualizado para o Apache Airflow 2.7 - A entrega de dados em um cronograma pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias maneiras de atender a um conjunto de requisitos em constante mudança - e é ainda mais complicado gerenciar tudo quando se trabalha com colegas de equipe. O Apache Airflow pode eliminar essa dor de cabeça, adicionando agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você dominará os conceitos básicos do Apache Airflow e aprenderá a implementar pipelines complexos de engenharia de dados na produção. Você também aprenderá a usar gráficos acíclicos direcionados (DAGs), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma fácil e repetível, ajudando-o a manter a sanidade mental.
Para Empresas

Treinar 2 ou mais pessoas?

Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.
DataCamp Para EmpresasPara uma solução sob medida , agende uma demonstração.

Nas seguintes faixas

Certificação disponível

Engenheiro de dados em Python

Ir para a trilha
  1. 1

    Introdução ao fluxo de ar

    Gratuito

    Neste capítulo, você terá uma introdução completa aos componentes do Apache Airflow e aprenderá como e por que deve usá-los.

    Reproduzir Capítulo Agora
    Introdução ao Apache Airflow
    50 xp
    Teste de uma tarefa no Airflow
    50 xp
    Examinando os comandos de fluxo de ar
    50 xp
    Fluxo de ar DAGs
    50 xp
    Definição de um simples DAG
    100 xp
    Trabalhando com DAGs e o shell Airflow
    50 xp
    Solução de problemas DAG creation
    100 xp
    Interface web do Airflow
    50 xp
    Iniciando o servidor da Web do Airflow
    50 xp
    Navegando pelo fluxo de ar UI
    50 xp
    Examinando DAGs com o fluxo de ar UI
    50 xp
  2. 2

    Implementação do fluxo de ar DAGs

    O que você está fazendo em DAG? Agora é hora de você aprender os conceitos básicos da implementação do Airflow DAGs. Por meio de atividades práticas, você aprenderá a configurar e implantar operadores, tarefas e agendamento.

    Reproduzir Capítulo Agora
    Operadores de fluxo de ar
    50 xp
    Definição de uma tarefa BashOperator
    100 xp
    Vários BashOperators
    100 xp
    Tarefas de fluxo de ar
    50 xp
    Definir a ordem dos BashOperators
    100 xp
    Determinação da ordem das tarefas
    100 xp
    Solução de problemas das dependências do DAG
    50 xp
    Operadores adicionais
    50 xp
    Usando o PythonOperator
    100 xp
    Mais PythonOperators
    100 xp
    EmailOperator e dependências
    100 xp
    Programação do fluxo de ar
    50 xp
    Agende um DAG via Python
    100 xp
    Decifrando as programações de fluxo de ar
    100 xp
    Solução de problemas DAG runs
    50 xp
  3. 3

    Manutenção e monitoramento dos fluxos de trabalho do Airflow

    Neste capítulo, você aprenderá a economizar tempo usando componentes do Airflow, como sensores e executores, enquanto monitora e soluciona problemas de fluxos de trabalho do Airflow.

    Reproduzir Capítulo Agora
    Sensores de fluxo de ar
    50 xp
    Sensores versus operadores
    100 xp
    Privação sensorial
    50 xp
    Executores de fluxo de ar
    50 xp
    Determinação do executor
    50 xp
    Implicações do executor
    100 xp
    Depuração e solução de problemas no Airflow
    50 xp
    DAGs na bolsa
    50 xp
    Faltando DAG
    100 xp
    SLAs e relatórios no Airflow
    50 xp
    Definição de um SLA
    100 xp
    Definição de uma tarefa SLA
    100 xp
    Gerar e enviar um relatório por e-mail
    100 xp
    Adição de e-mails de status
    100 xp
  4. 4

    Criando pipelines de produção no Airflow

    Junte tudo isso. Neste capítulo final, você aplicará tudo o que aprendeu para criar um fluxo de trabalho com qualidade de produção no Airflow.

    Reproduzir Capítulo Agora
    Trabalhando com modelos
    50 xp
    Criando um BashOperator com modelo
    100 xp
    Modelos com vários argumentos
    100 xp
    Mais modelos
    50 xp
    Uso de listas com modelos
    100 xp
    Compreensão das opções de parâmetros
    50 xp
    Envio de e-mails com modelos
    100 xp
    Ramificação
    50 xp
    Definir um BranchPythonOperator
    100 xp
    Solução de problemas de filiais
    50 xp
    Criação de um pipeline de produção
    50 xp
    Criando um pipeline de produção nº 1
    100 xp
    Criação de um pipeline de produção #2
    100 xp
    Adicionando as alterações finais ao seu pipeline
    100 xp
    Parabéns!
    50 xp
Para Empresas

Treinar 2 ou mais pessoas?

Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.

Nas seguintes faixas

Certificação disponível

Engenheiro de dados em Python

Ir para a trilha

colaboradores

Collaborator's avatar
Hadrien Lacroix
Collaborator's avatar
Lis Sulmont

pré-requisitos

Intermediate PythonIntroduction to Shell
Mike Metzger HeadshotMike Metzger

Data Engineer Consultant @ Flexible Creations

Ver Mais

O que os outros alunos têm a dizer?

    Junte-se a mais de 15 milhões de alunos e comece Introdução ao Apache Airflow em Python hoje mesmo!

    Crie sua conta gratuita

    GoogleLinkedInFacebook

    ou

    Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.