Accéder au contenu principal

Accueil Data Engineering

cours

Introduction à Apache Airflow en Python

Avancé

Updated 12/2024

Apprenez à mettre en œuvre et à planifier des flux de travail d'ingénierie des données.

Commencer le cours gratuitement

Inclus gratuitementPremium or Teams

AirflowIngénierie des données4 heures16 vidéos55 exercices4,050 XP42,602Déclaration de réalisation

Créez votre compte gratuit

Google LinkedIn Facebook

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.

Formation de 2 personnes ou plus ?

Essayer DataCamp for Business

Apprécié par les apprenants de milliers d’entreprises

Description du cours

Maintenant mis à jour avec Apache Airflow 2.7 - Fournir des données selon un calendrier peut être un processus manuel. Vous écrivez des scripts, ajoutez des tâches cron complexes et tentez de répondre à un ensemble d'exigences en constante évolution - et il est encore plus difficile de tout gérer lorsque vous travaillez avec des coéquipiers. Apache Airflow peut vous débarrasser de ce casse-tête en ajoutant des fonctions de planification, de gestion des erreurs et de reporting à vos workflows. Dans ce cours, vous maîtriserez les bases d'Apache Airflow et apprendrez à mettre en œuvre des pipelines d'ingénierie de données complexes en production. Vous apprendrez également à utiliser les graphes acycliques dirigés (DAG), à automatiser les flux de travail d'ingénierie des données et à mettre en œuvre des tâches d'ingénierie des données de manière simple et reproductible, ce qui vous permettra de garder la tête froide.

Conditions préalables

Intermediate Python Introduction to Shell

1

Introduction à la circulation de l'air

Commencer le chapitre

Introduction à Apache Airflow

Test d'une tâche dans Airflow

Examen des commandes de débit d'air

Débit d'air DAGs

Définir un simple DAG

Travailler avec DAGs et le shell Airflow

Dépannage de la création de DAG

Interface web Airflow

Démarrer le serveur web Airflow

Naviguer dans le flux d'air UI

Examiner DAGs avec le flux d'air UI

2

Mise en œuvre du flux d'air DAGs

Commencer le chapitre

Opérateurs de flux d'air

Définition d'une tâche BashOperator

Plusieurs BashOperators

Tâches liées à la circulation de l'air

Définir l'ordre des BashOperators

Déterminer l'ordre des tâches

Résolution des problèmes liés aux dépendances de DAG

Opérateurs supplémentaires

Utilisation de l'opérateur Python

Plus d'opérateurs Python

EmailOperator et dépendances

Programmation du débit d'air

Programmer une DAG via Python

Décryptage des schémas de débit d'air

Résolution des problèmes liés à l'exécution de DAG

3

Maintien et suivi des flux de travail Airflow

Commencer le chapitre

Capteurs de débit d'air

Capteurs et opérateurs

Privation sensorielle

Exécutants du flux d'air

Détermination de l'exécuteur testamentaire

Implications pour l'exécuteur testamentaire

Débogage et dépannage dans Airflow

DAGdans le sac

Disparu DAG

SLAet les rapports dans Airflow

Définir un SLA

Définir une tâche SLA

Générer un rapport et l'envoyer par courrier électronique

Ajout de courriels d'état

4

Construire des pipelines de production dans Airflow

Commencer le chapitre

Travailler avec des modèles

Création d'un BashOperator modèle

Modèles avec plusieurs arguments

Plus de modèles

Utilisation de listes avec des modèles

Comprendre les options des paramètres

Envoi de courriers électroniques types

Branchement

Définir un BranchPythonOperator

Dépannage des succursales

Création d'un pipeline de production

Création d'une filière de production #1

Création d'un pipeline de production #2

Ajouter les dernières modifications à votre pipeline

Félicitations !

Introduction à Apache Airflow en Python

Cours
terminé

Earn Déclaration de réalisation

Ajoutez ces informations d’identification à votre profil LinkedIn, à votre CV ou à votre CV
Partagez-le sur les réseaux sociaux et dans votre évaluation de performance

Inclus avecPremium or Teams

S'inscrire maintenant

Inscrivez-vous 15 millions d’apprenants et commencer Introduction à Apache Airflow en Python Aujourd’hui!

Créez votre compte gratuit

Google LinkedIn Facebook

ou

En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.