Direkt zum Inhalt

Startseite Data Engineering

Kurs

Einführung in Apache Airflow in Python

Fortgeschritten

Updated 12.2024

Erfahren Sie, wie Sie Daten-Engineering-Workflows implementieren und planen.

Kurs kostenlos starten

Kostenlos inbegriffenPremium or Teams

AirflowData Engineering4 Stunden16 Videos55 Übungen4,050 XP42,602Leistungsnachweis

Kostenloses Konto erstellen

Google LinkedIn Facebook

oder

Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.

Trainierst du 2 oder mehr?

Versuchen DataCamp for Business

Beliebt bei Lernenden in Tausenden Unternehmen

Kursbeschreibung

Jetzt aktualisiert auf Apache Airflow 2.7 - Die Bereitstellung von Daten nach einem Zeitplan kann ein manueller Prozess sein. Du schreibst Skripte, fügst komplexe Cron-Tasks hinzu und probierst verschiedene Möglichkeiten aus, um die sich ständig ändernden Anforderungen zu erfüllen - und es ist noch schwieriger, alles zu bewältigen, wenn du mit Teamkollegen zusammenarbeitest. Apache Airflow kann dir diese Kopfschmerzen ersparen, indem es deine Arbeitsabläufe um Zeitplanung, Fehlerbehandlung und Berichterstellung ergänzt. In diesem Kurs lernst du die Grundlagen von Apache Airflow kennen und erfährst, wie du komplexe Data-Engineering-Pipelines in der Produktion implementieren kannst. Außerdem lernst du, wie du gerichtete azyklische Graphen (DAGs) verwendest, Data-Engineering-Workflows automatisierst und Data-Engineering-Aufgaben auf einfache und wiederholbare Weise umsetzt - damit du deinen Verstand behältst.

Voraussetzungen

Intermediate Python Introduction to Shell

1

Einführung in die Luftströmung

Kapitel starten

Einführung in Apache Airflow

Eine Aufgabe in Airflow testen

Prüfung der Luftstrombefehle

Luftstrom DAGs

Definieren einer einfachen DAG

Arbeiten mit DAGs und der Airflow-Schale

Fehlersuche DAG Erstellung

Airflow Web Interface

Den Airflow Webserver starten

Navigieren im Luftstrom UI

Untersuche DAGs mit dem Airflow UI

2

Implementierung des Luftstroms DAGs

Kapitel starten

Luftstrombetreiber

Definieren einer BashOperator Aufgabe

Mehrere BashOperatoren

Aufgaben im Luftstrom

Reihenfolge der BashOperatoren festlegen

Festlegen der Reihenfolge der Aufgaben

Fehlersuche DAG Abhängigkeiten

Zusätzliche Betreiber

Verwendung des PythonOperators

Mehr PythonOperatoren

EmailOperator und Abhängigkeiten

Luftstrom-Planung

Planen Sie eine DAG über Python

Entschlüsselung von Luftstromplänen

Fehlersuche DAG läuft

3

Pflege und Überwachung von Airflow-Workflows

Kapitel starten

Luftstromsensoren

Sensoren vs. Bediener

Sensorische Deprivation

Luftstrom-Executors

Bestimmung des Vollstreckers

Auswirkungen auf den Vollstrecker

Fehlersuche und Fehlerbehebung in Airflow

DAGist in der Tasche

SLAs und Berichte in Airflow

Definieren einer SLA

Definieren einer Aufgabe SLA

Erstelle einen Bericht und sende ihn per E-Mail

Hinzufügen von Status-E-Mails

4

Aufbau von Produktionspipelines in Airflow

Kapitel starten

Arbeiten mit Vorlagen

Einen BashOperator mit Vorlage erstellen

Vorlagen mit mehreren Argumenten

Mehr Vorlagen

Listen mit Vorlagen verwenden

Verstehen der Parameteroptionen

Versenden von E-Mail-Vorlagen

Verzweigung

Define a BranchPythonOperator

Fehlersuche in der Branche

Erstellen einer Produktionspipeline

Erstellen einer Produktionspipeline #1

Erstellen einer Produktionspipeline #2

Hinzufügen der letzten Änderungen zu deiner Pipeline

Herzlichen Glückwunsch!

Einführung in Apache Airflow in Python

Kurs
abgeschlossen

Leistungsnachweis verdienen

Fügen Sie diese Anmeldeinformationen zu Ihrem LinkedIn-Profil, Lebenslauf oder Lebenslauf hinzu
Teilen Sie es in den sozialen Medien und in Ihrer Leistungsbeurteilung

Im Lieferumfang enthaltenPremium or Teams

Machen Sie mit 15 Millionen Lernende und starten Sie Einführung in Apache Airflow in Python Heute!

Kostenloses Konto erstellen

Google LinkedIn Facebook

oder

Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.