Einführung in Apache Airflow in Python
Erfahren Sie, wie Sie Daten-Engineering-Workflows implementieren und planen.
Kurs Kostenlos Starten4 Stunden16 Videos55 Übungen41.546 LernendeLeistungsnachweis
Kostenloses Konto erstellen
oder
Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.Trainierst du 2 oder mehr?
Versuchen DataCamp for BusinessBeliebt bei Lernenden in Tausenden Unternehmen
Kursbeschreibung
Jetzt aktualisiert auf Apache Airflow 2.7 - Die Bereitstellung von Daten nach einem Zeitplan kann ein manueller Prozess sein. Du schreibst Skripte, fügst komplexe Cron-Tasks hinzu und probierst verschiedene Möglichkeiten aus, um die sich ständig ändernden Anforderungen zu erfüllen - und es ist noch schwieriger, alles zu bewältigen, wenn du mit Teamkollegen zusammenarbeitest. Apache Airflow kann dir diese Kopfschmerzen ersparen, indem es deine Arbeitsabläufe um Zeitplanung, Fehlerbehandlung und Berichterstellung ergänzt. In diesem Kurs lernst du die Grundlagen von Apache Airflow kennen und erfährst, wie du komplexe Data-Engineering-Pipelines in der Produktion implementieren kannst. Außerdem lernst du, wie du gerichtete azyklische Graphen (DAGs) verwendest, Data-Engineering-Workflows automatisierst und Data-Engineering-Aufgaben auf einfache und wiederholbare Weise umsetzt - damit du deinen Verstand behältst.
Trainierst du 2 oder mehr?
Verschaffen Sie Ihrem Team Zugriff auf die vollständige DataCamp-Plattform, einschließlich aller Funktionen.In den folgenden Tracks
- 1
Einführung in die Luftströmung
KostenlosIn diesem Kapitel erhältst du eine umfassende Einführung in die Komponenten von Apache Airflow und erfährst, wie und warum du sie nutzen solltest.
Einführung in Apache Airflow50 xpEine Aufgabe in Airflow testen50 xpPrüfung der Luftstrombefehle50 xpLuftstrom DAGs50 xpDefinieren einer einfachen DAG100 xpArbeiten mit DAGs und der Airflow-Schale50 xpFehlersuche DAG Erstellung100 xpAirflow Web Interface50 xpDen Airflow Webserver starten50 xpNavigieren im Luftstrom UI50 xpUntersuche DAGs mit dem Airflow UI50 xp - 2
Implementierung des Luftstroms DAGs
Was ist los DAG? Jetzt ist es an der Zeit, die Grundlagen der Implementierung von Airflow DAGs zu lernen. In praktischen Übungen lernst du, wie du Operatoren, Aufgaben und Planungen einrichtest und einsetzt.
Luftstrombetreiber50 xpDefinieren einer BashOperator Aufgabe100 xpMehrere BashOperatoren100 xpAufgaben im Luftstrom50 xpReihenfolge der BashOperatoren festlegen100 xpFestlegen der Reihenfolge der Aufgaben100 xpFehlersuche DAG Abhängigkeiten50 xpZusätzliche Betreiber50 xpVerwendung des PythonOperators100 xpMehr PythonOperatoren100 xpEmailOperator und Abhängigkeiten100 xpLuftstrom-Planung50 xpPlanen Sie eine DAG über Python100 xpEntschlüsselung von Luftstromplänen100 xpFehlersuche DAG läuft50 xp - 3
Pflege und Überwachung von Airflow-Workflows
In diesem Kapitel erfährst du, wie du mit Airflow-Komponenten wie Sensoren und Executors bei der Überwachung und Fehlerbehebung von Airflow-Workflows Zeit sparen kannst.
Luftstromsensoren50 xpSensoren vs. Bediener100 xpSensorische Deprivation50 xpLuftstrom-Executors50 xpBestimmung des Vollstreckers50 xpAuswirkungen auf den Vollstrecker100 xpFehlersuche und Fehlerbehebung in Airflow50 xpDAGist in der Tasche50 xpFehlt DAG100 xpSLAs und Berichte in Airflow50 xpDefinieren einer SLA100 xpDefinieren einer Aufgabe SLA100 xpErstelle einen Bericht und sende ihn per E-Mail100 xpHinzufügen von Status-E-Mails100 xp - 4
Aufbau von Produktionspipelines in Airflow
Nimm alles zusammen. In diesem letzten Kapitel wendest du alles an, was du gelernt hast, um einen produktionsgerechten Workflow in Airflow aufzubauen.
Arbeiten mit Vorlagen50 xpEinen BashOperator mit Vorlage erstellen100 xpVorlagen mit mehreren Argumenten100 xpMehr Vorlagen50 xpListen mit Vorlagen verwenden100 xpVerstehen der Parameteroptionen50 xpVersenden von E-Mail-Vorlagen100 xpVerzweigung50 xpDefine a BranchPythonOperator100 xpFehlersuche in der Branche50 xpErstellen einer Produktionspipeline50 xpErstellen einer Produktionspipeline #1100 xpErstellen einer Produktionspipeline #2100 xpHinzufügen der letzten Änderungen zu deiner Pipeline100 xpHerzlichen Glückwunsch!50 xp
Trainierst du 2 oder mehr?
Verschaffen Sie Ihrem Team Zugriff auf die vollständige DataCamp-Plattform, einschließlich aller Funktionen.In den folgenden Tracks
Mitwirkende
Was sagen andere Lernende?
Melden Sie sich an 15 Millionen Lernende und starten Sie Einführung in Apache Airflow in Python Heute!
Kostenloses Konto erstellen
oder
Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.