ETL und ELT in Python
Kurs Kostenlos Starten4 Stunden14 Videos53 Übungen14.888 LernendeLeistungsnachweis
Kostenloses Konto erstellen
oder
Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.Trainierst du 2 oder mehr?
Versuchen DataCamp for BusinessBeliebt bei Lernenden in Tausenden Unternehmen
Kursbeschreibung
Mit Datenpipelines die Analytik stärken
Datenpipelines sind die Grundlage jeder starken Datenplattform. Der Aufbau dieser Pipelines ist eine wichtige Fähigkeit für Data Engineers, die einen unglaublichen Wert für ein Unternehmen darstellen, das bereit ist, in eine datengesteuerte Zukunft zu gehen. In diesem Einführungskurs lernst du, wie du effektive, leistungsfähige und zuverlässige Datenpipelines aufbauen kannst.Aufbau und Instandhaltung von ETL-Lösungen
In diesem Kurs lernst du den gesamten Prozess der Erstellung einer Datenpipeline kennen. Du lernst, wie du Python-Bibliotheken wiepandas
und json
nutzen kannst, um Daten aus strukturierten und unstrukturierten Quellen zu extrahieren, bevor sie umgewandelt und für eine spätere Verwendung gespeichert werden. Auf dem Weg dorthin entwickelst du vertrauenswürdige Werkzeuge und Techniken wie Architekturdiagramme, Unit-Tests und Monitoring, die dir helfen, deine Datenpipelines von anderen abzuheben. Wenn du Fortschritte machst, kannst du deine neu erworbenen Fähigkeiten in praktischen Übungen unter Beweis stellen.
Supercharge Data Workflows
Nach Abschluss dieses Kurses bist du in der Lage, Datenpipelines zu entwerfen, zu entwickeln und zu nutzen, um deinen Datenworkflow in deinem Job, deiner neuen Karriere oder deinem persönlichen Projekt zu verbessern.Trainierst du 2 oder mehr?
Verschaffen Sie Ihrem Team Zugriff auf die vollständige DataCamp-Plattform, einschließlich aller Funktionen.In den folgenden Tracks
IMachine Learning Engineer
Gehe zu Track- 1
Einführung in Datenpipelines
KostenlosErfahre, wie Daten mithilfe von Datenpipelines gesammelt, verarbeitet und verschoben werden. Du wirst die Qualitäten der besten Datenpipelines kennenlernen und dich darauf vorbereiten, deine eigene zu entwerfen und aufzubauen.
- 2
Aufbau von ETL Pipelines
Tauche ein in die Nutzung von Pandas zum Extrahieren, Transformieren und Laden von Daten und baue deine ersten Datenpipelines auf. Lerne, wie du deine ETL Logik wiederverwendbar machst und deine Pipelines mit Logging und Ausnahmebehandlung versiehst.
Daten aus Strukturquellen extrahieren50 xpDaten aus Parkettdateien extrahieren100 xpAbrufen von Daten aus SQL Datenbanken100 xpFunktionen zum Extrahieren von Daten erstellen100 xpDaten mit Pandas transformieren50 xpFiltern von Pandas DataFrames100 xpVerkaufsdaten mit Pandas transformieren100 xpDatenumwandlungen validieren100 xpPersistieren von Daten mit Pandas50 xpLaden von Verkaufsdaten in eine CSV Datei100 xpAnpassen einer CSV Datei100 xpPersistieren von Daten in Dateien100 xpÜberwachung einer Datenpipeline50 xpLogging innerhalb einer Datenpipeline100 xpBehandlung von Ausnahmen beim Laden von Daten100 xpÜberwachung und Alarmierung innerhalb einer Datenpipeline100 xp - 3
Fortgeschrittene ETL Techniken
Verbessere deine Arbeitsabläufe mit fortschrittlichen Daten-Pipelining-Techniken, wie z. B. der Arbeit mit nicht-tabellarischen Daten und der Persistenz von DataFrames in SQL Datenbanken. Erfahre, wie du mit Pandas fortgeschrittene Transformationen durchführen kannst, und lerne Best Practices für die Arbeit mit komplexen Daten kennen.
Extrahieren von nicht-tabellarischen Daten50 xpIngesting von JSON Daten mit Pandas100 xpLesen von JSON Daten in den Speicher100 xpNicht-tabellarische Daten transformieren50 xpIteration über Wörterbücher100 xpParsen von Daten aus Wörterbüchern100 xpUmwandlung von JSON Daten100 xpUmwandlung und Bereinigung von DataFrames100 xpErweiterte Datentransformation mit Pandas50 xpFehlende Werte mit Pandas auffüllen100 xpDaten mit Pandas gruppieren100 xpErweiterte Transformationen auf DataFrames anwenden100 xpLaden von Daten in eine SQL Datenbank mit Pandas50 xpDaten in eine Postgres-Datenbank laden100 xpValidierung der in eine Postgres-Datenbank geladenen Daten100 xp - 4
Einsatz und Pflege einer Datenpipeline
In diesem letzten Kapitel erstellst du Frameworks, um Datenpipelines zu validieren und zu testen, bevor du sie in die Produktion überführst. Nachdem du deine Pipeline getestet hast, lernst du Techniken kennen, mit denen du deine Datenpipeline durchgängig betreiben kannst und gleichzeitig einen Einblick in die Leistung der Pipeline erhältst.
Manuelles Testen einer Datenpipeline50 xpDatenpipelines testen50 xpValidierung einer Datenpipeline an "Checkpoints"100 xpTesten einer Datenpipeline von Anfang bis Ende100 xpUnit-Testing einer Datenpipeline50 xpValidierung einer Datenpipeline mit assert und isinstance100 xpUnit-Tests mit pytest schreiben100 xpFixtures mit pytest erstellen100 xpUnit-Tests einer Datenpipeline mit Fixtures100 xpAusführen einer Datenpipeline in der Produktion50 xpTools für die Orchestrierung und ETL50 xpArchitekturmuster für Datenpipelines100 xpEine Datenpipeline Ende-zu-Ende ausführen100 xpHerzlichen Glückwunsch!50 xp
Trainierst du 2 oder mehr?
Verschaffen Sie Ihrem Team Zugriff auf die vollständige DataCamp-Plattform, einschließlich aller Funktionen.In den folgenden Tracks
IMachine Learning Engineer
Gehe zu TrackMitwirkende
Jake Roach
Mehr AnzeigenData Engineer
Was sagen andere Lernende?
Melden Sie sich an 15 Millionen Lernende und starten Sie ETL und ELT in Python Heute!
Kostenloses Konto erstellen
oder
Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.