ETL et ELT en Python
Apprenez à créer des pipelines de données efficaces et fiables avec les principes ETL.
Commencer Le Cours Gratuitement4 heures14 vidéos53 exercices14 888 apprenantsDéclaration de réalisation
Créez votre compte gratuit
ou
En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.Formation de 2 personnes ou plus ?
Essayer DataCamp for BusinessApprécié par les apprenants de milliers d'entreprises
Description du cours
Renforcer l'analyse grâce aux pipelines de données
Les pipelines de données sont à la base de toute plateforme de données solide. La construction de ces pipelines est une compétence essentielle pour les ingénieurs de données, qui apportent une valeur incroyable à une entreprise prête à s'engager dans un avenir axé sur les données. Ce cours d'introduction vous aidera à perfectionner vos compétences pour construire des pipelines de données efficaces, performants et fiables.Construire et maintenir des solutions ETL
Tout au long de ce cours, vous découvrirez le processus complet de construction d'un pipeline de données. Vous développerez vos compétences en utilisant des bibliothèques Python telles quepandas et json pour extraire des données à partir de sources structurées et non structurées avant qu'elles ne soient transformées et conservées pour une utilisation en aval. En cours de route, vous développerez des outils et des techniques de confiance tels que les diagrammes d'architecture, les tests unitaires et la surveillance qui vous aideront à distinguer vos pipelines de données des autres. Au fur et à mesure de votre progression, vous mettrez vos nouvelles compétences à l'épreuve grâce à des exercices pratiques.
Optimisez les flux de données
Après avoir suivi ce cours, vous serez prêt à concevoir, développer et utiliser des pipelines de données pour optimiser votre flux de données dans votre travail, votre nouvelle carrière ou votre projet personnel.Formation de 2 personnes ou plus ?
Donnez à votre équipe l’accès à la plateforme DataCamp complète, y compris toutes les fonctionnalités.Dans les titres suivants
Ingénieur en apprentissage automatique
Aller à la piste- 1
Introduction aux pipelines de données
GratuitPréparez-vous à découvrir comment les données sont collectées, traitées et déplacées à l'aide de pipelines de données. Vous explorerez les qualités des meilleurs pipelines de données et vous vous préparerez à concevoir et à construire le vôtre.
- 2
Construire ETL Pipelines
Plongez dans l'exploitation de pandas pour extraire, transformer et charger des données et créez vos premiers pipelines de données. Apprenez à rendre votre logique ETL réutilisable et à appliquer la journalisation et la gestion des exceptions à vos pipelines.
Extraction de données à partir de sources structurelles50 xpExtraction de données à partir de fichiers parquet100 xpExtraction de données des bases de données SQL100 xpConstruire des fonctions pour extraire des données100 xpTransformer des données avec pandas50 xpFiltrer les DataFrames pandas100 xpTransformer les données de vente avec pandas100 xpValider les transformations de données100 xpPersistance des données avec pandas50 xpChargement des données de vente dans un fichier CSV100 xpPersonnalisation d'un fichier CSV100 xpPersistance des données dans des fichiers100 xpSurveillance d'un pipeline de données50 xpLa journalisation dans un pipeline de données100 xpGestion des exceptions lors du chargement des données100 xpSurveillance et alerte au sein d'un pipeline de données100 xp - 3
Techniques avancées ETL
Optimisez votre flux de travail grâce à des techniques avancées d'acheminement des données, telles que l'utilisation de données non tabulaires et la persistance des DataFrames dans les bases de données SQL. Découvrez les outils permettant de réaliser des transformations avancées avec pandas, et découvrez les meilleures pratiques pour travailler avec des données complexes.
Extraction de données non tabulaires50 xpAcquisition de données JSON avec pandas100 xpLecture des données de JSON dans la mémoire100 xpTransformer des données non tabulaires50 xpItération sur les dictionnaires100 xpAnalyse de données à partir de dictionnaires100 xpTransformer les données JSON100 xpTransformer et nettoyer les DataFrames100 xpTransformation avancée de données avec pandas50 xpRemplir les valeurs manquantes avec pandas100 xpRegrouper des données avec pandas100 xpAppliquer des transformations avancées aux DataFrames100 xpChargement de données dans une base de données SQL avec pandas50 xpChargement de données dans une base de données Postgres100 xpValidation des données chargées dans une base de données Postgres100 xp - 4
Déploiement et maintenance d'un pipeline de données
Dans ce dernier chapitre, vous créerez des cadres pour valider et tester les pipelines de données avant de les envoyer en production. Après avoir testé votre pipeline, vous explorerez les techniques permettant d'exécuter votre pipeline de données de bout en bout, tout en offrant une visibilité sur les performances du pipeline.
Tester manuellement un pipeline de données50 xpTester les pipelines de données50 xpValider un pipeline de données à des "points de contrôle".100 xpTester un pipeline de données de bout en bout100 xpTest unitaire d'un pipeline de données50 xpValider un pipeline de données avec assert100 xpÉcrire des tests unitaires avec pytest100 xpCréer des fixtures avec pytest100 xpTest unitaire d'un pipeline de données avec des fixtures100 xpExécuter un pipeline de données en production50 xpOutils d'orchestration et ETL50 xpModèles d'architecture de pipeline de données100 xpExploiter un pipeline de données de bout en bout100 xpFélicitations !50 xp
Formation de 2 personnes ou plus ?
Donnez à votre équipe l’accès à la plateforme DataCamp complète, y compris toutes les fonctionnalités.Dans les titres suivants
Ingénieur en apprentissage automatique
Aller à la pistecollaborateurs
Qu’est-ce que les autres apprenants ont à dire ?
Inscrivez-vous 15 millions d’apprenants et commencer ETL et ELT en Python Aujourd’hui!
Créez votre compte gratuit
ou
En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données sont stockées aux États-Unis.