ETL e ELT em Python
"Este curso introdutório ajudará você a desenvolver habilidades para criar pipelines de dados eficazes."
Comece O Curso Gratuitamente4 horas14 vídeos53 exercícios14.630 aprendizesDeclaração de Realização
Crie sua conta gratuita
ou
Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.Treinar 2 ou mais pessoas?
Tentar DataCamp for BusinessAmado por alunos de milhares de empresas
Descrição do Curso
Capacitar a análise com pipelines de dados
Os pipelines de dados são a base de toda plataforma de dados sólida. A criação desses pipelines é uma habilidade essencial para os engenheiros de dados, que fornecem um valor incrível para uma empresa pronta para entrar em um futuro orientado por dados. Este curso introdutório ajudará você a aprimorar as habilidades para criar pipelines de dados eficazes, eficientes e confiáveis.
Criar e manter soluções de ETL e ELT
Ao longo deste curso, você mergulhará no processo completo de criação de um pipeline de dados. Você desenvolverá suas habilidades aproveitando as bibliotecas Python, como `pandas` e `json`, para extrair dados de fontes estruturadas e não estruturadas antes de serem transformados e mantidos para uso posterior. Ao longo do caminho, você ganhará confiança em ferramentas e técnicas, como diagramas de arquitetura, testes unitários e monitoramento, que ajudarão a diferenciar seus pipelines de dados dos demais. À medida que progredir, você colocará suas novas habilidades à prova com exercícios práticos.
Treinar 2 ou mais pessoas?
Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.Nas seguintes faixas
Engenheiro de aprendizado de máquina
Ir para a trilha- 1
Introdução aos pipelines de dados
GratuitoPrepare-se para descobrir como os dados são coletados, processados e movidos usando pipelines de dados. Você explorará as qualidades dos melhores pipelines de dados e se preparará para projetar e criar o seu próprio pipeline.
- 2
Criando ETL Pipelines
Mergulhe no uso do pandas para extrair, transformar e carregar dados enquanto você cria seus primeiros pipelines de dados. Saiba como tornar a lógica do ETL reutilizável e aplicar o registro e o tratamento de exceções aos pipelines.
Extração de dados de fontes estruturais50 xpExtração de dados de arquivos parquet100 xpExtração de dados de bancos de dados SQL100 xpCriar funções para extrair dados100 xpTransformando dados com o pandas50 xpFiltragem de DataFrames do pandas100 xpTransformando dados de vendas com pandas100 xpValidação de transformações de dados100 xpPersistência de dados com o pandas50 xpCarregando dados de vendas em um arquivo CSV100 xpPersonalizando um arquivo CSV100 xpPersistência de dados em arquivos100 xpMonitoramento de um pipeline de dados50 xpRegistro em um pipeline de dados100 xpTratamento de exceções ao carregar dados100 xpMonitoramento e alertas em um pipeline de dados100 xp - 3
Técnicas avançadas do site ETL
Incremente seu fluxo de trabalho com técnicas avançadas de pipelining de dados, como o trabalho com dados não tabulares e a persistência de DataFrames em bancos de dados SQL. Descubra ferramentas para lidar com transformações avançadas com pandas e descubra as práticas recomendadas para trabalhar com dados complexos.
Extração de dados não tabulares50 xpIngerindo dados do JSON com o pandas100 xpLeitura de dados do site JSON na memória100 xpTransformação de dados não tabulares50 xpIteração sobre dicionários100 xpAnalisar dados de dicionários100 xpTransformando os dados do JSON100 xpTransformar e limpar DataFrames100 xpTransformação avançada de dados com pandas50 xpPreenchimento de valores ausentes com pandas100 xpAgrupamento de dados com pandas100 xpAplicação de transformações avançadas a DataFrames100 xpCarregando dados em um banco de dados SQL com pandas50 xpCarregamento de dados em um banco de dados Postgres100 xpValidação de dados carregados em um banco de dados Postgres100 xp - 4
Implementação e manutenção de um pipeline de dados
Neste capítulo final, você criará estruturas para validar e testar pipelines de dados antes de enviá-los para a produção. Depois de testar o pipeline, você explorará técnicas para executar o pipeline de dados de ponta a ponta, permitindo a visibilidade do desempenho do pipeline.
Teste manual de um pipeline de dados50 xpTeste de pipelines de dados50 xpValidação de um pipeline de dados em "pontos de verificação"100 xpTeste de um pipeline de dados de ponta a ponta100 xpTeste de unidade de um pipeline de dados50 xpValidação de um pipeline de dados com assert e isinstance100 xpEscrevendo testes de unidade com o pytest100 xpCriando acessórios com o pytest100 xpTeste de unidade de um pipeline de dados com acessórios100 xpExecutar um pipeline de dados na produção50 xpFerramentas de orquestração e ETL50 xpPadrões de arquitetura de pipeline de dados100 xpExecução de um pipeline de dados de ponta a ponta100 xpParabéns!50 xp
Treinar 2 ou mais pessoas?
Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.Nas seguintes faixas
Engenheiro de aprendizado de máquina
Ir para a trilhacolaboradores
Jake Roach
Ver Mais
Data Engineer
O que os outros alunos têm a dizer?
Junte-se a mais de 15 milhões de alunos e comece ETL e ELT em Python hoje mesmo!
Crie sua conta gratuita
ou
Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.