Pular para o conteúdo principal

Introdução ao PySpark

"Aprenda a implementar gestão de dados distribuídos e aprendizado de máquina no Spark com PySpark."

Comece O Curso Gratuitamente

4 horas45 exercícios146.219 aprendizesDeclaração de Realização

Crie sua conta gratuita

Google LinkedIn Facebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.

Treinar 2 ou mais pessoas?

Tentar DataCamp for Business

Amado por alunos de milhares de empresas

Descrição do Curso

Neste curso, você aprenderá a usar o Spark no Python! O Spark é uma ferramenta para fazer computação paralela com grandes conjuntos de dados e se integra bem ao Python. O PySpark é o pacote Python que faz a mágica acontecer. Você vai usar esse pacote para trabalhar com dados de voos de Portland e Seattle. Você vai aprender a preparar esses dados e criar um pipeline completo de aprendizado de máquina para prever se os voos sofrerão atrasos ou não. Prepare-se para colocar um pouco de brilho em seus códigos Python com o Spark e mergulhar no mundo do aprendizado de máquina de alto desempenho!

Para Empresas

Treinar 2 ou mais pessoas?

Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.

Nas seguintes faixas

Big Data com PySpark

Ir para a trilha

Cientista de aprendizado de máquina em Python

Ir para a trilha

1
Visão geral do PySpark
Gratuito
Neste capítulo, você aprenderá como o Spark gerencia dados e como você pode ler e gravar tabelas no Python.
Reproduzir Capítulo Agora
Afinal, o que faz o Spark?
50 xp
Como usar o Spark no Python
50 xp
Análise do SparkContext
100 xp
Uso de DataFrames
50 xp
Como criar uma SparkSession
100 xp
Exibição de tabelas
100 xp
Curioso para fazer consultas?
100 xp
Como pandificar um DataFrame do Spark
100 xp
Use o Spark para dar brilho aos dados
100 xp
Chega de intermediários
100 xp
2
Manipulação de dados
Neste capítulo, você aprenderá sobre o módulo pyspark.sql, que disponibiliza consultas de dados otimizadas à sua sessão do Spark.
Reproduzir Capítulo Agora
Criação de colunas
100 xp
Introdução rápida ao SQL
50 xp
Introdução rápida ao SQL (2)
50 xp
Filtragem de dados
100 xp
Seleção
100 xp
Seleção II
100 xp
Agregação
100 xp
Agregação II
100 xp
Agrupamento e agregação I
100 xp
Agrupamento e agregação II
100 xp
Junções
50 xp
Junções II
100 xp
3
Introdução a pipelines de aprendizado de máquina
O PySpark tem rotinas de aprendizado de máquina de ponta integradas, além de utilitários para criar pipelines completos de aprendizado de máquina. Você aprenderá sobre eles neste capítulo.
Reproduzir Capítulo Agora
Pipelines de aprendizado de máquina
50 xp
Junção dos DataFrames
100 xp
Tipos de dados
50 xp
De string para inteiro
100 xp
Crie uma nova coluna
100 xp
Como criar um booleano
100 xp
Strings e fatores
50 xp
Companhia aérea
100 xp
Destino
100 xp
Monte um vetor
100 xp
Crie o pipeline
100 xp
Teste x Treinamento
50 xp
Transforme os dados
100 xp
Divida os dados
100 xp
4
Ajuste e seleção de modelos
Neste último capítulo, você aplicará o que aprendeu para criar um modelo capaz de prever quais voos sofrerão atrasos.
Reproduzir Capítulo Agora
O que é regressão logística?
50 xp
Crie o modelador
100 xp
Validação cruzada
50 xp
Crie o avaliador
100 xp
Faça uma grade
100 xp
Crie o validador
100 xp
Ajuste o(s) modelo(s)
100 xp
Avaliação de classificadores binários
50 xp
Avalie o modelo
100 xp

Para Empresas

Treinar 2 ou mais pessoas?

Obtenha acesso à sua equipe à plataforma DataCamp completa, incluindo todos os recursos.

Nas seguintes faixas

Big Data com PySpark

Ir para a trilha

Cientista de aprendizado de máquina em Python

Ir para a trilha

conjuntos de dados

Airports Flights Planes

colaboradores

Colin Ricardo

pré-requisitos

Introduction to Python

Director of Data Science Education at Flatiron School

Data Scientist

O que os outros alunos têm a dizer?

Junte-se a mais de 15 milhões de alunos e comece Introdução ao PySpark hoje mesmo!

Crie sua conta gratuita

Google LinkedIn Facebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.