Pular para o conteúdo principal

Início SparkFundamentos de Big Data com PySpark

Fundamentos de Big Data com PySpark

"Aprenda os fundamentos de trabalhar com big data usando PySpark."

Comece O Curso Gratuitamente

4 horas16 vídeos55 exercícios

50.399 aprendizesDeclaração de Realização

Crie sua conta gratuita

Google LinkedIn Facebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.

Treinar 2 ou mais pessoas?Experimente o DataCamp For Business

Amado por alunos de milhares de empresas

Descrição do Curso

Nos últimos anos, tem havido muito burburinho sobre Big Data, e ele finalmente se tornou popular para muitas empresas. Mas o que é esse Big Data? Este curso aborda os fundamentos do Big Data por meio do PySpark. O Spark é uma estrutura de "computação em cluster extremamente rápida" para Big Data. Ele fornece um mecanismo de plataforma de processamento de dados geral e permite que você execute programas até 100 vezes mais rápido na memória ou 10 vezes mais rápido no disco do que o Hadoop. Você usará o PySpark, um pacote Python para programação do Spark e suas poderosas bibliotecas de nível superior, como SparkSQL, MLlib (para aprendizado de máquina), etc. Você explorará as obras de William Shakespeare, analisará dados da Fifa 2018 e realizará agrupamento em conjuntos de dados genômicos. Ao final deste curso, você terá adquirido um conhecimento profundo do PySpark e de sua aplicação à análise geral de Big Data.

Para Empresas

Treinar 2 ou mais pessoas?

Obtenha acesso à biblioteca completa do DataCamp, com relatórios, atribuições, projetos e muito mais centralizados

Nas seguintes faixas

Big Data com PySpark

Ir para a trilha

1
Introdução à análise de Big Data com o Spark
Gratuito
Este capítulo apresenta o empolgante mundo do Big Data, bem como os vários conceitos e estruturas diferentes para o processamento de Big Data. Você entenderá por que o Apache Spark é considerado a melhor estrutura para BigData.
Reproduzir Capítulo Agora
O que é Big Data?
50 xp
Os 3 Vs do Big Data
50 xp
PySpark: Spark com Python
50 xp
Entendendo o SparkContext
100 xp
Uso interativo do PySpark
100 xp
Carregando dados no shell do PySpark
100 xp
Revisão da programação funcional em Python
50 xp
Uso de lambda() com map()
100 xp
Uso de lambda() com filter()
100 xp
2
Programação no PySpark RDD's
A principal abstração que o Spark oferece é um conjunto de dados distribuídos resilientes (RDD), que é o tipo de dados fundamental e a espinha dorsal desse mecanismo. Este capítulo apresenta RDDs e mostra como RDDs pode ser criado e executado usando RDD Transformations and Actions.
Reproduzir Capítulo Agora
Abstração de dados com RDDs
50 xp
RDDs de coleções paralelizadas
100 xp
RDDs de conjuntos de dados externos
100 xp
Partições em seus dados
100 xp
Básico RDD Transformações e ações
50 xp
Mapear e coletar
100 xp
Filtrar e contar
100 xp
Pair RDDs no PySpark
50 xp
ReduceBykey e Collect
100 xp
SortByKey e Collect
100 xp
Ações avançadas do site RDD
50 xp
CountingBykeys
100 xp
Crie uma base RDD e transforme-a
100 xp
Remover palavras de parada e reduzir o conjunto de dados
100 xp
Imprimir frequências de palavras
100 xp
3
PySpark SQL e DataFrames
Neste capítulo, você aprenderá sobre o Spark SQL, que é um módulo do Spark para processamento de dados estruturados. Ele fornece uma abstração de programação chamada DataFrames e também pode atuar como um mecanismo de consulta distribuído SQL. Este capítulo mostra como o Spark SQL permite que você use DataFrames em Python.
Reproduzir Capítulo Agora
Abstração de dados com DataFrames
50 xp
RDD para DataFrame
100 xp
Carregando CSV em um DataFrame
100 xp
Operando em DataFrames no PySpark
50 xp
Inspecionando dados no PySpark DataFrame
100 xp
Subconjunto e limpeza do PySpark DataFrame
100 xp
Filtragem de seu DataFrame
100 xp
Interagindo com DataFrames usando PySpark SQL
50 xp
Executando as consultas do site SQL programaticamente
100 xp
SQL consultas para filtragem da tabela
100 xp
Visualização de dados no PySpark usando DataFrames
50 xp
Visualização do DataFrame do PySpark
100 xp
Parte 1: Criar um DataFrame a partir do arquivo CSV
100 xp
Parte 2: SQL Consultas em DataFrame
100 xp
Parte 3: Visualização de dados
100 xp
4
Aprendizado de máquina com PySpark MLlib
PySpark MLlib é a biblioteca de aprendizado de máquina escalável do Apache Spark em Python, que consiste em algoritmos e utilitários comuns de aprendizado. Ao longo deste último capítulo, você aprenderá algoritmos importantes de Machine Learning. Você criará um mecanismo de recomendação de filmes e um filtro de spam e usará o agrupamento k-means.
Reproduzir Capítulo Agora
Visão geral da biblioteca do PySpark ML
50 xp
PySpark ML bibliotecas
50 xp
PySpark MLlib algorithms
100 xp
Filtragem colaborativa
50 xp
Carregando o conjunto de dados de lentes de filme em RDDs
100 xp
Treinamento e previsões de modelos
100 xp
Avaliação do modelo usando MSE
100 xp
Classificação
50 xp
Carregamento de dados de spam e não spam
100 xp
Hash de recursos e LabelPoint
100 xp
Treinamento do modelo de regressão logística
100 xp
Agrupamento
50 xp
Carregando e analisando os dados de 5000 pontos
100 xp
Treinamento K-means
100 xp
Visualização de clusters
100 xp
Parabéns!
50 xp

Para Empresas

Treinar 2 ou mais pessoas?

Obtenha acesso à biblioteca completa do DataCamp, com relatórios, atribuições, projetos e muito mais centralizados

Nas seguintes faixas

Big Data com PySpark

Ir para a trilha

conjuntos de dados

Complete Shakespeare Movie ratings 5000 points FIFA 2018 People Spam Ham

colaboradores

Hadrien Lacroix

Chester Ismay

pré-requisitos

Introduction to Python

Upendra Kumar Devisetty

Science Analyst at CyVerse

O que os outros alunos têm a dizer?

Junte-se a mais de 14 milhões de alunos e comece Fundamentos de Big Data com PySpark hoje mesmo!

Crie sua conta gratuita

Google LinkedIn Facebook

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados são armazenados nos EUA.