Direkt zum Inhalt

Startseite Spark

Kurs

Cleaning Data with PySpark

Fortgeschritten

Updated 12.2024

Learn how to clean data with Apache Spark in Python.

Kurs kostenlos starten

Kostenlos inbegriffenPremium or Teams

SparkDatenaufbereitung4 Stunden16 Videos53 Übungen4,150 XP27,671Leistungsnachweis

Kostenloses Konto erstellen

Google LinkedIn Facebook

oder

Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.

Trainierst du 2 oder mehr?

Versuchen DataCamp for Business

Beliebt bei Lernenden in Tausenden Unternehmen

Kursbeschreibung

Working with data is tricky - working with millions or even billions of rows is worse. Did you receive some data processing code written on a laptop with fairly pristine data? Chances are you’ve probably been put in charge of moving a basic data process from prototype to production. You may have worked with real world datasets, with missing fields, bizarre formatting, and orders of magnitude more data. Even if this is all new to you, this course helps you learn what’s needed to prepare data processes using Python with Apache Spark. You’ll learn terminology, methods, and some best practices to create a performant, maintainable, and understandable data processing platform.

Voraussetzungen

Intermediate Python Introduction to PySpark

1

DataFrame details

Kapitel starten

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

2

Manipulating DataFrames in the real world

Kapitel starten

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

3

Improving Performance

Kapitel starten

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

4

Complex processing and data pipelines

Kapitel starten

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Cleaning Data with PySpark

Kurs
abgeschlossen

Leistungsnachweis verdienen

Fügen Sie diese Anmeldeinformationen zu Ihrem LinkedIn-Profil, Lebenslauf oder Lebenslauf hinzu
Teilen Sie es in den sozialen Medien und in Ihrer Leistungsbeurteilung

Im Lieferumfang enthaltenPremium or Teams

Machen Sie mit 15 Millionen Lernende und starten Sie Cleaning Data with PySpark Heute!

Kostenloses Konto erstellen

Google LinkedIn Facebook

oder

Durch Klick auf die Schaltfläche akzeptierst du unsere Nutzungsbedingungen, unsere Datenschutzrichtlinie und die Speicherung deiner Daten in den USA.