Spark / PySpark Eğitimi

Eğitim Hakkında

PySpark DataFrame, Spark SQL, UDF/pandas UDF ve veri işleme

Bu eğitim, Spark'ı Python üzerinden (PySpark) etkin kullanmayı öğretir. Katılımcılar SparkSession, DataFrame oluşturma ve temel dönüşümleri (select, filter, withColumn, groupBy) uygular; çeşitli join'ler, pencere fonksiyonları ve karmaşık tiplerle (array, map, struct) çalışır. Spark SQL ile görünüm ve sorgu, veri okuma/yazma (CSV, JSON, Parquet, JDBC), şema yönetimi ve null işleme işlenir. Python UDF ile pandas UDF (vectorized) performans farkı, Pandas API on Spark (pyspark.pandas), partition yönetimi, cache/persist ve explain() ile temel performans ele alınır. Eğitim, uçtan uca bir PySpark veri işleme iş akışının kurulmasıyla tamamlanır.

Süre ve Format

3 Gün. Her gün dört modül; PySpark DataFrame temellerinden Spark SQL ve UDF'e, veri hattı kurmaya ilerlenir.

Seviye

Orta Seviye — PySpark ile Python üzerinden Spark; DataFrame API, Spark SQL, UDF ve veri işleme iş akışları.

Öğrenme Metodu

Katılımcılar Jupyter/Databricks üzerinde gerçek veri kümelerini PySpark ile işler, Spark SQL ve pandas UDF uygulayıp uçtan uca bir iş akışı kurar.

Neden Bu Eğitim?

🐍Python Gücü

Bildiğiniz Python ile Spark'ın ölçeğini birleştirirsiniz.

🧰Geniş API

DataFrame, Spark SQL ve pandas API ile her veri işini çözersiniz.

⚡Hızlı UDF

pandas UDF ile özel mantığı performanslı biçimde uygularsınız.

Anahtar Konular

pyspark eğitimispark pythonpyspark dataframespark sqlpandas udfpyspark.pandasspark joinpencere fonksiyonlarıparquet pysparkbüyük veri python

“PySpark, Python'un sadeliğini büyük veri ölçeğine taşıyan köprüdür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python Bilgisi

Python temel sözdizimi ve ideal olarak pandas'a aşinalık güçlü biçimde faydalıdır.

2

SQL (faydalı)

Temel SQL bilgisi Spark SQL kısmında kolaylık sağlar.

3

Spark Kavramı

Dağıtık işleme ve DataFrame kavramına temel aşinalık faydalıdır.

4

Çalışma Ortamı

PySpark kurulu bir ortam veya Databricks/Jupyter erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, PySpark ile DataFrame oluşturup temel dönüşümleri uygulayabilir.

Modül 1

SparkSession ve DataFrame

SparkSession.builder ile oturum
DataFrame oluşturma (createDataFrame, okuma)
printSchema ve show ile inceleme
col, lit ve expr kullanımı
DataFrame'in değişmezliği (immutability)
Lazy evaluation ve action

Modül 2

Temel Dönüşümler

select ve selectExpr
filter/where ile koşul
withColumn ve withColumnRenamed
drop ve distinct
orderBy ve limit
sample ile örnekleme

Modül 3

Toplama ve Gruplama

groupBy ve agg
sum, avg, count, min, max
countDistinct ve approx
pivot ile çapraz tablo
Çoklu toplama ifadesi
Gruplanmış sonucun sıralanması

Modül 4

Karmaşık Tipler ve Null

array, map, struct oluşturma
explode ve posexplode
struct alan erişimi
na.fill/na.drop ile null işleme
coalesce ile ilk null olmayan
when/otherwise ile koşullu değer

Günün hedefiKatılımcı, join ve pencere fonksiyonlarını uygulayıp Spark SQL ile sorgu yazabilir.

Modül 1

JOIN İşlemleri

inner, left/right/full outer join
semi ve anti join
join koşulu ve çoklu anahtar
broadcast ile küçük tablo join
Sütun çakışması çözümü
join sonrası şema yönetimi

Modül 2

Pencere Fonksiyonları

Window.partitionBy().orderBy()
row_number, rank, dense_rank
lag ve lead
kümülatif toplam ve ortalama
rowsBetween çerçevesi
Analitik senaryolar

Modül 3

Spark SQL

createOrReplaceTempView
spark.sql ile sorgu
SQL ve DataFrame eşdeğerliği
Yerleşik fonksiyonlar
Geçici ve global görünüm
SQL sonucunun DataFrame'e dönüşü

Modül 4

Veri Okuma/Yazma

CSV/JSON okuma ve şema
Parquet ve sütun tabanlı avantaj
JDBC ile ilişkisel kaynak
write mode (overwrite/append)
partitionBy ile bölümlenmiş yazma
Delta/ORC'ye genel bakış

Günün hedefiKatılımcı, UDF ve pandas API'yi kullanıp temel performans ayarını yapabilir.

Modül 1

Python UDF

udf ile özel fonksiyon tanımı
Serileştirme ve performans maliyeti
Dönüş tipi belirtme
Null güvenli UDF yazımı
UDF yerine yerleşik fonksiyon tercihi
UDF hata ayıklama

Modül 2

Pandas UDF

pandas_udf (vectorized) avantajı
Series ve DataFrame UDF türleri
Arrow ile hızlı aktarım
Grouped map UDF
Performans karşılaştırması
Kullanım senaryoları

Modül 3

Pandas API on Spark

pyspark.pandas ile tanıdık API
pandas kodunun ölçeklenmesi
pandas-on-Spark ile DataFrame dönüşümü
Sınırlar ve farklar
to_pandas maliyeti
Geçiş stratejisi

Modül 4

Performans Temeli

cache/persist ve depolama seviyeleri
repartition ve coalesce
spark.sql.shuffle.partitions
explain() ile plan okuma
Küçük dosya ve shuffle farkındalığı
Uçtan uca iş akışının kurulması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

DataFrame

PySpark ile DataFrame oluşturup temel dönüşümleri yaparsınız.

✅

Karmaşık Tip

array, map, struct ve null işlemeyi uygularsınız.

✅

JOIN

inner/outer, semi/anti ve broadcast join kullanırsınız.

✅

Pencere

row_number, lag/lead ve kümülatif pencere yazarsınız.

✅

Spark SQL

Görünüm ve spark.sql ile SQL sorguları çalıştırırsınız.

✅

Veri G/Ç

CSV, JSON, Parquet ve JDBC ile okuyup yazarsınız.

✅

UDF

Python ve pandas UDF arasında bilinçli seçim yaparsınız.

✅

Performans

cache, repartition ve explain ile iş akışını iyileştirirsiniz.

Kimler İçin Uygundur?

Python bilen ve büyük veri işlemeyi Spark ile yapmak isteyen veri mühendisleri
veri bilimciler
analistler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Python bilen ve büyük veri işlemeyi Spark ile yapmak isteyen veri mühendisleri, veri bilimciler ve analistler için uygundur.

Python UDF neden yavaş olabilir?

Python UDF her satır için JVM ile Python arasında serileştirme gerektirir; pandas UDF (vectorized) Arrow ile toplu aktarım yaparak bu maliyeti büyük ölçüde azaltır.

pyspark.pandas ne işe yarar?

Tanıdık pandas API'siyle yazılan kodun Spark üzerinde dağıtık çalışmasını sağlar; mevcut pandas iş akışlarını büyük veriye ölçeklemek için pratik bir geçiş yoludur.

Pandas bilmek şart mı?

Şart değildir ama faydalıdır; pandas'a aşina olanlar DataFrame ve pandas UDF kısımlarını daha hızlı kavrar, eğitim gerekli temelleri de verir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SPARK / PYSPARK EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

SparkSession ve DataFrame

Temel Dönüşümler

Toplama ve Gruplama

Karmaşık Tipler ve Null

JOIN İşlemleri

Pencere Fonksiyonları

Spark SQL

Veri Okuma/Yazma

Python UDF

Pandas UDF

Pandas API on Spark

Performans Temeli

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Cloudera Manager Tools & Configuration Eğitimi

Confluent Apache Kafka Yönetimi Eğitimi

Confluent Apache Kafka: Küme İşlemleri ve Yapılandırma Eğitimi

Confluent Kafka Eğitimi

Criminal Intelligence Analizinde Büyük Veri İşletme Zekası Eğitimi