Spark Join, Agregasyon ve Pencere Fonksiyonları

Eğitim Hakkında

Spark join türleri, agregasyonlar ve pencere fonksiyonları

Bu orta seviye eğitim, büyük veri dönüşümünün üç temel operasyonuna derinlemesine odaklanır: join, agregasyon ve pencere fonksiyonları. Spark DataFrame/SQL ile tüm join türleri (inner, left/right/full outer, semi, anti, cross), join koşulları ve null davranışı; broadcast ve sort-merge join stratejileri işlenir. Gruplu agregasyonlar (groupBy/agg, çoklu metrik, pivot, rollup/cube) ve approx fonksiyonları uygulanır. Pencere fonksiyonları: PARTITION BY/ORDER BY, ROW_NUMBER/RANK/DENSE_RANK, LAG/LEAD, kümülatif ve kayan hesaplar, çerçeve (ROWS/RANGE BETWEEN) ele alınır. Shuffle maliyeti, veri çarpıklığı (skew) ve performans ipuçları vurgulanır. Katılımcılar gerçek veri setlerinde karmaşık dönüşüm sorguları yazıp optimize eder.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar join, agregasyon ve pencere fonksiyonlarını derinlemesine uygular.

Seviye

Orta Seviye — Spark ile veri dönüşümü: join türleri, agregasyonlar ve pencere fonksiyonlarının derinlemesine ele alınması.

Öğrenme Metodu

Katılımcılar gerçek veri setleri üzerinde Spark ile join, agregasyon ve pencere sorguları yazıp fiziksel planı inceleyerek öğrenir.

Neden Bu Eğitim?

🔗Join Ustalığı

Tüm join türlerini ve stratejilerini doğru seçersiniz.

📊Agregasyon

Pivot ve rollup ile çok boyutlu özetler üretirsiniz.

🪟Pencere Gücü

Sıralama ve kümülatif hesapları pencerelerle yaparsınız.

Anahtar Konular

spark veri dönüşümüspark joinagregasyonpencere fonksiyonlarıbroadcast joinpivot rolluppysparkwindow functionsveri çarpıklığıbüyük veri

“Join, agregasyon ve pencere; büyük veriyi şekillendiren üç temel kalemdir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Spark Temeli

Spark DataFrame ve temel dönüşümlere aşinalık beklenir.

2

SQL Bilgisi

JOIN ve GROUP BY içeren SQL yazımına aşinalık faydalıdır.

3

Python/Scala

PySpark veya Scala ile temel kodlama yararlıdır.

4

Lab Ortamı

Spark çalıştırabilen bir ortam veya bulut kümesi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Spark join türlerini ve stratejilerini doğru uygulayabilir.

Modül 1

Join Türleri

Inner join
Left/Right outer join
Full outer join
Left semi ve left anti join
Cross join ve riskleri
Join sonucu doğrulama

Modül 2

Join Koşulları

Eşitlik ve çoklu anahtar
Koşullu (non-equi) join
Null anahtar davranışı
Aynı adlı sütun yönetimi
Join'den sonra ayıklama
Join tuzakları

Modül 3

Join Stratejileri

Broadcast hash join
Sort-merge join
Shuffle hash join
Broadcast eşiği ve hint
Join planının EXPLAIN ile okunması
Strateji seçimi

Modül 4

Join Performansı

Shuffle maliyeti
Küçük tabloyu broadcast etme
Partition hizalama
Bucketing ile join
Çarpık anahtar (skew) etkisi
Join optimizasyon ipuçları

Günün hedefiKatılımcı, Spark ile ileri agregasyon ve özetler üretebilir.

Modül 1

Temel Agregasyon

groupBy ve agg
sum, avg, count, min, max
Çoklu metrik hesabı
Takma ad (alias) kullanımı
Null'ların agregasyona etkisi
collect_list / collect_set

Modül 2

Çok Boyutlu

pivot ile çapraz tablo
rollup ile ara toplamlar
cube ile tüm kombinasyonlar
grouping ve grouping_id
Çok seviyeli gruplama
Sonuç yorumlama

Modül 3

Yaklaşık ve İleri

approx_count_distinct
percentile_approx
Koşullu agregasyon (when içinde)
Filtreli agregasyon
Agregasyon sonrası filtre (having)
Büyük gruplarda performans

Modül 4

Agregasyon Performansı

Shuffle ve partition sayısı
Map-side (partial) agregasyon
Veri çarpıklığı etkisi
Yüksek kardinalite grup sorunu
Cache kullanımı
Optimizasyon kontrolü

Günün hedefiKatılımcı, pencere fonksiyonlarıyla ileri analitik dönüşümler yapabilir.

Modül 1

Window Temeli

Window.partitionBy ve orderBy
Pencere ve groupBy farkı
Satır bağlamını koruma
Birden çok pencere tanımı
Null ve sıralama davranışı
Pencere seçimi

Modül 2

Sıralama ve Kaydırma

ROW_NUMBER, RANK, DENSE_RANK
NTILE ile dilimleme
LAG/LEAD ile komşu satır
Dönemsel değişim (delta)
FIRST_VALUE/LAST_VALUE
Kategori içi top-N

Modül 3

Çerçeve ve Kümülatif

ROWS BETWEEN çerçevesi
RANGE BETWEEN çerçevesi
UNBOUNDED ve CURRENT ROW
Kümülatif toplam (running total)
Kayan (rolling) ortalama
Çerçevenin sonuca etkisi

Modül 4

İleri Senaryo ve Performans

Oturum (sessionization)
Ardışık olay analizi
Pencere + join kombinasyonu
Pencere shuffle maliyeti
Skew ve partition dengesi
Performans doğrulama

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Join Türleri

Inner'dan anti/semi'ye tüm join türlerini kullanırsınız.

✅

Join Stratejisi

Broadcast ve sort-merge join'i bilinçli seçersiniz.

✅

Agregasyon

groupBy/agg ile çoklu metrik özetler üretirsiniz.

✅

Çok Boyutlu

pivot, rollup ve cube ile çok boyutlu analiz yaparsınız.

✅

Yaklaşık Hesap

approx fonksiyonlarıyla ölçekli özetler alırsınız.

✅

Pencere Temeli

PARTITION BY/ORDER BY ile pencere sorguları yazarsınız.

✅

Çerçeve

ROWS/RANGE BETWEEN ile kümülatif ve kayan hesap yaparsınız.

✅

Performans

Shuffle ve skew yönetimiyle dönüşümleri optimize edersiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri analistleri
ETL geliştiricileri
Spark ile ileri veri dönüşümü yapacaklar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, analistler ve Spark ile ileri veri dönüşümü yapacak ETL geliştiricileri için uygundur.

Spark bilmek şart mı?

Spark DataFrame ve temel dönüşümlere aşinalık beklenir; join, agregasyon ve pencere eğitimde derinleştirilir.

Join stratejisi öğretiliyor mu?

Evet; broadcast hash ve sort-merge join'in ne zaman seçileceği EXPLAIN planıyla gösterilir.

Pencere fonksiyonları ne işe yarar?

Satır bağlamını koruyarak sıralama, dönemsel değişim ve kümülatif/kayan hesapları tek sorguda yapmayı sağlar.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA TRANSFORMATION USING SPARK - JOINS, AGGREGATIONS, AND WINDOW FUNCTIONS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Join Türleri

Join Koşulları

Join Stratejileri

Join Performansı

Temel Agregasyon

Çok Boyutlu

Yaklaşık ve İleri

Agregasyon Performansı

Window Temeli

Sıralama ve Kaydırma

Çerçeve ve Kümülatif

İleri Senaryo ve Performans

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Hadoop HDFS File Permissions Eğitimi

Hadoop HDFS Getting Started Eğitimi

Hadoop MapReduce Applications With Combiners Eğitimi

Hadoop on Amazon EMR Eğitimi

Hadoop Quick Start Eğitimi