Spark SQL ile Veri Sorgulama Eğitimi

Eğitim Hakkında

DataFrame/SQL, JOIN, pencere fonksiyonları, Catalyst ve performans

Bu eğitim, Spark SQL ile büyük yapılandırılmış veriyi sorgulamayı derinlemesine öğretir. Katılımcılar DataFrame API ile SQL arayüzünün eşdeğerliğini kavrar; select, filter, groupBy, agg, çeşitli join türleri (inner, outer, broadcast), pencere fonksiyonları (ROW_NUMBER, LAG/LEAD, kümülatif) ve karmaşık tiplerle (array, map, struct) çalışır. Catalyst optimizer, mantıksal/fiziksel plan, predicate/projection pushdown, partition pruning ve Adaptive Query Execution (AQE) işlenir. Veri kaynakları (Parquet, ORC, JDBC, Delta), bölümleme, bucketing, UDF/pandas UDF ve önbellekleme ele alınır. Eğitim, explain() ile plan analizi ve sorgu performans ayarıyla tamamlanır.

Süre ve Format

3 Gün. Her gün dört modül; DataFrame/SQL temellerinden pencere fonksiyonlarına ve Catalyst tabanlı performans ayarına ilerlenir.

Seviye

Orta Seviye — Spark SQL ile yapılandırılmış büyük veriyi sorgulama; DataFrame API, Catalyst optimizasyonu ve performans ayarı.

Öğrenme Metodu

Katılımcılar Spark SQL ve DataFrame API ile gerçek veri kümelerinde sorgular yazar, explain() ile plan okuyup performans ayarını uygular.

Neden Bu Eğitim?

🔎Güçlü Sorgu

DataFrame ve SQL ile büyük veride JOIN ve pencere sorguları yazarsınız.

🧠Catalyst

Mantıksal/fiziksel plan ve pushdown ile sorgunun nasıl çalıştığını kavrarsınız.

🚀Performans

AQE, broadcast join ve önbellekle sorguları hızlandırırsınız.

Anahtar Konular

spark sqlspark dataframepencere fonksiyonlarıcatalyst optimizerbroadcast joinpredicate pushdownadaptive query executionpandas udfspark performansparquet sorgulama

“Spark SQL'de iyi sorgu yazmak, motorun ne yapacağını plandan okuyabilmekle başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL Bilgisi

SELECT, JOIN, GROUP BY gibi SQL'e aşinalık güçlü biçimde faydalıdır.

2

Spark Temeli

DataFrame ve Spark mimarisine temel aşinalık faydalıdır.

3

Python/Scala

PySpark veya Scala ile temel kod yazabilme faydalıdır.

4

Çalışma Ortamı

Spark kurulu bir ortam veya Databricks/Jupyter erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, DataFrame ve SQL arayüzüyle temel sorguları yazıp karmaşık tipleri işleyebilir.

Modül 1

DataFrame ve SQL

DataFrame API ile SQL eşdeğerliği
createOrReplaceTempView ile görünüm
spark.sql ile SQL çalıştırma
Catalog ve tablo yönetimi
col() ve ifade (expr) kullanımı
Lazy değerlendirme ve action

Modül 2

Temel Dönüşümler

select ve selectExpr
filter/where ile koşul
withColumn ve withColumnRenamed
distinct ve dropDuplicates
orderBy/sort
limit ve örnekleme (sample)

Modül 3

Toplama

groupBy ve agg
count, sum, avg, min, max
countDistinct ve approx_count_distinct
pivot ile çapraz tablo
rollup ve cube
having benzeri filtreleme (filter)

Modül 4

Karmaşık Tipler

array, map, struct tipleri
explode ile dizi açma
getItem ve alan erişimi
from_json/to_json
array_contains ve dizi fonksiyonları
İç içe şema (nested) işleme

Günün hedefiKatılımcı, çeşitli join ve pencere fonksiyonlarını uygulayıp UDF yazabilir.

Modül 1

JOIN Türleri

inner, left/right/full outer join
semi ve anti join
cross join ve riski
join koşulu ve çoklu anahtar
null güvenli (eqNullSafe) join
join sonrası sütun çakışması çözümü

Modül 2

Broadcast Join

Broadcast hash join mantığı
broadcast() ipucu (hint)
autoBroadcastJoinThreshold ayarı
Shuffle join ile karşılaştırma
Küçük tablo tespiti
Broadcast'ın bellek sınırı

Modül 3

Pencere Fonksiyonları

Window.partitionBy().orderBy()
row_number, rank, dense_rank
lag ve lead
kümülatif sum ve hareketli ortalama
rowsBetween/rangeBetween çerçevesi
Pencere ile analitik senaryolar

Modül 4

Fonksiyonlar ve UDF

Yerleşik fonksiyonlar (functions modülü)
when/otherwise ile koşullu ifade
Tarih ve string fonksiyonları
Python UDF ve serileştirme maliyeti
pandas UDF (vectorized) avantajı
UDF yerine yerleşik fonksiyon tercihi

Günün hedefiKatılımcı, Catalyst planını okuyup Spark SQL sorgularını optimize edebilir.

Modül 1

Catalyst Optimizer

Mantıksal plan ve analiz aşaması
Optimizasyon kuralları (rule-based)
Fiziksel plan seçimi
Cost-based optimization (CBO)
explain() ile plan okuma
explain(mode='formatted') çıktısı

Modül 2

Pushdown ve Pruning

Predicate pushdown ile kaynakta filtreleme
Projection pushdown ile sütun seçimi
Partition pruning
Dynamic partition pruning
Parquet/ORC istatistikle veri atlama
Pushdown'ı engelleyen durumlar

Modül 3

Veri Kaynakları

Parquet ve ORC sütun tabanlı okuma
JDBC ile ilişkisel kaynak
partitionBy ile bölümlenmiş yazma
bucketBy ile bucketing
Delta Lake kaynağı
Şema çıkarımı ve merge

Modül 4

AQE ve Önbellek

Adaptive Query Execution genel bakış
Dinamik partition birleştirme (coalesce)
Skew join optimizasyonu (AQE)
cache/persist ve depolama seviyeleri
spark.sql.shuffle.partitions ayarı
Sorgu performansının ölçülmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

DataFrame/SQL

DataFrame API ve SQL arayüzünü eşdeğer biçimde kullanırsınız.

✅

Karmaşık Tip

array, map, struct ve explode ile iç içe veriyi işlersiniz.

✅

JOIN

inner/outer, semi/anti ve broadcast join'leri uygularsınız.

✅

Pencere

row_number, lag/lead ve kümülatif pencere fonksiyonları yazarsınız.

✅

UDF

pandas UDF ile vektörleştirilmiş özel fonksiyon kullanırsınız.

✅

Catalyst

explain() ile mantıksal/fiziksel planı okursunuz.

✅

Pushdown

Predicate pushdown ve partition pruning ile okunan veriyi azaltırsınız.

✅

Performans

AQE, broadcast ve önbellekle sorguları hızlandırırsınız.

Kimler İçin Uygundur?

SQL bilen ve büyük veri üzerinde Spark ile analiz yapmak isteyen veri analistleri
veri mühendisleri
BI geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

SQL bilen ve büyük veri üzerinde Spark ile analiz yapmak isteyen veri analistleri, veri mühendisleri ve BI geliştiricileri için uygundur.

DataFrame API mi SQL mi kullanmalıyım?

İkisi aynı Catalyst motoruna derlenir ve eşdeğerdir; tercih ekip alışkanlığına bağlıdır. Eğitim her iki yaklaşımı yan yana gösterir.

Broadcast join ne zaman kullanılır?

Bir tablo belleğe sığacak kadar küçükse broadcast join shuffle'ı ortadan kaldırıp sorguyu belirgin hızlandırır; eşik autoBroadcastJoinThreshold ile ayarlanır.

AQE neyi iyileştirir?

Adaptive Query Execution çalışma anı istatistikleriyle partition sayısını, join stratejisini ve skew join'i uyarlar; çoğu sorguda elle ayar ihtiyacını azaltır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

QUERYING DATA WITH SPARK SQL EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

DataFrame ve SQL

Temel Dönüşümler

Toplama

Karmaşık Tipler

JOIN Türleri

Broadcast Join

Pencere Fonksiyonları

Fonksiyonlar ve UDF

Catalyst Optimizer

Pushdown ve Pruning

Veri Kaynakları

AQE ve Önbellek

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Getting Started with Hive Eğitimi

Graph Modeling on Apache Spark: Working with Apache Spark GraphFrames Eğitimi

Hadoop & MapReduce Getting Started Eğitimi

Hadoop Administration Eğitimi

Hadoop Cluster Architecture Eğitimi