DataFrames and the DataFrame API Eğitimi

Eğitim Hakkında

DataFrame API ile okuma, dönüştürme, birleştirme, performans ayarı ve test

Bu eğitim, Apache Spark DataFrame API'sini baştan sona ele alır. SparkSession ile CSV, JSON ve Parquet okuma, şema tanımlama, select/filter/withColumn dönüşümleri, when/otherwise ile koşullu sütunlar, null yönetimi ve iç içe array/struct sütunlarının açılması işlenir. Ardından groupBy/agg, pencere işlevleri (row_number, lag), join türleri ve broadcast join, explain planı ile Catalyst optimizasyonu, bölümleme ve cache ayarları, pytest ile birim testi ve VectorAssembler/Pipeline ile MLlib hazırlığı uygulanır.

Süre ve Format

2 Gün. Her gün dört modül; katılımcılar DataFrame Temelleri ve Dönüşümler → Analitik Sorgular ve Üretime Hazırlık sırasıyla ilerler.

Seviye

Orta Seviye — DataFrame API ile okuma, dönüştürme, birleştirme, performans ayarı ve test.

Öğrenme Metodu

Katılımcılar yerel Spark veya Databricks not defterlerinde gerçek veri kümeleri üzerinde DataFrame kodu yazar, planları okur ve testlerini çalıştırır.

Neden Bu Eğitim?

⚡Dağıtık Hız

Catalyst planını okuyup shuffle ve join maliyetini azaltan sorgular yazarsınız.

🧹Temiz Veri

Null, yinelenen ve iç içe JSON verisini DataFrame API ile düzenlersiniz.

🧪Test Edilebilir İş

Dönüşümleri pytest ile doğrulanabilir fonksiyonlara ayırırsınız.

Anahtar Konular

DataFrame APISpark DataFramePySpark eğitimiSpark SQLwindow functionsCatalyst optimizerParquetPySpark joinSpark performans ayarıMLlib Pipeline

“Veri büyüdüğünde kodun kalitesi, planın kalitesidir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python veya Scala

Temel Python (tercihen) ya da Scala sözdizimi ve fonksiyon yazma bilgisi gerekir.

2

SQL Bilgisi

SELECT, JOIN ve GROUP BY düzeyinde SQL bilgisi beklenir.

3

Veri Kavramları

CSV, JSON, Parquet gibi veri formatlarına genel aşinalık faydalıdır.

4

Çalışma Ortamı

Spark 3.x yerel kurulumu veya Databricks / Colab erişimi olan bir bilgisayar gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı DataFrame'in RDD ile farkını, şemayı ve veri kaynaklarından okumayı ele alır, select, filter, withColumn, when ve fonksiyonlarla sütun dönüşümleri yapar, Eksik/yinelenen veriyi temizler; array, map ve struct sütunlarını işler ve createOrReplaceTempView ile SQL, Parquet bölümlendirme ve Structured Streaming girişini ele alır.

Modül 1

DataFrame Kavramı ve Oluşturma

RDD, Dataset ve DataFrame farkı; Catalyst optimizer ve Tungsten motoru
SparkSession oluşturma, spark.read ile CSV, JSON, Parquet ve JDBC kaynaklarını okuma
StructType / StructField ile şema tanımlama, inferSchema maliyeti ve veri tipi dönüşümü
printSchema, show, describe, summary ve explain() ile veriyi keşfetme
DataFrameWriter: mode (append, overwrite), partitionBy ve Parquet sıkıştırma seçenekleri
pandas DataFrame ile Spark DataFrame farkı ve toPandas() / createDataFrame dönüşümü

Modül 2

DataFrame API ile Dönüşümler

select, selectExpr, col, lit ve alias ile sütun seçimi
filter / where ile koşullar, isin, between, like ve null yönetimi (na.drop, na.fill)
withColumn, withColumnRenamed, drop ve cast ile sütun ekleme ve tip dönüşümü
when / otherwise ile koşullu sütun ve pyspark.sql.functions ile metin, tarih işlevleri
UDF ve pandas UDF'nin maliyeti, yerleşik fonksiyonların tercih edilme nedeni
orderBy, distinct, dropDuplicates ve limit ile sıralama ve tekilleştirme

Modül 3

Veri Temizleme ve Karmaşık Veri Tipleri

Null değer stratejileri: na.fill, na.drop, coalesce, isNull / isNotNull ve ortalama ile doldurma
dropDuplicates, regexp_replace, trim, lower ve to_date / to_timestamp ile ham veriyi normalleştirme
ARRAY, MAP, STRUCT sütunları: explode, posexplode, getItem, element_at ve struct alan erişimi
from_json / to_json ile iç içe JSON sütunlarını şemaya göre ayrıştırma
Bozuk kayıt yönetimi: mode (PERMISSIVE, DROPMALFORMED, FAILFAST) ve _corrupt_record sütunu
Veri tipi taşması, saat dilimi ve ondalık (DecimalType) hassasiyeti tuzakları

Modül 4

Spark SQL, Parquet ve Akış Temelleri

createOrReplaceTempView ve spark.sql ile SQL ve DataFrame API'nin birlikte kullanımı
Parquet / ORC sütunlu depolama, predicate pushdown ve bölüm budama (partition pruning)
Delta Lake ile ACID tablo, MERGE ve zaman yolculuğu (time travel) tanıtımı
Structured Streaming: readStream, writeStream, tetikleyici ve checkpoint
Spark UI: job, stage, task, gölgeleme (shuffle read/write) ve yürütücü bellek yorumlama
Veri kalitesi kontrolleri: null oranı, şema doğrulama ve Great Expectations yaklaşımı

Günün hedefiKatılımcı groupBy/agg, window fonksiyonları ve join stratejilerini ele alır, Yürütme planlarını okur, bölüm sayısını ve bellek ayarlarını optimize eder, pytest ile PySpark birim testi, sözleşme doğrulaması ve spark-submit dağıtımı yapar ve VectorAssembler, StringIndexer ve Pipeline ile makine öğrenmesi için veri hazırlar.

Modül 1

Gruplama, Pencere İşlevleri ve Birleştirme

groupBy().agg() ile sum, avg, count, countDistinct, collect_list ve çoklu toplama
pivot ve rollup / cube ile çapraz tablo ve alt toplamlar
Window.partitionBy().orderBy() ile row_number, rank, lag, lead ve hareketli ortalama
join türleri: inner, left, right, full, semi, anti ve çoklu sütun koşulu
Broadcast join, shuffle ve skew (veri çarpıklığı) sorunlarının explain planında görülmesi
cache / persist, repartition / coalesce ve spark.sql.shuffle.partitions ayarı ile performans

Modül 2

Catalyst, Bölümleme ve Performans Ayarı

explain(extended) çıktısı: parsed, analyzed, optimized ve physical plan okuma
Predicate pushdown, column pruning ve Adaptive Query Execution (AQE) etkileri
repartition, coalesce, bucketBy ve shuffle bölüm sayısı ayarı (spark.sql.shuffle.partitions)
Broadcast join ipucu, salting ile çarpık anahtar çözümü ve küçük dosya sorunu
cache / persist depolama seviyeleri ve unpersist ile bellek yönetimi
Spark UI ile yavaş stage analizi: gecikmeli görev, spill ve GC süresi

Modül 3

DataFrame Kodunu Test Etme ve Paketleme

Dönüşümleri saf fonksiyonlara ayırma: DataFrame girdi, DataFrame çıktı kalıbı
pytest fixture ile yerel SparkSession (local[2]) ve küçük test verisi oluşturma
assertDataFrameEqual / chispa ile satır ve şema karşılaştırması
Şema sözleşmesi doğrulama ve veri kalitesi kuralları (Great Expectations, Deequ)
spark-submit, --py-files, --conf seçenekleri ve ortam bağımlılıklarının paketlenmesi
Airflow veya Databricks Jobs ile zamanlanmış DataFrame işi ve günlük/izleme

Modül 4

DataFrame ile Özellik Mühendisliği ve MLlib Hatları

StringIndexer, OneHotEncoder, VectorAssembler ve StandardScaler ile özellik hazırlama
randomSplit ile eğitim / test ayrımı ve veri sızıntısını (leakage) önleme
Pipeline ve PipelineModel ile ön işleme + model adımlarını tek nesnede paketleme
LogisticRegression, RandomForestClassifier ve değerlendirici (BinaryClassificationEvaluator)
CrossValidator ve ParamGridBuilder ile hiperparametre arama
Model kaydetme / yükleme ve toplu tahmin için transform() ile DataFrame çıktısı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

DataFrame Temelleri

DataFrame oluşturup şema ve veri kaynağı okuma yazma işlemlerini yönetebilirsiniz.

🧩

DataFrame Dönüşümleri

select, filter ve withColumn ile sütun düzeyinde dönüşümleri akıcı biçimde yazabilirsiniz.

🛠️

Veri Temizleme

Eksik veriyi temizleyip array, map ve struct sütunlarını DataFrame API ile işleyebilirsiniz.

🔐

Spark SQL

DataFrame ve SQL arasında geçiş yapıp bölümlenmiş Parquet verisini verimli sorgulayabilirsiniz.

📈

Gruplama ve Join

groupBy, pencere işlevleri ve join ile analitik DataFrame sorguları kurabilirsiniz.

🧪

DataFrame Performansı

explain planlarını okuyup bölümleme ve önbellekleme ile DataFrame işlerini hızlandırabilirsiniz.

🚀

DataFrame Testi

DataFrame dönüşümlerini birim testlerle doğrulayıp spark-submit ile paketleyebilirsiniz.

🔎

DataFrame ve MLlib

DataFrame üzerinde özellik hazırlayıp MLlib Pipeline ile model eğitip değerlendirebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri analistleri
Python/SQL bilen geliştiriciler için uygundur; pandas'tan Spark'a geçmek isteyenlere özellikle yararlıdır

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri analistleri ve Python/SQL bilen geliştiriciler için uygundur; pandas'tan Spark'a geçmek isteyenlere özellikle yararlıdır.

Eğitim Python mu Scala mı ile yapılır?

Örnekler PySpark ile verilir; Scala eşdeğerleri kavramsal olarak karşılaştırılır.

pandas bilgim yeterli mi?

Evet, pandas ile DataFrame mantığını bilen katılımcılar için Spark'a geçiş farkları ayrıca anlatılır.

Kurulum gerekiyor mu?

Yerel Spark veya Databricks Community / Colab ile çalışılabilir; kurulum desteği ilk oturumda verilir.

Eğitim sonunda sertifika verilir mi?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Üçüncü taraf kurumların sınav ve sertifikalarıyla bir bağı yoktur.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATAFRAMES AND THE DATAFRAME API EĞİTİMİ