Data Analysis Using the Spark DataFrame API Eğitimi

Eğitim Hakkında

Spark DataFrame API ile veri analizi

Eğitim PySpark DataFrame API'siyle büyük veri analizini uygulamalı işler. Driver, executor ve DAG, tembel değerlendirme, Parquet ve Delta okuma yazma, select, withColumn, join, window ve pivot, Spark SQL ve pandas UDF, Structured Streaming ile pencereli analiz, AQE, broadcast join, skew, explain planı ve chispa ile birim testi anlatılır.

Süre ve Format

2 Gün. Her gün dört modül; 1. gün Spark Mimarisi, DataFrame ve Veri Biçimleri; 2. gün SQL, Akış, Performans ve Kalite.

Seviye

Orta Seviye — Spark DataFrame API ile veri analizi

Öğrenme Metodu

Katılımcılar PySpark ile gerçek bir satış ve log veri kümesi üzerinde notebook ortamında çalışır; her dönüşümün plan ve Spark UI karşılığını inceleyerek ilerler.

Neden Bu Eğitim?

⚡Dağıtık Çalışma Mantığı

Shuffle, partition ve DAG kavramlarını görerek hızlı sorgu yazmayı öğrenirsiniz.

📊Gerçek Veri Seti

Büyük veri kümeleri üzerinde temizleme, birleştirme ve toplulaştırma yaparsınız.

🧪Test Edilebilir Kod

Dönüşümleri birim testi ve veri kalite kurallarıyla güvenilir hale getirirsiniz.

Anahtar Konular

apache sparkpysparkspark dataframebüyük veriveri analizispark sqldelta lakestructured streamingdata analysis using the spark dataframe api

“Büyük veride hız, planı okumakla başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python Bilgisi

Temel Python sözdizimi, fonksiyon ve liste/sözlük kullanımı gerekir.

2

SQL Temeli

SELECT, JOIN ve GROUP BY seviyesinde SQL bilgisi beklenir.

3

Ortam

Databricks Community veya yerel PySpark kurulu bir bilgisayar gerekir.

4

Veri Okuryazarlığı

CSV, JSON ve tablo kavramlarına aşinalık faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı gün sonunda Spark Mimarisi ve Ortam konusunu çalıştırır, DataFrame Okuma, Şema ve Dönüşümler ve Veri Kaynakları ve Depolama Biçimleri ile ilerleyip Gruplama, Birleştirme ve Pencere Fonksiyonları kararlarını gerekçelendirir.

Modül 1

Spark Mimarisi ve Ortam

Driver, executor, cluster manager ve SparkSession yapısı
Transformation ve action ayrımı, tembel (lazy) değerlendirme ve DAG
Stage, task ve shuffle sınırları; Spark UI ile iş izleme
RDD, DataFrame ve Dataset API'lerinin karşılaştırılması
PySpark ve Scala ile ortam kurulumu, notebook (Jupyter / Databricks) kullanımı
Catalyst optimizer ve Tungsten motorunun rolü

Modül 2

DataFrame Okuma, Şema ve Dönüşümler

CSV, JSON, Parquet ve JDBC kaynaklarından okuma; şema çıkarımı ile açık StructType
select, selectExpr, withColumn, filter, drop, withColumnRenamed
Sütun fonksiyonları: when / otherwise, cast, concat, regexp_extract, to_date
Null değer yönetimi: na.fill, na.drop, coalesce
İç içe yapılar: struct, array, map, explode ve from_json
Çıktı yazma: partitionBy, mode (append, overwrite) ve Parquet / Delta biçimi

Modül 3

Veri Kaynakları ve Depolama Biçimleri

Parquet, ORC, Avro ve CSV biçimlerinin sütunlu / satır tabanlı farkları
Şema evrimi (mergeSchema) ve bozuk kayıt modları: PERMISSIVE, DROPMALFORMED, FAILFAST
partitionBy ile dizin bölümleme, bölüm budama (partition pruning)
Delta Lake tablolarında ACID, MERGE INTO ve time travel
JDBC üzerinden veritabanı okuma, numPartitions ve predicate pushdown
Küçük dosya problemi ve dosya birleştirme stratejileri

Modül 4

Gruplama, Birleştirme ve Pencere Fonksiyonları

groupBy ve agg ile sum, avg, count, countDistinct, approx_count_distinct
join türleri: inner, left, right, full, semi, anti ve çoklu anahtar
Broadcast join ve shuffle join arasındaki seçim
Window fonksiyonları: row_number, rank, lag, lead, kayan ortalama
pivot ve unpivot ile veri yeniden şekillendirme
DataFrame ile Spark SQL'in createOrReplaceTempView üzerinden birlikte kullanımı

Günün hedefiKatılımcı Spark SQL ve Kullanıcı Tanımlı Fonksiyonlar ve Structured Streaming'e Giriş konularını uygulayarak Performans Ayarı ve Analiz Uygulamaları ile Veri Kalitesi ve Test Etme adımlarını aynı örnek üzerinde birleştirir.

Modül 1

Spark SQL ve Kullanıcı Tanımlı Fonksiyonlar

createOrReplaceTempView ve spark.sql ile SQL ve DataFrame API'nin birlikte kullanımı
CTE, alt sorgu, CASE ve karmaşık tip fonksiyonları (transform, aggregate, filter)
Python UDF ve pandas UDF (Arrow) performans farkı
Yerleşik fonksiyonların UDF'ye tercih edilme nedenleri
Tarih / zaman damgası işlemleri: window, date_trunc, zaman dilimi dönüşümü
Metin analizi: tokenizasyon, split, regexp_replace ve kelime sıklığı

Modül 2

Structured Streaming'e Giriş

Sınırsız tablo modeli, readStream / writeStream ve trigger türleri
Kafka kaynağından okuma ve JSON değer ayrıştırma
Event time, watermark ve pencereli toplulaştırma (tumbling, sliding)
Çıktı modları: append, update, complete
Checkpoint konumu ve hata sonrası kaldığı yerden devam
foreachBatch ile Delta veya veritabanına yazma

Modül 3

Performans Ayarı ve Analiz Uygulamaları

Partition sayısı, repartition ve coalesce kullanımı
cache / persist ve depolama seviyeleri
Veri çarpıklığı (skew) tespiti ve salting yöntemi
Adaptive Query Execution (AQE) ve shuffle partition ayarı
explain("formatted") ile fiziksel plan okuma
Uçtan uca analiz projesi: satış verisinden rapor tablosu üretimi

Modül 4

Veri Kalitesi ve Test Etme

Şema doğrulama, null oranı, tekrar eden anahtar ve aralık kontrolleri
Great Expectations veya Deequ ile veri kalitesi kuralları
pytest ve yerel SparkSession ile dönüşüm fonksiyonlarının birim testi
chispa ile DataFrame eşitliği karşılaştırma
Küçük örnek veri kümeleri ile sınır durum testleri
Hata ayıklama: Spark UI, event log ve OOM nedenlerinin okunması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Spark Mimarisi

Spark'ın çalışma modelini ve DataFrame API'nin neden verimli olduğunu açıklayabilirsiniz.

🧩

DataFrame Dönüşümü

DataFrame API ile okuma, temizleme ve dönüştürme adımlarını yazabilirsiniz.

🔧

Veri Biçimleri

Parquet ve Delta gibi biçimlerde şema, bölümleme ve MERGE işlemleriyle veri depolayabilirsiniz.

📐

Toplulaştırma ve Join

groupBy, join ve window fonksiyonlarıyla analitik sorgular yazabilirsiniz.

🛡️

Spark SQL ve UDF

Spark SQL ve pandas UDF ile karmaşık dönüşüm ve metin analizi sorguları yazabilirsiniz.

🧪

Akan Veri Analizi

Structured Streaming ile pencereli akış analizleri yazıp checkpoint ile güvenli çalıştırabilirsiniz.

🚀

Spark Performans

Sorgu planlarını okuyup partition, cache ve join stratejileriyle Spark işlerini hızlandırabilirsiniz.

📊

Veri Kalitesi

Spark dönüşümlerini birim testleriyle ve veri kalite kurallarıyla doğrulayabilirsiniz.

Kimler İçin Uygundur?

Veri analistleri
veri mühendisleri
Python bilen yazılımcılar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri analistleri, veri mühendisleri ve Python bilen yazılımcılar için uygundur.

Scala bilmem gerekir mi?

Hayır; örnekler PySpark ile gösterilir, API adları Scala ile benzerdir.

Bilgisayarım yeterli mi?

Notebook ortamı bulutta veya küçük veriyle yerelde çalışır; 8 GB RAM yeterlidir.

Pandas'tan farkı nedir?

Pandas tek makinede, Spark ise dağıtık çalışır; eğitimde bu farkın pratik sonuçları gösterilir.

Sertifika veriliyor mu?

Tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ANALYSIS USING THE SPARK DATAFRAME API EĞİTİMİ