Spark Structured Streaming ve MLlib

Eğitim Hakkında

Structured Streaming kaynakları, pencereleme, MLlib pipeline ve akışta skorlama

Bu eğitim, Apache Spark'ın iki güçlü bileşenini birleştirir: Structured Streaming ile sürekli veri işleme ve MLlib ile dağıtık makine öğrenmesi. Katılımcılar readStream/writeStream API'si, Kafka ve dosya kaynakları, olay zamanı (event-time) pencereleme, watermark ile geç gelen veri yönetimi ve checkpoint tabanlı hata toleransını uygular. Ardından MLlib'in DataFrame tabanlı pipeline API'si, Transformer/Estimator kavramı, VectorAssembler ve StringIndexer özellik dönüşümleri, lojistik regresyon ve karar ağacı modelleri ile CrossValidator hiperparametre ayarı işlenir. Eğitim, eğitilmiş bir modeli akış hattında yükleyip gerçek zamanlı skorlama senaryosuyla tamamlanır.

Süre ve Format

3 Gün. Her gün dört modül; Structured Streaming temellerinden MLlib pipeline'a ve akışta model skorlamaya ilerlenir.

Seviye

Orta Seviye — Spark Structured Streaming ile sürekli veri işleme ve MLlib ile ölçeklenebilir makine öğrenmesinin bir arada ele alınması.

Öğrenme Metodu

Katılımcılar Kafka ve dosya kaynaklı akışlar üzerinde canlı sorgular çalıştırır, MLlib pipeline'larını eğitir ve eğitilmiş modeli akan veride skorlar.

Neden Bu Eğitim?

🌊Akış Hakimiyeti

readStream/writeStream ile sürekli DataFrame sorgularını güvenle yazarsınız.

🧠Ölçekli ML

MLlib pipeline API'si ile özellik mühendisliğinden modele uçtan uca akış kurarsınız.

⚡Canlı Skorlama

Eğitilmiş bir modeli akış hattında yükleyip gerçek zamanlı tahmin üretirsiniz.

Anahtar Konular

spark structured streamingspark mllibakış işlemewatermarkcheckpointml pipelinegerçek zamanlı skorlamapyspark mlevent timekafka spark

“Gerçek değer, model eğitildiğinde değil akan veride ilk doğru tahmini ürettiğinde başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Spark Temeli

DataFrame ve Dataset API'sine temel aşinalık güçlü biçimde faydalıdır.

2

Python/Scala

PySpark veya Scala ile temel kod yazabilme beklenir.

3

ML Kavramları

Sınıflandırma, özellik ve eğitim/test ayrımı gibi temel ML kavramlarına aşinalık faydalıdır.

4

Çalışma Ortamı

Spark kurulu bir ortam veya Databricks/Jupyter erişimi ve Kafka'ya bağlanabilen bir makine.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, sınırsız tabloyu DataFrame olarak modelleyip temel akış sorguları yazabilir.

Modül 1

Akış Programlama Modeli

Sınırsız (unbounded) tablo soyutlaması ve mikro-batch yürütme
Batch DataFrame API'si ile akış arasındaki ortak sözdizimi
readStream ile kaynak tanımlama ve şema belirtme (schema inference kısıtı)
Trigger seçenekleri: default, processingTime, once ve availableNow
complete, append ve update çıkış modlarının ayrımı
spark.sql.shuffle.partitions'ın akış sorgularına etkisi

Modül 2

Akış Kaynakları

Dosya kaynağı: dizin izleme ve maxFilesPerTrigger ile hız sınırı
Rate source ile test amaçlı sentetik akış üretimi
Socket kaynağının yalnızca geliştirme için uygunluğu
Kaynak başına offset ve ilerleme (progress) kavramı
selectExpr ve from_json ile ham kaydın ayrıştırılması
Kaynaktan gelen kayıtta zaman damgası sütununun hazırlanması

Modül 3

Dönüşümler ve Toplamalar

select, filter, withColumn gibi stateless dönüşümler
groupBy ile stateful toplamaların akışta yönetilmesi
count, sum, avg toplamalarının sürekli güncellenmesi
dropDuplicates ile akışta tekilleştirme
State store'un bellek ve disk kullanımı
Desteklenmeyen işlemler (limit, sort gibi) ve nedenleri

Modül 4

Çıkış ve Sink'ler

console sink ile geliştirme sırasında çıktı izleme
memory sink ile sorgulanabilir geçici tablo
foreachBatch ile her mikro-batch'e özel yazma mantığı
Dosya sink'inde partitionBy ile bölümlenmiş yazma
Kafka sink'e kayıt yazma ve key/value serileştirme
outputMode ile sink uyumluluğunun eşleştirilmesi

Günün hedefiKatılımcı, olay zamanlı pencereleri watermark ile yönetip hata toleranslı akışlar kurabilir.

Modül 1

Olay Zamanı Pencereleme

İşleme zamanı (processing-time) ile olay zamanı (event-time) farkı
window() fonksiyonu ile tumbling pencere tanımı
slideDuration ile kayan (sliding) pencere oluşturma
Pencere + groupBy ile zaman dilimli toplama
Pencere sonucunun append modunda ne zaman yayınlandığı
Pencere aralığının geç veri toleransıyla ilişkisi

Modül 2

Watermark ve Geç Veri

withWatermark ile geç gelen veri eşiğinin tanımlanması
Watermark'ın state temizliği (state cleanup) üzerindeki rolü
Eşik dışında kalan kayıtların düşürülmesi
Watermark'ın bellek büyümesini sınırlaması
Toleransın gecikme ile doğruluk dengesi
Çok kaynaklı akışta watermark davranışı

Modül 3

Durumlu İşlemler ve Join

Stream-static join ile akışı sabit tabloyla zenginleştirme
Stream-stream join'de iki akışın watermark gereksinimi
flatMapGroupsWithState ile özel durum yönetimi
State store'da durumun TTL ile sınırlanması
Join'de zaman aralığı (time-range) koşulu tanımı
Durumlu işlemlerde partition sayısının etkisi

Modül 4

Checkpoint ve Teslim Garantisi

checkpointLocation ile offset ve state'in kalıcılaştırılması
Write-ahead log (WAL) ile hata sonrası kaldığı yerden devam
Exactly-once ve at-least-once teslim garantisi koşulları
İdempotent sink gereksinimi ve foreachBatch kullanımı
Checkpoint'in sorgu değişikliklerine toleransı ve kısıtları
Hatadan kurtarmada offset tutarlılığının doğrulanması

Günün hedefiKatılımcı, MLlib pipeline ile model eğitip bu modeli akış hattında skorlayabilir.

Modül 1

Pipeline API Kavramları

Transformer ve Estimator ayrımının tanımı
Pipeline ve PipelineModel ile aşamaların zincirlenmesi
fit ve transform metotlarının rolü
DataFrame tabanlı ML'in RDD tabanlı eski API'ye üstünlüğü
features ve label sütun kurallarının belirlenmesi
Model kalıcılığı: save ve load ile pipeline'ın yazılması

Modül 2

Özellik Mühendisliği

VectorAssembler ile sütunların özellik vektörüne birleştirilmesi
StringIndexer ve OneHotEncoder ile kategorik dönüşüm
StandardScaler ve MinMaxScaler ile ölçekleme
Tokenizer ve HashingTF ile metin özellik çıkarımı
Bucketizer ile sürekli değişkenin ayrıklaştırılması
VectorIndexer ile kategorik özelliklerin otomatik tanınması

Modül 3

Model Eğitimi ve Değerlendirme

LogisticRegression ile ikili sınıflandırma
DecisionTreeClassifier ve RandomForestClassifier kullanımı
BinaryClassificationEvaluator ile AUC ölçümü
CrossValidator ve ParamGridBuilder ile hiperparametre ayarı
TrainValidationSplit ile daha hızlı ayar alternatifi
Eğitilen modelin katsayı ve özellik öneminin yorumu

Modül 4

Akışta Model Uygulama

Eğitilen PipelineModel'in PipelineModel.load ile yüklenmesi
readStream ile gelen kayıtların model girişine dönüştürülmesi
model.transform ile akan veri üzerinde tahmin üretme
prediction ve probability sütunlarının sink'e yazılması
foreachBatch içinde skorlama ve sonucu Kafka'ya yayınlama
Model güncellemesinde akışın yeniden başlatma stratejisi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Akış Modeli

Sınırsız tabloyu DataFrame olarak modelleyip sürekli sorgular yazarsınız.

✅

Kaynak/Sink

Kafka, dosya ve foreachBatch sink'leri ile akış hattını kurarsınız.

✅

Pencereleme

Olay zamanlı tumbling ve sliding pencereleri doğru tanımlarsınız.

✅

Watermark

Geç gelen veriyi watermark ile yönetip state büyümesini sınırlarsınız.

✅

Hata Toleransı

Checkpoint ve exactly-once garantisiyle dayanıklı akışlar tasarlarsınız.

✅

ML Pipeline

VectorAssembler ve indexer'larla MLlib pipeline'ı uçtan uca kurarsınız.

✅

Model Ayarı

CrossValidator ile hiperparametre ayarı yapıp modeli değerlendirirsiniz.

✅

Canlı Tahmin

Eğitilmiş modeli akış hattında yükleyip gerçek zamanlı skorlarsınız.

Kimler İçin Uygundur?

PySpark veya Scala ile temel Spark deneyimi olan veri mühendisleri
veri bilimciler
gerçek zamanlı tahmin sistemleri kurmak isteyen yazılımcılar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Temel Spark deneyimi olan veri mühendisleri, veri bilimciler ve gerçek zamanlı tahmin sistemi kurmak isteyen yazılımcılar için uygundur.

Structured Streaming ile eski DStream farkı nedir?

Structured Streaming DataFrame/Dataset API'si üzerine kuruludur, olay zamanı ve watermark desteği ile exactly-once garantisi sunar; DStream'e göre daha yüksek seviyeli ve bakımı kolaydır.

Watermark ne işe yarar?

Olay zamanlı toplamada geç gelen veri için tolerans tanımlar; eşiğin ötesindeki state temizlenerek bellek büyümesi sınırlanır.

MLlib modelini akışta nasıl kullanıyoruz?

Eğitilen PipelineModel kaydedilip akış hattında load ile yüklenir ve transform ile gelen kayıtlar üzerinde gerçek zamanlı skorlanır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

INTRODUCTION TO SPARK STRUCTURED STREAMING AND MLLIB EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Akış Programlama Modeli

Akış Kaynakları

Dönüşümler ve Toplamalar

Çıkış ve Sink'ler

Olay Zamanı Pencereleme

Watermark ve Geç Veri

Durumlu İşlemler ve Join

Checkpoint ve Teslim Garantisi

Pipeline API Kavramları

Özellik Mühendisliği

Model Eğitimi ve Değerlendirme

Akışta Model Uygulama

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Streaming Data Architectures: Processing Streaming Data with Spark Eğitimi

Talend Büyük Veri Entegrasyonu Eğitimi

Techniques for Big Data Analytics Eğitimi

The Complete Apache Kafka Practical Guide Eğitimi

Using Hive & Pig with Hadoop Eğitimi