Advanced Kafka-Spark Streaming Patterns

Eğitim Hakkında

Kafka-Spark akış hatlarını üretim olgunluğuna taşımak

Bu eğitim, Kafka ve Spark Structured Streaming ile üretim düzeyinde akış hatları kurmayı uzman düzeyde öğretir. Structured Streaming mikro-batch ve continuous modu, Kafka source/sink, offset ve checkpoint yönetimi, exactly-once teslim işlenir. Event-time watermark, stateful aggregation, stream-stream ve stream-static join, mapGroupsWithState/flatMapGroupsWithState, state store ve RocksDB backend uygulamalı ele alınır. Geri basınç, şema evrimi, dead letter, izleme/metrik, maliyet ve felaket kurtarma ile üretim olgunluğu gösterilir.

Süre ve Format

4 Gün. Her gün dört modül; üretim deseni uygulama ve arıza senaryosu simülasyonu lableri.

Seviye

Uzman Seviye — Kafka + Spark Structured Streaming ile exactly-once, stateful işleme ve üretim operasyonunu kapsar.

Öğrenme Metodu

Kafka-Spark hattını kurup checkpoint, yeniden başlatma ve arıza senaryolarıyla üretime hazır hale getirerek uygulanır.

Neden Bu Eğitim?

🎯Exactly-once

Checkpoint ve idempotent sink ile uçtan uca exactly-once akış kurarsınız.

💾Stateful Desen

State store ve watermark ile büyük durumu üretimde güvenle yönetirsiniz.

🛡️Üretim Olgunluğu

İzleme, geri basınç ve felaket kurtarmayla hattı 7/24 ayakta tutarsınız.

Anahtar Konular

kafka spark streamingstructured streamingexactly oncewatermarkstateful streamingstate store rocksdbproduction readinessstream joinakış üretim

“Üretim, güzel çalışan değil; arızada bile ayakta kalan hattı sever.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Kafka+Spark

Kafka temelleri ve Spark DataFrame deneyimi gerekir.

2

Programlama

Scala veya PySpark'ta akış kodu yazabilmek beklenir.

3

Akış Kavramı

Event-time ve checkpoint kavramlarına aşinalık faydalıdır.

4

Lab Ortamı

Kafka ve Spark kümesi çalıştıran bir ortam gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Structured Streaming ile Kafka'dan okuyup checkpoint'li yazabilir.

Modül 1

Yürütme Modeli

Unbounded tablo soyutlaması
Mikro-batch ve continuous mod
Trigger türleri (processingTime, once, availableNow)
Incremental execution mantığı
Output mode: append/update/complete
Streaming query yaşam döngüsü

Modül 2

Kafka Source

readStream kafka format
startingOffsets ve endingOffsets
maxOffsetsPerTrigger ile akış kontrolü
Key/value deserialization
Çoklu topic ve pattern aboneliği
Kafka header okuma

Modül 3

Sink ve Checkpoint

writeStream ve sink türleri
checkpointLocation zorunluluğu
Offset ve commit log yapısı
foreachBatch ile özel yazma
Idempotent sink tasarımı
Yeniden başlatmada offset kurtarma

Modül 4

Şema ve Format

Avro/JSON/Protobuf deserialization
Schema Registry entegrasyonu
Şema evrimi ve uyumluluk
Bozuk kayıt (corrupt record) yönetimi
from_json/to_json kullanımı
Kolon seçimi ve projeksiyon

Günün hedefiKatılımcı watermark ve stateful operasyonlarla doğru zaman tabanlı akış yazabilir.

Modül 1

Watermark

withWatermark tanımı
Geç veri ve eşik yönetimi
State temizleme ile ilişkisi
Pencere ve watermark etkileşimi
Çoklu watermark senaryosu
Gecikme-doğruluk dengesi

Modül 2

Pencereli Toplama

Tumbling ve sliding pencere
Pencereli groupBy aggregation
Update vs append çıktı
Geç veri ile sonuç güncelleme
Toplama state boyutu
Çıktının idempotent yazımı

Modül 3

Stream Join

Stream-static join
Stream-stream inner/outer join
Join için watermark zorunluluğu
State saklama süresi (state retention)
Join state büyümesi kontrolü
Zaman kısıtlı join

Modül 4

Arbitrary State

mapGroupsWithState kullanımı
flatMapGroupsWithState ve timeout
GroupState yönetimi
Event-time/processing-time timeout
Durum serileştirme
Oturum (sessionization) deseni

Günün hedefiKatılımcı state store'u ölçeklendirir ve uçtan uca exactly-once kurar.

Modül 1

State Store

Varsayılan HDFSBackedStateStore
RocksDB state store provider
State store bakımı ve snapshot
Changelog checkpointing
State boyutu izleme
State store ayarları

Modül 2

Offset Yönetimi

Checkpoint offset vs Kafka commit
Yeniden işleme (replay) kontrolü
Offset sıfırlama ve bozulma kurtarma
Çoklu sorgu offset izolasyonu
minPartitions ile paralellik
Starting offset stratejisi

Modül 3

Exactly-once

Idempotent sink deseni
foreachBatch ile transactional yazma
Delta Lake/transactional hedef
Duplicate önleme anahtarı
Uçtan uca garanti zinciri
Hata sonrası tutarlılık

Modül 4

Hata Senaryoları

Driver/executor arıza kurtarma
Checkpoint bozulması yönetimi
Şema değişiminde yeniden başlatma
Zehirli kayıt izolasyonu (DLQ)
Geri basınç altında davranış
Veri kaybı/çift işleme testi

Günün hedefiKatılımcı akış hattını izler, ölçeklendirir ve felaket kurtarmaya hazırlar.

Modül 1

Gözlemlenebilirlik

StreamingQueryListener metrikleri
Input/processing rate izleme
Batch duration ve gecikme
State store metrikleri
Prometheus/Grafana entegrasyonu
Alarm eşikleri

Modül 2

Ölçekleme

Kafka partition-Spark paralellik
Executor sayısı ve kaynak
Trigger aralığı dengeleme
maxOffsetsPerTrigger ayarı
Backlog yakalama stratejisi
Dinamik ölçek değerlendirme

Modül 3

Dağıtım

Sürüm yükseltme ve checkpoint uyumu
Mavi-yeşil akış dağıtımı
Yapılandırma yönetimi
Sırların (secret) güvenliği
CI/CD ile akış işi dağıtımı
Geri alma planı

Modül 4

Felaket Kurtarma

Checkpoint yedekleme
Çoklu bölge replikasyon kavramı
RPO/RTO hedefleri
Replay ile veri kurtarma
Bakım penceresi planı
Kapasite ve maliyet yönetimi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Structured Streaming

Kafka source/sink ile checkpoint'li akış sorguları yazarsınız.

✅

Event-Time

Watermark ve pencerelerle doğru zaman tabanlı toplama yaparsınız.

✅

Stateful Join

Stream-stream ve arbitrary state ile karmaşık akış mantığı kurarsınız.

✅

State Store

RocksDB state store ile büyük durumu ölçeklendirirsiniz.

✅

Exactly-once

Idempotent sink ve checkpoint ile uçtan uca garanti sağlarsınız.

✅

Gözlemlenebilirlik

Metrik ve alarmlarla akış hattını sürekli izlersiniz.

✅

Ölçekleme

Partition-paralellik dengesiyle hattı ölçeklendirirsiniz.

✅

Felaket Kurtarma

Checkpoint yedeği ve replay ile RPO/RTO hedeflerini karşılarsınız.

Kimler İçin Uygundur?

Üretim akış hatlarından sorumlu kıdemli veri mühendisleri
platform ekipleri
streaming mimarları

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Üretim akış hatlarından sorumlu kıdemli veri mühendisleri, platform ekipleri ve streaming mimarları için uygundur.

Exactly-once nasıl sağlanıyor?

Checkpoint offset yönetimi ile idempotent/transactional sink deseni birlikte uygulanarak uçtan uca garanti kurulur.

Büyük state nasıl yönetilir?

RocksDB state store, changelog checkpointing ve watermark ile state temizleme uygulamalı gösterilir.

Önceden ne bilmeliyim?

Kafka temelleri ve Spark DataFrame deneyimi ön koşuldur; eğitim üretim desenlerine odaklanır.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

ADVANCED KAFKA-SPARK STREAMING PATTERNS AND PRODUCTION READINESS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Yürütme Modeli

Kafka Source

Sink ve Checkpoint

Şema ve Format

Watermark

Pencereli Toplama

Stream Join

Arbitrary State

State Store

Offset Yönetimi

Exactly-once

Hata Senaryoları

Gözlemlenebilirlik

Ölçekleme

Dağıtım

Felaket Kurtarma

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Hadoop HDFS File Permissions Eğitimi

Hadoop HDFS Getting Started Eğitimi

Hadoop MapReduce Applications With Combiners Eğitimi

Hadoop on Amazon EMR Eğitimi

Hadoop Quick Start Eğitimi