Akış verisi dünyasına Spark ile adım at
Spark'ta akış verisi işlemenin temellerini ve akış veri mimarilerini tanıtan temel seviye eğitim: batch-stream farkı, telemetri/log/clickstream senaryoları, lambda ve kappa mimarileri, Structured Streaming sınırsız tablo modeli, readStream/writeStream, rate/d…
Akış mimarileri, batch-stream farkı, Structured Streaming temelleri
Bu giriş eğitimi, Spark'ta akış verisi işlemenin temellerini ve akış veri mimarilerini tanıtır. Katılımcılar batch ile stream işleme farkını, gerçek zamanlı veri senaryolarını (telemetri, log, tıklama akışı) ve lambda/kappa mimarilerini kavrar. Spark Structured Streaming'in sınırsız tablo modeli, readStream/writeStream, kaynaklar (dosya, rate, Kafka'ya giriş) ve çıkış modları (append/update/complete) işlenir. Temel dönüşümler, basit toplamalar, console/memory sink ve trigger kavramı uygulanır; eski DStream ile Structured Streaming farkına değinilir. Olay zamanı ve işleme zamanı ayrımı sezdirilir. Eğitim, basit bir uçtan uca akış uygulamasının kurulup çalıştırılmasıyla tamamlanır.
2 Gün. Her gün dört modül; akış mimarisi kavramlarından Structured Streaming temellerine ve ilk uygulamaya ilerlenir.
Temel Seviye — Spark'ta akış verisi mimarilerine giriş; akış kavramları, Structured Streaming temelleri ve ilk akış uygulaması.
Katılımcılar Spark Structured Streaming ile basit akış sorguları yazıp çalıştırarak akış kavramlarını birebir deneyimler.
Batch-stream farkını ve akış mimarilerini net biçimde kavrarsınız.
Lambda/kappa mimarilerini ve kullanım yerlerini öğrenirsiniz.
Structured Streaming ile ilk akış uygulamanızı kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame ve temel dönüşümlere aşinalık güçlü biçimde faydalıdır.
Python veya Scala'da basit kod yazabilme beklenir.
Olay, kayıt ve zaman damgası kavramlarına aşinalık faydalıdır.
Spark kurulu bir ortam veya Databricks/Jupyter erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Batch-stream farkını ve akış senaryolarını açıklarsınız.
Lambda ve kappa mimarilerini ve ödünleşmelerini kavrarsınız.
Structured Streaming'in DStream'e üstünlüğünü anlarsınız.
Sınırsız tablo ve mikro-batch modelini kavrarsınız.
Rate, dosya ve Kafka kaynaklarıyla akış okursunuz.
append/update/complete modlarını ayırt edersiniz.
Basit dönüşüm ve toplamayı akışta uygularsınız.
Uçtan uca basit bir akış uygulaması çalıştırırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark SQL ile büyük veriyi sorgulayın: DataFrame/SQL, JOIN türleri, pencere fonksiyonları, UDF, Catalyst plan analizi, pushdown, AQE ve performans ayarı.
Detayları Gör →
Spark Structured Streaming ve Kafka ile üretim ölçeğinde akış işleme: olay zamanı pencereleme, stateful join, exactly-once, RocksDB state store ve izleme.
Detayları Gör →
Karmaşık Kafka iş akışlarını zamanlayın, ölçekleyin ve orkestre edin: partition/consumer ölçekleme, cooperative rebalance, KEDA, Strimzi ve dayanıklı mimari.
Detayları Gör →
Apache Spark ortamını kurun ve gezinin: bileşenler, local/standalone/YARN/K8s modları, spark-defaults yapılandırması, spark-submit ve Spark UI ile iş izleme.
Detayları Gör →
PySpark ile Python üzerinden Spark'ı öğrenin: DataFrame işleme, join ve pencere fonksiyonları, Spark SQL, pandas UDF, pyspark.pandas ve performans ayarı.
Detayları Gör →