Olay zamanlı, durumlu akışları Kafka ve Spark'la kur
Gerçek zamanlı durumlu akış iş akışlarını öğreten ileri seviye eğitim: Kafka'dan Structured Streaming okuma, event-time ve processing-time ayrımı, tumbling/sliding/session pencereleri, watermark ile geç veri, mapGroupsWithState, stream-stream join ve checkpoi…
Kafka, Structured Streaming, event-time ve stateful işleme
Bu ileri seviye eğitim, gerçek zamanlı veri işlemede durumlu (stateful) ve olay zamanlı (event-time) iş akışlarını Kafka ve Apache Spark Structured Streaming ile kurar. Kafka'dan akış okuma, offset ve consumer yönetimi; Structured Streaming'in micro-batch ve continuous modeli; event-time ve processing-time ayrımı işlenir. Watermark ile geç gelen veri yönetimi, tumbling/sliding/session pencereleri, stateful agregasyon ve mapGroupsWithState/flatMapGroupsWithState ile özel durum yönetimi uygulanır. Checkpoint ile hata toleransı, exactly-once semantiği, stream-stream join ve çıktı modları (append/update/complete) ele alınır. Katılımcılar uçtan uca gerçek zamanlı bir pipeline tasarlayıp durum ve geç veri senaryolarını çözer.
4 Gün. Her gün dört modül; katılımcılar Kafka akışından event-time ve stateful işleme ile üretim hazırlığına ilerler.
İleri Seviye — Kafka ve Spark Structured Streaming ile olay zamanlı (event-time), durumlu (stateful) akış iş akışlarının kurulması.
Katılımcılar Kafka'ya veri üretip Spark Structured Streaming ile pencereli ve durumlu işler yazarak gerçek zamanlı akışı uygulamalı kurar.
Olay zamanına göre doğru pencereleme ve geç veri yönetimi yaparsınız.
Akış üzerinde durum tutarak oturum ve birikimli hesap yaparsınız.
Checkpoint ve exactly-once ile hataya dayanıklı akış kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Spark DataFrame ve batch işleme temeline aşinalık beklenir.
Topic, partition ve consumer kavramlarını tanımak faydalıdır.
Scala veya Python (PySpark) ile kodlama yararlıdır.
Kafka ve Spark çalıştırabilen bir ortam veya küme.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Kafka'dan Structured Streaming ile akış okursunuz.
Micro-batch, trigger ve çıktı modlarını kavrarsınız.
Olay zamanına göre doğru pencereleme yaparsınız.
Watermark ile geç veriyi ve durumu yönetirsiniz.
mapGroupsWithState ile durum tutan akış yazarsınız.
Zaman kısıtlı stream-stream join kurarsınız.
Checkpoint ve idempotent sink ile güvenilir teslimat sağlarsınız.
Akış metriklerini ve consumer lag'i izlersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Cloudera'da Hive ve Impala ile büyük veriyi sorgulayın: join, agregasyon, pencere fonksiyonları, veri dönüştürme, optimizasyon ve BI entegrasyonu. Orta seviye e
Detayları Gör →
Cloudera Manager ile Hadoop kümelerini kurun, parcel ile servis dağıtın, yapılandırın ve yaşam döngüsünü yönetin. İleri seviye DVA eğitimi.
Detayları Gör →
Cloudera Manager yönetimini öğrenin: RBAC yetkilendirme, LDAP, yapılandırma, izleme, uyarı ve BDR/snapshot ile yedekleme. İleri seviye DVA eğitimi.
Detayları Gör →
Cloudera Manager araçlarını, Chart Builder'ı, yapılandırma şablonlarını ve REST API otomasyonunu kullanarak kümeyi verimli yönetin. Orta seviye eğitim.
Detayları Gör →
Confluent Platform'da Kafka broker yönetimi, topic/partition tasarımı, replikasyon, SASL/SSL güvenlik, Schema Registry ve consumer lag izleme. İleri seviye eğit
Detayları Gör →