Advanced Flink Programming Eğitimi

Eğitim Hakkında

Durumlu akış işlemeyi Flink ile ileri düzeyde kurmak

Bu eğitim, Apache Flink ile ileri düzey durumlu akış işlemeyi öğretir. DataStream API, event-time ve watermark mantığı, tumbling/sliding/session pencereleri, keyed ve operator state, ValueState/ListState/MapState kullanımı işlenir. Checkpoint ve savepoint ile exactly-once garantisi, state backend (RocksDB) ve state TTL, Table API ve Flink SQL, dinamik tablo ve streaming join uygulamalı ele alınır. CEP ile örüntü tespiti, geri basınç, paralellik ve dağıtım optimizasyonu gösterilir.

Süre ve Format

4 Gün. Her gün dört modül; DataStream ve Flink SQL ile akış uygulaması geliştirme lableri.

Seviye

İleri Seviye — Apache Flink ile event-time işleme, state, exactly-once checkpoint, Table/SQL API ve CEP'i kapsar.

Öğrenme Metodu

Kafka'dan veri okuyan durumlu Flink işleri yazıp checkpoint/savepoint ile yeniden başlatarak uygulanır.

Neden Bu Eğitim?

⏱️Event-Time

Watermark ile gerçek olay zamanına göre doğru pencere sonuçları üretirsiniz.

💾Durumlu İşleme

Keyed state ve RocksDB backend ile büyük durumu dayanıklı yönetirsiniz.

🎯Exactly-once

Checkpoint ve savepoint ile kesintisiz exactly-once garantisi kurarsınız.

Anahtar Konular

apache flink eğitimiflink datastreamevent time watermarkflink statecheckpoint savepointflink sqlstreaming joinflink cepakış işleme

“Durumu doğru yöneten akış, zamanı da yönetir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Java/Scala

Java veya Scala'da işlevsel ve nesne tabanlı kod yazabilmek gerekir.

2

Akış Temeli

Stream işleme ve Kafka kavramlarına aşinalık beklenir.

3

SQL

Temel SQL, Table/SQL API için faydalıdır.

4

Lab Ortamı

Flink kümesi ve Kafka çalıştıran bir ortam gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı DataStream API ile event-time işleme ve watermark tanımlayabilir.

Modül 1

DataStream API

Source, transformation, sink akışı
map, flatMap, filter, keyBy
Process function ile düşük seviye kontrol
ConnectedStream ve CoProcessFunction
Side output ile dallanma
Rich function ve yaşam döngüsü

Modül 2

Zaman Semantiği

Event-time, processing-time, ingestion-time
WatermarkStrategy tanımlama
Bounded out-of-orderness watermark
İdle source ve watermark ilerlemesi
Timestamp assigner
Geç veri (lateness) yönetimi

Modül 3

Pencereler

Tumbling, sliding, session pencere
Window assigner ve trigger
Evictor ile pencere içeriği yönetimi
allowedLateness ve side output
ProcessWindowFunction ile zengin toplama
Incremental aggregate (reduce/aggregate)

Modül 4

Kaynak/Hedef

Kafka source ve sink konektörü
Offset ve watermark entegrasyonu
Formatlar: Avro, JSON, Parquet
FileSystem ve exactly-once sink
Async I/O ile dış servis
Deserialization şeması

Günün hedefiKatılımcı keyed state ve checkpoint ile dayanıklı, exactly-once işler yazabilir.

Modül 1

Keyed State

ValueState, ListState, MapState
ReducingState ve AggregatingState
State descriptor tanımı
keyBy ile state bölümleme
State erişim deseni
State boyutu kontrolü

Modül 2

State TTL ve Backend

State TTL ile otomatik temizleme
HashMap vs RocksDB state backend
Incremental checkpoint (RocksDB)
State büyümesini sınırlama
Serializer ve şema evrimi
Managed vs raw state

Modül 3

Checkpoint

Checkpoint mekanizması (Chandri-Lamport)
Barrier alignment ve unaligned checkpoint
Checkpoint aralığı ve timeout
Exactly-once vs at-least-once modu
Checkpoint depolama (DFS)
Checkpoint hata toleransı

Modül 4

Savepoint

Savepoint ile planlı durdurma
Sürüm yükseltme ve yeniden başlatma
State uyumluluğu ve UID atama
Paralellik değişimi ve rescale
Savepoint'ten devam
Operatör ekleme/çıkarma

Günün hedefiKatılımcı Table API ve Flink SQL ile dinamik tablo ve streaming join kurabilir.

Modül 1

Table API

TableEnvironment ve tablo tanımı
DataStream-Table dönüşümü
Alan ifadeleri ve projeksiyon
Zaman öznitelikleri (time attribute)
Katalog (catalog) kullanımı
Table'dan stream'e geri dönüş

Modül 2

Flink SQL

CREATE TABLE ile konektör tanımı
SELECT, GROUP BY ve toplama
Window TVF (TUMBLE, HOP, CUMULATE)
Dinamik tablo ve changelog
MATCH_RECOGNIZE ile örüntü SQL
Watermark SQL tanımı

Modül 3

Streaming Join

Interval join
Temporal (versioned table) join
Lookup join ile zenginleştirme
Regular join ve state büyümesi
Join sonucu changelog semantiği
Join performans tuzakları

Modül 4

Entegrasyon

Kafka upsert-kafka konektörü
JDBC ve Elasticsearch sink
Format ve şema yönetimi
Hive catalog entegrasyonu
CDC kaynakları (Debezium)
SQL işi dağıtımı

Günün hedefiKatılımcı CEP ile örüntü tespit eder ve Flink işlerini üretime optimize eder.

Modül 1

Complex Event Processing

Pattern API ile örüntü tanımı
begin, next, followedBy operatörleri
Zaman kısıtı (within)
Koşullu (where/until) eşleşme
Eşleşen ve zaman aşımlı çıktı
Dolandırıcılık tespiti örneği

Modül 2

Geri Basınç

Backpressure kaynağı tespiti
Buffer debloating
Watermark gecikmesi analizi
Operatör paralelliği dengesi
Network buffer ayarı
Metrik tabanlı tanılama

Modül 3

Performans

Operatör zinciri (chaining)
Slot sharing ve task slot
Serileştirme maliyeti azaltma
RocksDB ayarları ve blok cache
Object reuse
State erişimi optimizasyonu

Modül 4

Üretim Operasyonu

Flink UI ve metrik sistemi
Prometheus/Grafana izleme
Checkpoint süresi ve boyut izleme
Yeniden başlatma stratejisi
HA (ZooKeeper/Kubernetes) kurulumu
Kapasite ve SLA yönetimi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

DataStream

DataStream API ile düşük seviye akış dönüşümleri yazarsınız.

✅

Event-Time

Watermark ve pencerelerle doğru zaman tabanlı sonuç üretirsiniz.

✅

State Yönetimi

Keyed state ve RocksDB ile büyük durumu dayanıklı tutarsınız.

✅

Checkpoint

Checkpoint/savepoint ile exactly-once ve yeniden başlatma kurarsınız.

✅

Flink SQL

Table API ve SQL ile bildirimsel akış analitiği yazarsınız.

✅

Streaming Join

Interval ve temporal join ile akışları birleştirirsiniz.

✅

CEP

Pattern API ile karmaşık olay örüntülerini tespit edersiniz.

✅

Performans

Geri basınç ve state ayarlarıyla işleri üretime optimize edersiniz.

Kimler İçin Uygundur?

Akış sistemleri geliştiren kıdemli mühendisler
Spark Streaming'den Flink'e geçenler
düşük gecikmeli durumlu uygulama ekipleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Akış sistemleri geliştiren kıdemli mühendisler ve düşük gecikmeli durumlu uygulama ekipleri için uygundur.

Event-time neden önemli?

Gerçek olay zamanına göre doğru pencere sonuçları için watermark ve geç veri yönetimi uygulamalı işlenir.

Flink mi Spark Streaming mi?

Flink'in gerçek akış ve durum modeli ile mikro-batch yaklaşımı eğitimde karşılaştırılır.

Java zorunlu mu?

Java veya Scala yetkinliği gerekir; Flink SQL kısmı ek olarak bildirimsel yaklaşımı gösterir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

ADVANCED FLINK PROGRAMMING EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

DataStream API

Zaman Semantiği

Pencereler

Kaynak/Hedef

Keyed State

State TTL ve Backend

Checkpoint

Savepoint

Table API

Flink SQL

Streaming Join

Entegrasyon

Complex Event Processing

Geri Basınç

Performans

Üretim Operasyonu

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Big Data Fundamentals Eğitimi

Big Data Information Architecture: Building an Architecture for Insight with Hadoop Eğitimi

Big Data Road Map Eğitimi

Big Data Sales Perspective Eğitimi

Big Data Solutions, Architecture, CQL, & DDL Eğitimi