Apache Kafka Uygulamalı Rehber Eğitimi

Eğitim Hakkında

Topic, partition, producer/consumer API, Streams ve Connect

Bu uygulamalı eğitim, Apache Kafka'yı sıfırdan üretim seviyesine taşıyan bütünsel bir rehberdir. Broker, topic, partition, offset ve replikasyon mimarisi; producer API (acks, idempotence, batching, compression) ve consumer API (consumer group, rebalance, offset commit); mesaj sıralama ve teslim garantileri (at-least-once, exactly-once) işlenir. Ardından Kafka Streams ile stateless/stateful işleme, KTable ve pencereleme, Kafka Connect ile kaynak/hedef konektörleri, şema yönetimi ve temel operasyon (retention, monitoring) ele alınır. Katılımcı, gerçek bir olay akışı uygulaması kurabilir.

Süre ve Format

4 Gün. Her gün dört modül; katılımcılar Kafka'yı mimariden akış işleme ve entegrasyona kadar kurar.

Seviye

Orta Seviye — Apache Kafka'nın mimarisinden producer/consumer geliştirmeye, Kafka Streams ve Connect'e kadar uçtan uca uygulamalı ele alınması.

Öğrenme Metodu

Katılımcılar yerel/konteyner Kafka kümesinde CLI ve kod ile topic, producer, consumer ve Streams uygulamaları geliştirir.

Neden Bu Eğitim?

🌊Olay Akışı

Kafka ile yüksek hacimli olay akışını güvenle taşımayı öğrenirsiniz.

🧩Uygulamalı

CLI ve kodla gerçek producer/consumer ve Streams uygulamaları yazarsınız.

🔌Entegrasyon

Kafka Connect ile veri tabanı ve dosyaları koda dokunmadan bağlarsınız.

Anahtar Konular

apache kafka eğitimikafkakafka streamskafka connectproducer consumertopic partitionexactly onceschema registryolay akışıconsumer group

“Kafka veriyi saklamaz; olayların akan belleğini oluşturur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Programlama

Java veya Python ile temel programlama deneyimi faydalıdır.

2

Mesajlaşma Kavramı

Kuyruk/publish-subscribe mantığına aşinalık yararlıdır.

3

Komut Satırı

Terminal ve temel Linux komutlarına aşinalık beklenir.

4

Çalışma Ortamı

Docker veya yerel Kafka kurulabilen bir makine ve bir IDE.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Kafka mimarisini kavrar ve CLI ile topic oluşturup mesaj üretip tüketebilir.

Modül 1

Kafka Mimarisi

Broker, cluster ve controller kavramı
Topic, partition ve offset ilişkisi
Replikasyon, leader/follower ve ISR
ZooKeeper'dan KRaft moduna geçiş
Log segment ve commit log yapısı
Producer-broker-consumer veri akışı

Modül 2

Topic ve CLI

kafka-topics ile topic oluşturma ve listeleme
Partition ve replication-factor seçimi
kafka-console-producer ile mesaj yazma
kafka-console-consumer ile mesaj okuma
-from-beginning ile geçmiş mesajları okuma
Topic konfigürasyon parametrelerinin görüntülenmesi

Modül 3

Partition ve Dağıtım

Partition sayısının paralellik ve sıralamaya etkisi
Key tabanlı partition atama (hash)
Round-robin ve custom partitioner
Partition içi sıra garantisi, topic geneli yokluğu
Partition yeniden atama (reassignment)
Partition sayısını artırmanın etkileri

Modül 4

Saklama ve Temizleme

retention.ms ve retention.bytes ile saklama
Log compaction ile anahtar bazlı son değer
cleanup.policy (delete/compact) seçimi
Segment boyutu ve rolling davranışı
Tombstone mesajlarla silme
Saklama politikasının disk kullanımına etkisi

Günün hedefiKatılımcı, kod ile producer/consumer geliştirip teslim garantilerini yapılandırabilir.

Modül 1

Producer API

ProducerRecord ve key/value serializer
acks=0/1/all ile dayanıklılık dengesi
enable.idempotence ile tekilleştirme
batch.size ve linger.ms ile gruplama
compression.type (snappy, lz4, zstd)
retries ve delivery.timeout.ms ayarı

Modül 2

Consumer API

subscribe ve poll döngüsü
Consumer group ve partition ataması
auto.offset.reset (earliest/latest)
enable.auto.commit ve manuel commitSync
max.poll.records ve işlem süresi dengesi
Deserializer ve hata toleransı

Modül 3

Consumer Group ve Rebalance

Group coordinator ve partition sahipliği
Rebalance tetikleyicileri ve maliyeti
Cooperative sticky assignor avantajı
static membership ile gereksiz rebalance önleme
Lag kavramı ve consumer-group CLI ile izleme
Ölçeklemede consumer sayısı-partition dengesi

Modül 4

Teslim Garantileri

At-most-once, at-least-once, exactly-once farkı
Idempotent producer ile duplikasyon önleme
Transactional API ile atomik yazma
read_committed isolation level
Offset commit sırasının garantilere etkisi
Hata senaryolarında yeniden işleme (replay)

Günün hedefiKatılımcı, Kafka Streams ile olay akışını gerçek zamanlı dönüştürüp toplayabilir.

Modül 1

Streams Temeli

KStream ve KTable soyutlamaları
Topology ve işlem grafiği (processor)
map, filter, flatMap stateless işlemler
StreamsBuilder ile akış tanımı
serde (serializer/deserializer) yapılandırması
Streams uygulamasının başlatılması

Modül 2

Durumlu İşleme

groupByKey ve aggregate ile state store
KTable ile değişen durumun temsili
count ve reduce toplamları
RocksDB tabanlı yerel state store
Changelog topic ile durum dayanıklılığı
Interactive queries ile durum sorgulama

Modül 3

Birleştirme ve Pencere

KStream-KTable join ile zenginleştirme
KStream-KStream windowed join
Tumbling, hopping ve session pencereleri
Grace period ile geç gelen olaylar
Event time ve timestamp extractor
Pencereli toplama sonuçlarının yazımı

Modül 4

Streams Operasyonu

Exactly-once semantics (processing.guarantee)
num.stream.threads ile paralellik
Hata işleme ve deserialization exception handler
Streams uygulamasının ölçeklenmesi
State store yeniden kurulumu (restore)
Topology açıklaması (describe) ile hata ayıklama

Günün hedefiKatılımcı, Connect ile sistemleri entegre eder, şema yönetir ve kümeyi operasyonel izler.

Modül 1

Kafka Connect

Source ve sink konektör kavramı
Standalone ve distributed Connect modu
Konektör, task ve worker ilişkisi
JDBC source ile veri tabanından alım
File/S3 sink ile dışa yazma
REST API ile konektör yönetimi

Modül 2

Şema Yönetimi

Schema Registry ile şema saklama
Avro, Protobuf ve JSON Schema
Şema uyumluluk (compatibility) modları
Şema evrimi (evolution) ve geriye uyum
Serializer ile şema kimliğinin mesaja eklenmesi
Şema ihlallerinin üretim öncesi yakalanması

Modül 3

İzleme ve Metri̇k

JMX metriklerinin toplanması
Consumer lag izleme
Under-replicated partition uyarıları
Throughput ve latency metrikleri
Prometheus/Grafana ile görselleştirme
Broker disk ve bağlantı sağlık kontrolü

Modül 4

Üretim Hazırlığı

Replication factor ve min.insync.replicas
Rack awareness ile dağıtım
Güvenlik: TLS ve SASL kimlik doğrulama
ACL ile yetkilendirme
Capacity planning ve partition sayısı tahmini
Felaket kurtarma ve MirrorMaker ile replikasyon

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Kafka Mimarisi

Broker, partition, offset ve replikasyonu uçtan uca açıklarsınız.

✅

Topic Yönetimi

CLI ile topic oluşturup saklama politikalarını ayarlarsınız.

✅

Producer Geliştirme

acks, idempotence ve batching ile dayanıklı producer yazarsınız.

✅

Consumer Grupları

Consumer group, rebalance ve lag'i yöneterek ölçeklersiniz.

✅

Teslim Garantileri

At-least-once ve exactly-once garantilerini yapılandırırsınız.

✅

Kafka Streams

Stateless/stateful akış işleme ve pencereleme uygularsınız.

✅

Entegrasyon

Kafka Connect ile sistemleri koda dokunmadan bağlarsınız.

✅

Operasyon

Schema Registry, güvenlik ve izleme ile üretime hazırlarsınız.

Kimler İçin Uygundur?

Backend ve veri mühendisleri
olay güdümlü mimari kuran geliştiriciler
mikroservis entegrasyonu yapan ekipler
Kafka'yı pratikle öğrenmek isteyenler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Backend ve veri mühendisleri, olay güdümlü mimari kuran geliştiriciler ve mikroservis entegrasyonu yapan ekipler için uygundur.

Hangi dilde kod yazacağız?

Producer/consumer ve Streams örnekleri ağırlıklı Java ile, ek olarak CLI ve Python istemcisiyle gösterilir.

Kafka Streams ile Spark farkı nedir?

Kafka Streams, ayrı küme gerektirmeden Kafka içinde çalışan bir kütüphanedir; eğitim stateless ve stateful akış işlemeyi uygulamalı ele alır.

Exactly-once gerçekten mümkün mü?

Idempotent ve transactional producer ile read_committed tüketim birleştiğinde Kafka içi exactly-once sağlanır; eğitim bunu yapılandırmalı gösterir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

THE COMPLETE APACHE KAFKA PRACTICAL GUIDE EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Kafka Mimarisi

Topic ve CLI

Partition ve Dağıtım

Saklama ve Temizleme

Producer API

Consumer API

Consumer Group ve Rebalance

Teslim Garantileri

Streams Temeli

Durumlu İşleme

Birleştirme ve Pencere

Streams Operasyonu

Kafka Connect

Şema Yönetimi

İzleme ve Metri̇k

Üretim Hazırlığı

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Introduction to Apache Flink Eğitimi

Introduction to Apache Spark Eğitimi

Introduction to Hadoop Eğitimi

Introduction to Spark Structured Streaming and MLlib Eğitimi

Introduction to the Shell for Hadoop HDFS Eğitimi