Kafka ile Veri İşlemeye Başlangıç

Eğitim Hakkında

Kafka temel kavramları, kurulum, CLI ve ilk veri akışı

Bu başlangıç eğitimi, veri işleme perspektifiyle Apache Kafka'yı tanıtır. Katılımcılar Kafka'nın neden modern veri hatlarının merkezinde olduğunu, batch ve akış işleme farkını kavrar; topic, partition, offset, producer ve consumer temel kavramlarını öğrenir. Tek düğümlü bir Kafka'yı kurar; kafka-topics, kafka-console-producer ve kafka-console-consumer ile ilk veri akışını oluşturur. Consumer group ile paralel tüketimi, basit bir Python producer/consumer ile programatik akışı ve mesaj serileştirmeyi (JSON) uygular. Eğitim, Kafka'nın veri işleme ekosistemindeki (Connect, Streams, ksqlDB) yeri ve sonraki adımlarla tamamlanır.

Süre ve Format

2 Gün. Her gün dört modül; Kafka kavramlarından ilk veri akışına ve programatik üretim/tüketime ilerlenir.

Seviye

Temel Seviye — Veri işleme bağlamında Apache Kafka'ya başlangıç; temel kavramlar, kurulum ve ilk veri akışının oluşturulması.

Öğrenme Metodu

Katılımcılar tek düğümlü Kafka kurup CLI ve basit Python kodu ile veri akışını birebir oluşturur ve consumer group davranışını gözlemler.

Neden Bu Eğitim?

🚪Hızlı Giriş

Kafka'nın temel kavramlarını veri işleme bağlamında net kavrarsınız.

🔧İlk Akış

Kurulumdan ilk mesaj akışına kadar uçtan uca pratik yaparsınız.

🧭Ekosistem

Connect, Streams ve ksqlDB'nin veri işlemedeki yerini görürsünüz.

Anahtar Konular

kafka başlangıçkafka veri işlemegetting started kafkakafka temelleritopic partitionconsumer groupkafka pythonkafka kurulumveri akışıolay işleme

“Veri işlemeyi öğrenmek, verinin ilk kez akmaya başladığı topic'i izlemekle başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Programlama

Python veya benzeri bir dilde basit kod okuyabilme faydalıdır.

2

Terminal

Komut satırında temel komutları çalıştırabilme beklenir.

3

Veri Kavramı

Kayıt, akış ve kuyruk gibi kavramlara aşinalık faydalıdır.

4

Çalışma Ortamı

Kafka/Docker kurulabilen bir bilgisayar ve internet erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Kafka'nın veri işlemedeki rolünü kavrayıp ilk topic'i oluşturabilir.

Modül 1

Veri İşleme ve Kafka

Batch ve stream (akış) işleme farkı
Olay tabanlı veri hattında Kafka'nın rolü
Kafka'nın yüksek verim ve ölçek avantajı
Kalıcı log ile tekrar okunabilirlik
Gerçek dünya veri akışı örnekleri
Kafka'nın ETL/ELT ile ilişkisi

Modül 2

Temel Kavramlar

Topic, partition ve offset tanımı
Producer ve consumer rolleri
Broker ve mesaj saklama
Mesaj key ve value
Consumer group'un işlevi
Teslim ve sıralama sezgisi

Modül 3

Kurulum

Docker ile tek düğümlü Kafka
Bootstrap server yapılandırması
KRaft mod ile basit kurulum
Kurulumun doğrulanması
Temel yapılandırma dosyaları
Yaygın kurulum sorunları

Modül 4

İlk Topic

kafka-topics ile topic oluşturma
Partition sayısının seçimi
-describe ile topic inceleme
Topic listeleme ve silme
Topic isimlendirme kuralları
Varsayılan retention ayarı

Günün hedefiKatılımcı, CLI ve Python ile veri üretip tüketerek ilk akış hattını kurabilir.

Modül 1

CLI ile Veri Akışı

kafka-console-producer ile veri gönderme
kafka-console-consumer ile veri okuma
-from-beginning ile baştan okuma
Key'li mesaj üretimi
Akışın gerçek zamanlı gözlemi
Birden çok tüketicinin izlenmesi

Modül 2

Consumer Group

Partition'ların gruba dağıtımı
Paralel tüketim ve yük paylaşımı
Farklı grupların bağımsızlığı
consumer-groups ile lag görüntüleme
Rebalance davranışının gözlemi
Grup bazlı offset yönetimi

Modül 3

Python ile Üretim/Tüketim

kafka-python kurulumu
KafkaProducer ile mesaj gönderme
KafkaConsumer ile poll ve işleme
JSON serileştirme/deserialize
Hata ve yeniden deneme yönetimi
Uçtan uca basit hattın çalıştırılması

Modül 4

Ekosistem ve Sonraki Adımlar

Kafka Connect'in veri taşımadaki rolü
Kafka Streams ile akış işleme
ksqlDB ile SQL tabanlı işleme
Schema Registry'ye genel bakış
Yaygın başlangıç hataları
Öğrenme yol haritası

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Veri İşleme

Batch ve akış işleme farkını ve Kafka'nın rolünü açıklarsınız.

✅

Kavramlar

Topic, partition, offset ve consumer group'u kavrarsınız.

✅

Kurulum

Docker ile tek düğümlü Kafka'yı kurup doğrularsınız.

✅

Topic İşlemleri

kafka-topics ile topic oluşturup incelersiniz.

✅

CLI Akış

Konsol producer/consumer ile ilk veri akışını kurarsınız.

✅

Consumer Group

Grup mantığını ve lag görüntülemeyi uygularsınız.

✅

Python İstemci

kafka-python ile basit producer/consumer yazarsınız.

✅

Ekosistem

Connect, Streams ve ksqlDB'nin yerini kavrarsınız.

Kimler İçin Uygundur?

Veri işleme ve veri hattı konularına yeni başlayan yazılımcılar
veri analistleri
Kafka'yı temelden öğrenmek isteyen teknik profesyoneller için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri işleme ve veri hattı konularına yeni başlayan yazılımcılar, veri analistleri ve Kafka'yı temelden öğrenmek isteyenler için uygundur.

Kafka Introduction eğitiminden farkı nedir?

Bu eğitim kavramları özellikle veri işleme ve veri hattı bağlamında ele alır ve ekosistemin (Connect/Streams/ksqlDB) veri işlemedeki yerini vurgular.

Programlama bilmem şart mı?

Temel kod okuyabilmek yeterlidir; eğitim Python istemcisini adım adım gösterir, derin programlama bilgisi gerekmez.

Kurulum için ne gerekli?

Docker çalıştırabilen bir bilgisayar yeterlidir; tek düğümlü Kafka birkaç dakikada ayağa kalkar ve tüm alıştırmalar bunun üzerinde yapılır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PROCESSING DATA: GETTING STARTED WITH APACHE KAFKA EĞİTİMİ