Kafka ile gerçek zamanlı veri hatlarını uçtan uca kurun
Apache Kafka üzerinde topic/partition tasarımı, Connect ile entegrasyon, Schema Registry ile şema evrimi, Kafka Streams ve exactly-once semantics odaklı uçtan uca veri hattı mühendisliği eğitimi.
Tasarım kararları, operasyon ve gözlemlenebilirlik eksenli ileri Kafka veri hattı eğitimi
Bu eğitim, Apache Kafka tabanlı veri hatlarının mimari tasarımını, kurulumunu ve üretim ortamında işletimini ele alır. Topic ve partition boyutlandırma, replication factor ve ISR, producer acks ve idempotency, consumer group ve offset yönetimi, Kafka Connect ile kaynak/hedef entegrasyonu, Single Message Transforms, Schema Registry ile Avro şema evrimi, Kafka Streams ile akış dönüşümleri ve exactly-once semantics gibi somut konuları kapsar. Katılımcı; gecikme, throughput ve veri bütünlüğü hedeflerine göre doğru mimari kararları alır.
4 Gün. Her gün dört modül; her modül kavramsal anlatım ve çalışan bir Kafka cluster üzerinde uygulamalı lab içerir.
İleri Seviye — Apache Kafka üzerinde uçtan uca veri hatları tasarlama, Kafka Connect ve Streams ile akış işleme ve üretim ortamı işletimi.
Docker ile ayağa kaldırılan çok broker'lı Kafka cluster üzerinde CLI, Connect ve Streams uygulamalarıyla laboratuvar çalışması.
Toplu işleme yerine milisaniye gecikmeli akış hatları tasarlayarak veriyi oluştuğu anda işlersiniz.
Kafka Connect ile veritabanı, nesne depolama ve dış sistemleri kod yazmadan bağlarsınız.
Idempotent producer ve exactly-once semantics ile yineleme ve veri kaybını önlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel kabuk komutları ve servis yönetimi konusunda rahat olmak gerekir.
Java veya Scala ile temel kod okuyabilmek Streams örnekleri için faydalıdır.
Replication, partition ve consensus kavramlarına aşinalık avantaj sağlar.
Çalışma için Docker ve 8 GB RAM'li bir geliştirme makinesi önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
İş yüküne göre topic, partition ve replication tasarımını gerekçeli biçimde yapabilirsiniz.
Idempotency ve exactly-once semantics ile veri kaybı ve yinelemeyi önleyebilirsiniz.
Kafka Connect ve Debezium ile CDC tabanlı entegrasyon hatları kurabilirsiniz.
Schema Registry ile uyumlu şema evrimi yönetebilirsiniz.
Kafka Streams ile stateful dönüşüm ve pencere işlemleri yazabilirsiniz.
Consumer lag ve broker metriklerini izleyip alarm kurabilirsiniz.
TLS, SASL ve ACL ile cluster erişimini güvenli hale getirebilirsiniz.
Rolling upgrade, reassignment ve felaket kurtarma süreçlerini yürütebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Flink'e giriş: DataStream API, event-time, watermark, keyed state, pencereleme, checkpoint ve Kafka entegrasyonu. Uygulamalı temel seviye eğitim.
Detayları Gör →
Apache Spark'a giriş: driver/executor mimarisi, RDD, transformation/action, DataFrame, Spark SQL, Parquet ve önbellekleme. Uygulamalı temel seviye eğitim.
Detayları Gör →
Hadoop'a kapsamlı giriş: büyük veri 3V, HDFS, YARN, MapReduce ve Hive/Pig/HBase/Spark ekosistemi ile dağıtım/bulut seçenekleri. Başlangıç seviyesi eğitim.
Detayları Gör →
Spark Structured Streaming ile akış işleme ve MLlib pipeline ile ölçeklenebilir ML'i birleştirin: watermark, checkpoint, model eğitimi ve akışta skorlama.
Detayları Gör →
HDFS mimarisini öğrenin ve hdfs dfs komutlarıyla veri yükleme, izin, replikasyon, kota, fsck ve bakım işlemlerini uygulamalı yönetin. Temel seviye DVA eğitimi.
Detayları Gör →