Üretici ve tüketiciyi derinlemesine ayarlayın
Producer akümülatör/sender, consumer fetch/poll/rebalance, transactions ve exactly-once ile throughput-latency dengesini kuran ileri düzey Kafka istemci mimarisi eğitimi.
Producer/consumer iç mimarisi ve ileri performans ayarı
Bu eğitim, Kafka producer ve consumer mimarisini ileri düzeyde ele alır. Producer'ın RecordAccumulator, Sender thread ve in-flight request mekanizması; batching, linger, sıkıştırma ve idempotence ile throughput-latency dengesi işlenir. Consumer'ın fetch mekanizması, poll döngüsü, offset yönetimi, rebalance (eager/cooperative) ve assignor stratejileri uygulamalı ele alınır. Exactly-once (transactions), geri basınç, hot partition ve ince performans ayarı derinlemesine gösterilir.
3 Gün. Her gün dört modül; performans profilleme ve ince ayar ağırlıklı labler.
İleri Seviye — Producer/consumer iç mimarisi, ince ayar, throughput/latency dengesi ve exactly-once'ı kapsar.
Producer/consumer metriklerini ölçüp parametreleri ayarlayarak throughput ve latency'yi optimize ederek öğrenilir.
Producer/consumer'ın iç mekanizmasını bilerek ayarları bilinçli seçersiniz.
Throughput ve latency arasındaki dengeyi ölçerek optimize edersiniz.
Idempotence ve transactions ile teslim garantilerini hassasça yönetirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Producer/consumer yazmış olmak ve temel ayarları bilmek gerekir.
Java'da kod yazabilmek beklenir.
Metrik okuma ve profilleme kavramlarına aşinalık faydalıdır.
Yük üretebilen bir Kafka test ortamı gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Akümülatör ve sender mekanizmasını bilerek ayar yaparsınız.
linger/batch/sıkıştırma ile throughput-latency dengesini kurarsınız.
Consumer fetch parametrelerini SLA'ya göre ayarlarsınız.
max.poll.interval tuzaklarını önler, kararlı tüketim kurarsınız.
Cooperative assignor ile rebalance maliyetini düşürürsünüz.
Transactions ile uçtan uca EOS kurarsınız.
Benchmark ile darboğazları bulup optimize edersiniz.
JMX metrikleriyle istemci davranışını izler ve iyileştirirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Büyük veride dağıtık işleme, örnekleme, HyperLogLog ve Count-Min sketch, PCA ve Spark MLlib ile ölçeklenebilir analitik tekniklerini uygulamalı öğrenin.
Detayları Gör →
Apache Kafka'yı mimariden üretime: topic, partition, producer/consumer API, exactly-once, Kafka Streams ve Connect ile uygulamalı olay akışı eğitimi.
Detayları Gör →
Hadoop üzerinde HiveQL ile SQL benzeri sorgulama ve Pig Latin ile veri akışı programlamayı uygulamalı öğrenin: partition, UDF ve uçtan uca ETL.
Detayları Gör →
Hive sorgularını partition pruning, bucketing, ORC/Parquet ve Tez ayarlarıyla hızlandırın. EXPLAIN plan okuma ve CBO ile ileri optimizasyon eğitimi.
Detayları Gör →
Veri analitiği temelleri, SQL ve Python (pandas) ile analiz ve Hadoop/Spark ile büyük veri işlemeyi uçtan uca öğrenin. Uygulamalı giriş eğitimi.
Detayları Gör →