Büyük veriyi akıllı veriye dönüştürün
Büyük verinin hacim ve hız boyutlarını yöneten; batch/stream işleme, Lambda/Kappa mimarileri, Kafka ile toplama, Spark işleme ve veri kalitesiyle ham veriyi akıllı veriye çeviren eğitim.
Hacim, hız ve değer odaklı büyük veri mimarisi eğitimi
Bu eğitim, büyük verinin hacim (volume) ve hız (velocity) boyutlarını teknik olarak yönetip ham veriyi karar için kullanılabilir 'akıllı veriye' dönüştürmeyi ele alır. Toplu (batch) ve akış (stream) işleme yaklaşımları, Lambda ve Kappa mimarileri, Kafka ile veri toplama, Spark ile ölçekli işleme, veri kalitesi ve zenginleştirme, gerçek zamanlı toplama ve pencereleme, veri gölü/ambar katmanlama gibi somut konuları kapsar. Katılımcı hangi verinin, hangi hızda, hangi mimariyle işleneceğine dair gerekçeli kararlar alır.
3 Gün. Her gün dört modül; her modül anlatım ve toplu/akış işleme labı içerir.
Orta Seviye — Büyük veriyi hacim ve hız boyutlarıyla yönetip anlamlı 'akıllı veriye' dönüştürme.
Kafka ve Spark tabanlı bir ortamda toplu ve akış işleme senaryolarını kurarak ve karşılaştırarak öğrenme.
Yüksek hızlı veri akışlarını gecikmesini kontrol ederek işleyebilirsiniz.
Ham veriyi temizleyip zenginleştirerek karar için kullanılabilir hale getirirsiniz.
Lambda ve Kappa arasında senaryoya uygun mimariyi gerekçeli seçersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HDFS ve dağıtık işleme kavramlarına aşinalık gerekir.
Python veya Scala ile temel kod okuyabilmek faydalıdır.
Kafka ve Spark'a giriş düzeyinde aşinalık avantaj sağlar.
Kafka ve Spark kurulu bir ortam veya sandbox önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veriyi hacim ve hız boyutlarıyla sınıflandırabilirsiniz.
Batch ve stream arasında gerekçeli seçim yapabilirsiniz.
Lambda ve Kappa mimarilerini karşılaştırıp seçebilirsiniz.
Kafka ile dayanıklı veri toplama hatları kurabilirsiniz.
Veriyi doğrulayıp temizleyerek kaliteyi artırabilirsiniz.
Akışı referans veriyle zenginleştirebilirsiniz.
Pencereleme ve toplama ile anlık içgörü üretebilirsiniz.
Ham veriyi karar için hazır akıllı veriye dönüştürebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Büyük veri ETL testi: source-to-target doğrulama, reconciliation, veri kalitesi, şema, SCD ve performans testini SQL/PySpark ile öğrenin.
Detayları Gör →
Apache Flink ileri eğitimi: event-time, watermark, keyed state, checkpoint, Flink SQL, streaming join ve CEP ile exactly-once akış uygulamaları.
Detayları Gör →
İleri Hadoop/Spark ayarı, YARN kuyrukları, Spark shuffle/skew/AQE tuning ve Hive/Impala/Trino ile SQL-on-Hadoop optimizasyonunu öğrenin.
Detayları Gör →
Kafka ve Spark Structured Streaming ile exactly-once, watermark, stateful join, state store ve üretim operasyonunu uzman düzeyde öğrenin.
Detayları Gör →
İleri MapReduce: özel partitioner, combiner, secondary sort, map/reduce-side join, counter ve performans ayarını Java ile uygulamalı öğrenin.
Detayları Gör →