Veriyi gerçek zamanlı akışta işle ve analiz et
Verinin oluştuğu anda işlendiği gerçek zamanlı hatları öğreten ileri eğitim: olay akışı ve Kafka, Spark Structured Streaming ve Flink ile akış işleme, olay zamanı ve watermark, tumbling/sliding/session pencereleme, durum yönetimi ve checkpoint, exactly-once t…
Gerçek zamanlı akış veri hatları ve akış analitiği mimarileri
Bu ileri seviye eğitim, verinin oluştuğu anda işlendiği gerçek zamanlı akış (streaming) hatları ve akış analitiğini öğretir. Olay akışı (event streaming) kavramı ve Apache Kafka, Spark Structured Streaming ve Apache Flink ile akış işleme, olay zamanı ve pencereleme (tumbling, sliding, session), watermark ile geç gelen veri, durum (state) yönetimi, tam-bir-kez (exactly-once) semantiği, akış-tablo ikiliği ve gerçek zamanlı toplama/uyarı işlenir. Lambda/Kappa mimarileri ve üretim dağıtımı ele alınır.
3 Gün. Her gün dört modül; katılımcılar olay akışından üretim akış analitiğine ilerler.
İleri Seviye — Gerçek zamanlı akış (streaming) veri hatları ve akış analitiği.
Katılımcılar Kafka ve Spark/Flink ile gerçek akış hatları kurup pencereleme uygulayarak öğrenir.
Veriyi beklemeden, oluştuğu anda işleyip analiz edersiniz.
Zaman pencereleri ve watermark ile akışta doğru toplama yaparsınız.
Exactly-once semantiğiyle veri kaybı ve tekrarını önlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Toplu (batch) ETL ve veri hattı deneyimi gerekir.
Scala/Java ya da Python ile temel kodlama faydalıdır.
Dağıtık sistem ve mesajlaşma kavramlarına aşinalık yararlıdır.
Kafka ve Spark/Flink çalıştırılabilen bir ortam gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Kafka ile dayanıklı olay akış altyapısı kurarsınız.
Structured Streaming ve Flink ile akış işlersiniz.
Olay zamanı ve watermark ile geç veriyi yönetirsiniz.
Tumbling/sliding/session pencerelerle toplama yaparsınız.
Stateful işleme ve checkpoint ile dayanıklılık kurarsınız.
Tam-bir-kez teslim garantisini sağlarsınız.
Lambda/Kappa mimarileriyle akış sistemi tasarlarsınız.
İzlenen, ölçeklenen akış analitiğini üretime alırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Veri soyağacı, provenance, sınıflandırma ve DLP ile verinin kökenini izleyin, hassas veriyi keşfedin ve sızıntıya karşı uçtan uca koruyun.
Detayları Gör →
Keşifsel analiz (EDA), trend ve mevsimsellik ayrıştırma, üstel düzeltmeyle zaman serisi tahmini ve MAPE/RMSE ile doğruluk ölçümünü uygulamalı öğrenin.
Detayları Gör →
R'da ts/tsibble, forecast ve fable ile ETS, ARIMA ve otomatik modelleme kullanarak zaman serisi tahmini yapın; artık analizi ve CV ile değerlendirin.
Detayları Gör →
Analitik türlerini, örneklem yanlılığını, korelasyon-nedensellik tuzağını, p-değerini ve yanıltıcı grafikleri ayırt ederek analizleri eleştirel okuyun.
Detayları Gör →
Veri türlerini, ölçüm düzeylerini, temel özetleri ve grafik okumayı öğrenerek veriyi doğru yorumlayın ve bağlamıyla sade biçimde anlatın.
Detayları Gör →