Veriyi toplu ve akış halinde işleyin
Toplu ve akış işleme mimarileri: hat tasarımı, dönüşümler, bölümleme ve shuffle, PySpark ile dağıtık işleme, olay zamanlı pencereleme ve teslim garantileri gerçek senaryolarla uygulamalı işlenir.
Toplu ve akış işleme mimarileri ve kalıpları
Bu eğitim, verinin ham kaynaktan kullanılabilir çıktıya dönüştürüldüğü işleme sistemlerini ele alır. Toplu (batch) işleme ile akış (stream) işleme arasındaki farkları, işleme hattı (pipeline) tasarımını, idempotent ve yeniden çalıştırılabilir adımları öğrenirsiniz. Veri dönüşümleri (map, filter, aggregate, join), paralel ve dağıtık işleme mantığı, bölümleme (partitioning) ve karıştırma (shuffle) işlenir. Akış işlemede olay zamanı, pencereleme (tumbling, sliding, session), su işareti (watermark) ve tam-bir-kez (exactly-once) teslim ele alınır. Hata toleransı, geri basınç (backpressure) ve izleme kalıpları incelenir. Örnekler Python (pandas, PySpark giriş) ve akış kavramları üzerinde kurgulanır.
3 Gün. Her gün dört modül; kavram anlatımının ardından Python ile işleme hattı uygulaması yapılır.
Orta Seviye — Veri işleme: toplu (batch) ve akış (stream) işleme, dönüşüm hatları, paralel işleme ve işleme kalıpları.
Python ve PySpark girişiyle toplu ve akış işleme hatları kurularak dönüşüm ve pencereleme uygulamalı çalışılır.
Batch ve stream işlemeyi karşılaştırıp probleme uygun olanı seçersiniz.
Bölümleme ve paralel işlemeyle büyük veriyi hızlı işlersiniz.
Idempotentlik ve hata toleransıyla işlemeyi dayanıklı kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Fonksiyon ve koleksiyon işleme pratiğine sahip olmak gerekir.
Tablo ve kayıt kavramını bilmek örnekleri kolaylaştırır.
Toplulaştırma ve JOIN mantığına aşinalık faydalıdır.
Python, pandas ve bir PySpark/akış denemesi yapılabilir ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Batch ve stream işlemeyi karşılaştırıp doğru olanı seçersiniz.
Modüler ve test edilebilir işleme hatları tasarlarsınız.
Map, filter, aggregate ve join dönüşümlerini zincirlersiniz.
Bölümleme ve paralel işlemeyle büyük veriyi ölçeklersiniz.
DataFrame API ile dağıtık işleme işi yazıp planını incelersiniz.
Olay zamanlı pencerelerle akış toplulaştırmaları yaparsınız.
Tam-bir-kez ve idempotent yazmayla güvenilirlik sağlarsınız.
Gecikme ve lag metrikleriyle işleme sistemini operasyonel izlersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Modern veri mimarisi eğitimi: veri siloları, veri gölü, lakehouse ve veri akışı (streaming) kavramları karşılaştırmalı tanıtılır. Giriş düzeyinde uygulamalı DVA
Detayları Gör →
Veri kaynakları ve kimlik doğrulama eğitimi: veritabanı/API bağlantısı, kaynak veri modelleri, rate limit, OAuth2, JWT ve secret yönetimi. Python ile DVA eğitim
Detayları Gör →
Edge veri entegrasyonu eğitimi: IoT kaynaklardan toplama, MQTT ve QoS, edge ön işleme, store-and-forward, cihaz güvenliği ve buluta akıtma. Uygulamalı DVA eğiti
Detayları Gör →
Veri hikâyeleştirme ve görselleştirme eğitimi: görsel kodlama, grafik seçimi, renk ve erişilebilirlik, gösterge paneli ve anlatı yapısı. Plotly ile DVA eğitimi.
Detayları Gör →
Pazarlama veri hikâyeleştirme en iyi uygulamaları: KPI, dönüşüm hunisi, atıflandırma, kohort, A/B anlatısı ve kampanya raporlama. Uygulamalı DVA eğitimi.
Detayları Gör →