Güvenilir veri hatlarını baştan sona kurun
Kaynak çıkarma, ELT dönüşüm, DAG orkestrasyon, idempotency, veri kalitesi kapıları, şema evrimi ve gözlemlenebilirlikle uçtan uca veri hattı kurmayı öğreten eğitim.
Uçtan uca veri hattı tasarımı ve işletimi
Bu eğitim güvenilir veri hatları (data pipeline) kurmayı uçtan uca öğretir. Kaynak çıkarma (DB, API, dosya), batch ve incremental/CDC desenleri, ELT ve staging mimarisi, idempotency ve yeniden işleme işlenir. Orkestrasyon araçlarıyla (Airflow benzeri) DAG tasarımı, bağımlılık ve zamanlama, hata yönetimi ve retry ele alınır. Veri kalitesi kontrolleri, şema evrimi, partition/incremental yükleme, parametreleme ve ortam ayrımı anlatılır. Gözlemlenebilirlik (log, metrik, freshness), lineage ve maliyet farkındalığı uygulamalı gösterilir.
3 Gün. Her gün dört modül; kaynak çıkarma ve orkestrasyon labler içerir.
Orta Seviye — Batch ve incremental veri hatlarının tasarımı, orkestrasyonu, kalite ve gözlemlenebilirliğini kapsar.
Birden çok kaynaktan beslenen bir ELT hattını tasarlayıp orkestre ederek öğrenilir.
Çıkarma, dönüşüm ve yüklemeyi bütünleşik tasarlarsınız.
Idempotency ve retry ile tekrar çalıştırılabilir hatlar kurarsınız.
Log, metrik ve freshness ile hattı gözlemlenebilir kılarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Sorgulama ve dönüşüm için SQL bilgisi gerekir.
Çıkarma/yükleme scriptleri için temel Python faydalıdır.
Veri ambarı/göl ve ETL kavramlarına aşinalık beklenir.
Orkestrasyon aracı ve bir hedef depo erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
DB, API ve dosya kaynaklarından veriyi güvenle çıkarırsınız.
Raw/clean/curated katmanlı dayanıklı hat tasarlarsınız.
CDC ve artımlı yükleme desenlerini uygularsınız.
DAG, zamanlama ve bağımlılıkları yönetirsiniz.
retry, karantina ve kurtarma ile dayanıklılık sağlarsınız.
Kalite kapılarıyla hatalı veriyi hatta durdurursunuz.
Log, metrik ve freshness ile hattı izlersiniz.
Lineage, maliyet ve CI ile hattı sürdürülebilir işletirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Snowflake'te bulk, mikro-batch ve sürekli yükleme teknikleri, dönüşümlü COPY, dosya optimizasyonu ve idempotent yüklemeyle performans eğitimi.
Detayları Gör →
Snowflake Query Profile, clustering, spilling, ambar ayarı, cache, search optimization ve maliyet analiziyle bütünsel performans yönetimi eğitimi.
Detayları Gör →
Snowflake Stream nesnesi, CDC metadata'sı, MERGE tüketimi, SCD Type 1/2 ve stream+task ile Snowflake içi değişim veri yakalama eğitimi.
Detayları Gör →
Talend Open Studio for ESB ile SOAP/REST data service, Apache Camel route, içerik tabanlı yönlendirme ve Karaf dağıtımı eğitimi.
Detayları Gör →
Talend context, metadata, generic/dynamic şema ve tDB bileşenleriyle kaynak ve ortam bağımsız, taşınabilir veri işleri tasarlama eğitimi.
Detayları Gör →