Metaveri güdümlü veri gölü çerçevesini elinizle kurun
Metaveri güdümlü bir veri gölü ingest çerçevesini Delta Lake ve Airflow ile sıfırdan tasarlayıp uygulamayı öğreten ileri eğitim.
Veri gölü çerçevesini sıfırdan tasarlayıp uygulamaya dönük program
Bu eğitim, yeniden kullanılabilir ve metaveri güdümlü bir veri gölü çerçevesini tasarlayıp uygulama becerisi kazandırır. Dizin ve bölge (landing/raw/curated) düzeni, dosya adlandırma ve bölümleme, yapılandırma (config) ve metaveri güdümlü ingest motoru, şema kaydı ve evrim ele alınır. Delta Lake ile katman dönüşümleri, idempotent yükleme, hata ve karantina yönetimi, orkestrasyon (Airflow), CI/CD ve altyapı kodu işlenir. Katılımcı; birden çok kaynağı parametrik olarak yükleyen çalışan bir çerçeve kurar.
3 Gün. Her gün dört modül; çerçeve tasarımı, ingest motoru ve orkestrasyon/operasyon üzerine uygulama.
İleri Seviye — metaveri güdümlü veri gölü çerçevesi tasarımı, yükleme hatları ve bulut üzerinde uygulama
Bulut nesne depolama ve Spark/Delta ile config güdümlü bir ingest çerçevesi kodlanarak uygulama yapılır.
Metaveri güdümlü çerçeveyle her yeni kaynağı kod yazmadan ekleyebilirsiniz.
Bölge ve katman standardıyla tutarlı, bakımı kolay bir göl kurarsınız.
İdempotent ve karantinalı yüklemeyle veri kaybı ve çift kaydı önlersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
PySpark veya Spark ile temel deneyim gerekir.
Nesne depolama ve bulut hizmetlerine aşinalık önerilir.
SQL ve kolon formatlarına aşinalık faydalıdır.
Spark/Delta çalıştırılabilen bir bulut veya yerel ortam gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Standart bölge ve katman düzeni tasarlayabilirsiniz.
Config/metaveri güdümlü yükleme modeli kurabilirsiniz.
Şema kaydı ve evrimini yönetebilirsiniz.
Parametrik, yeniden kullanılabilir ingest motoru kodlayabilirsiniz.
Delta MERGE ile idempotent katman dönüşümleri yazabilirsiniz.
Karantina ve yeniden işleme ile kaliteyi koruyabilirsiniz.
Airflow ile config güdümlü hatları orkestre edebilirsiniz.
İzleme, CI/CD ve IaC ile çerçeveyi işletebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Kamu sektöründe veri temelli karar eğitimi: kanıta dayalı politika, performans göstergeleri, veri kalitesi, kıyaslama, etki değerlendirme, pano ve açık veri eti
Detayları Gör →
Pandas ile eksik değer, yinelenen kayıt, aykırı değer ve biçim tutarsızlıklarını tespit edip gidermeyi ve tekrarlanabilir temizleme hattı kurmayı öğrenin.
Detayları Gör →
Veri türleri, betimsel istatistik, pivot tablolar ve temel SQL ile sıfırdan veri okuryazarlığı kazanmayı amaçlayan başlangıç seviyesi analitik eğitimi.
Detayları Gör →
Gereksinim toplama, BPMN süreç modelleme, paydaş analizi, KPI tanımlama ve veriye dayalı iş gerekçesiyle iş analizinin temellerini uygulamalı öğrenin.
Detayları Gör →
Veri yönetişimi, MDM, veri sözlüğü, veri kalitesi, data fabric ve sektöre özgü veri modelleriyle veriyi kurumsal varlık olarak yönetmeyi öğrenin.
Detayları Gör →