ETL testini ileri tekniklerle otomatikleştirin
Metadata ve anahtar doğrulama, hash/fuzzy karşılaştırma, regresyon paketleri ve pytest tabanlı çerçeveyle ETL testini CI kalite kapılarına bağlayan ileri eğitim.
ETL test mühendisleri için ileri teknik ve otomasyon
Bu eğitim ETL testini temel sorgulardan ileri otomasyona taşır. Metadata ve veri sözlüğü doğrulama, STTM tabanlı otomatik sorgu üretimi, regresyon test paketi tasarımı, fuzzy/approximate matching, surrogate key doğrulama ve referans bütünlüğü ileri düzeyde işlenir. pytest ve PyTest-BDD ile test çerçevesi kurma, parametrik test, veri karşılaştırmada hash ve bloom filter kullanımı, büyük veri için örnekleme ve stratifiye doğrulama gösterilir. Test kapsamı metrikleri, kalite kapıları ve CI/CD entegrasyonu uygulamalı ele alınır.
3 Gün. Her gün dört modül; otomatik test paketi yazma ağırlıklı uygulamalı labler.
İleri Seviye — ETL testinde metadata doğrulama, regresyon, otomasyon çerçeveleri ve ileri reconciliation tekniklerini kapsar.
Gerçek STTM belgelerinden otomatik test sorguları üreten bir pytest çerçevesi kurarak öğrenilir.
Veri sözlüğü ile fiili şema arasındaki sapmaları otomatik yakalarsınız.
Her sürümde çalışan regresyon paketleriyle gizli bozulmaları önlersiniz.
pytest tabanlı yeniden kullanılabilir test çerçevesi kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel source-to-target doğrulama deneyimi beklenir.
Analitik fonksiyon ve set operatörleriyle sorgu yazabilmek gerekir.
pytest örnekleri için orta düzey Python faydalıdır.
Kaynak/hedef veritabanı ve Python erişimi olan ortam gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veri sözlüğü ile şema sapmalarını otomatik doğrularsınız.
Surrogate/natural key ve referans bütünlüğünü test edersiniz.
STTM belgelerinden otomatik test sorguları üretirsiniz.
Hash ve bloom filter ile büyük veriyi hızla karşılaştırırsınız.
Yaklaşık eşleştirmeyle standardizasyon hatalarını yakalarsınız.
Golden veri setiyle sürüm regresyonlarını önlersiniz.
pytest tabanlı yeniden kullanılabilir test çerçevesi kurarsınız.
CI'da kalite kapıları ve kapsam metrikleri tanımlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Streamlit in Snowflake ile Snowpark'tan veri çekip etkileşimli veri uygulaması geliştirme, cache, RBAC ve Snowflake içi dağıtım eğitimi.
Detayları Gör →
Snowflake Task graph (DAG), finalizer, serverless orkestrasyon, hata yönetimi ve gözlemlenebilirlikle ölçeklenebilir pipeline mimarisi eğitimi.
Detayları Gör →
Kimball, Inmon, Data Vault 2.0 ve lakehouse ile boyutsal modelleme, SCD, fact türleri ve modern DWH mimari tasarımı eğitimi.
Detayları Gör →
Make (Integromat) ile senaryo, modül, router, iterator/aggregator, webhook ve HTTP modülüyle kodsuz veri entegrasyonu eğitimi.
Detayları Gör →
Tanımlayıcı/çıkarımsal istatistik, hipotez testi, regresyon ve zaman serisi tahminini pandas/statsmodels ile veri pipeline'ında uygulama eğitimi.
Detayları Gör →