Kirli veriyi kaynağında yakalayın, güvenle analiz edin
Eksik, çelişkili ve aykırı veriyi tespit edip Pydantic, JSON Schema ve Great Expectations ile doğrulama hattı kurmayı öğreten uygulamalı eğitim.
Veri hatalarını sınıflandırmaktan otomatik doğrulama hattı kurmaya uzanan uygulamalı bir program
Bu eğitim, veri setlerindeki hataları sistematik biçimde tespit etme ve doğrulama kuralları ile önleme becerisi kazandırır. Eksik değerler (NULL/NaN), tip uyuşmazlıkları, aralık dışı değerler, tekrar eden kayıtlar, referans bütünlüğü ihlalleri ve aykırı değerler ele alınır. pandas ve Great Expectations ile veri profili çıkarma, Pydantic ve JSON Schema ile şema doğrulama, regex tabanlı format kontrolleri ve CHECK kısıtlarıyla kaynakta engelleme konuları işlenir. Katılımcı, CI hattına entegre edilebilen tekrarlanabilir bir doğrulama katmanı kurar.
3 Gün. Her gün dört modül; hata tipolojisi, profil çıkarma, kural tasarımı ve otomasyon üzerine uygulamalı atölye.
Orta Seviye — veri hatası tipolojisi, doğrulama kuralları, şema denetimi ve otomatik veri kalitesi kontrolleri
Gerçek kirli veri setleri üzerinde pandas ve Great Expectations ile laboratuvar çalışmaları yapılır.
Hataları analiz aşamasından önce yakalayarak yanlış karar riskini düşürürsünüz.
Doğrulama kurallarını CI hattına taşıyıp her veri yüklemesinde tekrar çalıştırırsınız.
Tamlık, tutarlılık ve doğruluk metrikleriyle veri kalitesini raporlarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, WHERE ve JOIN sorgularını yazabilmek faydalıdır.
DataFrame ile temel veri okuma ve filtreleme deneyimi önerilir.
Tablo, sütun tipi ve birincil anahtar kavramlarına aşinalık gerekir.
Python 3.x, pandas ve Jupyter kurulu bir ortam gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veri hatalarını türlerine göre sistematik olarak sınıflandırabilirsiniz.
Bir veri setinin kalite profilini pandas ile hızla çıkarabilirsiniz.
Pydantic ve JSON Schema ile şema kontratları tanımlayabilirsiniz.
Regex ve checksum ile format ve geçerlilik denetimi yapabilirsiniz.
Alanlar arası ve koşullu iş kurallarını kodlayabilirsiniz.
SQL kısıtları ile hatalı veriyi girişte engelleyebilirsiniz.
Great Expectations ile tekrarlanabilir doğrulama hattı kurabilirsiniz.
Kalite metriklerini izleyip eşik aşımında uyarı üretebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Senaryo tabanlı Fabric Lakehouse atölyesi: gerçek iş vakasında veri alımı, medallion dönüşüm, optimizasyon ve DirectLake raporlamayı challenge formatında uygula
Detayları Gör →
Veri ambarı, boyutsal modelleme, ETL, SSAS semantic model, raporlama, gateway, RLS güvenlik ve izleme ile kurumsal BI altyapısını uçtan uca kurmayı öğrenin.
Detayları Gör →
Microsoft Purview ile sınıflandırma, duyarlılık etiketleri, otomatik etiketleme, DLP politikaları, endpoint DLP ve olay yönetimini senaryo tabanlı uygulayın.
Detayları Gör →
Senaryo tabanlı Fabric Real-Time Intelligence atölyesi: akış vakasında Eventstream, Eventhouse/KQL, zaman serisi, pano ve Data Activator'ı challenge formatında
Detayları Gör →
CSV, JSON, XML, Excel, veritabanı ve API'den veri içe/dışa aktarma, karakter kodlama, Türkçe karakter ve doğrulama tekniklerini uygulamalı öğrenin.
Detayları Gör →