Veri boru hatlarını güvenilir ve gözlemlenebilir kıl
Veri boru hatlarını üretimde güvenilir tutmanın mühendislik pratiklerini öğreten ileri seviye eğitim: gözlemlenebilirliğin beş sütunu, Great Expectations/dbt ile kalite testleri, veri sözleşmeleri, SLI/SLO ve hata bütçesi, anomali tespiti, kök neden analizi v…
Veri gözlemlenebilirliği, kalite, SLO ve olay yönetimi
Bu ileri seviye eğitim, veri boru hatlarını üretimde güvenilir tutmanın mühendislik pratiklerini (Data Reliability Engineering) ele alır. Veri gözlemlenebilirliğinin beş sütunu (tazelik, hacim, şema, dağılım, soy/lineage), veri kalitesi test türleri ve araçları (Great Expectations, dbt test) işlenir. Ardından veri SLA/SLO/SLI tanımı, veri sözleşmeleri (data contracts), şema evrimi ve geriye uyum, anomali tespiti ve uyarı, kök neden analizi, olay (incident) yönetimi ve postmortem, pipeline idempotentliği ve geri dolum (backfill) ele alınır. Katılımcı, bir veri ürününe güvenilirlik güvencesi tasarlayabilir.
4 Gün. Her gün dört modül; katılımcılar gözlemlenebilirlikten olay yönetimine kadar ilerler.
İleri Seviye — Veri boru hatlarının güvenilirliği: gözlemlenebilirlik, veri kalitesi, SLA/SLO ve olay yönetiminin ele alınması.
Katılımcılar örnek boru hatları üzerinde kalite testleri, SLO tanımları ve olay senaryolarını uygulayarak öğrenir.
Veriyi tazelik, hacim ve şema boyutlarıyla izlersiniz.
Otomatik testlerle kötü veriyi üretime çıkmadan yakalarsınız.
Veri olaylarını hızlı teşhis edip postmortem ile öğrenirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
ETL/ELT ve boru hattı kavramlarına aşinalık beklenir.
SQL ve bir orkestrasyon aracına (Airflow vb.) aşinalık faydalıdır.
İzleme ve SLA kavramlarına genel aşinalık yararlıdır.
Örnek boru hattı ve test çalıştırılabilen bir ortam.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Tazelik, hacim, şema ve dağılımı izleyen katman kurarsınız.
Veri soyuyla etki ve teşhis analizini yaparsınız.
Great Expectations/dbt ile otomatik kalite testleri yazarsınız.
Üretici-tüketici sözleşmeleri tasarlar ve uygularsınız.
Veri SLI/SLO'ları ve hata bütçesi tanımlarsınız.
İstatistiksel ve ML tabanlı anomali tespiti kurarsınız.
Veri olaylarını yönetir ve blameless postmortem yaparsınız.
Idempotent ve backfill destekli boru hatları tasarlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Veri hazırlamadan KPI tanımı, görselleştirme, pano tasarımı ve veri hikayesine kadar etkili analiz ve raporlamayı Power BI/Excel ile uygulamalı öğrenin.
Detayları Gör →
Python ile istatistiksel modelleme: hipotez testi (t, ki-kare, ANOVA), doğrusal ve lojistik regresyon, çapraz doğrulama ve ROC-AUC değerlendirmeyi öğrenin.
Detayları Gör →
Microsoft Access ile tablo tasarımı, ilişkiler ve referans bütünlüğü, seçme ve eylem sorguları, formlar ve raporlarla veriyi düzene sokmayı öğrenin.
Detayları Gör →
grep, awk, sed, csvkit, jq ve curl ile dosyalardan ve API'lerden veriye komut satırında erişip süzme, dönüştürme ve otomasyonu uygulamalı öğrenin.
Detayları Gör →
EF Core'da LINQ-SQL çevirisi, yükleme stratejileri, N+1 ve performans, AsNoTracking, optimistic concurrency ve ileri modellemeyi uygulamalı öğrenin.
Detayları Gör →