Veri Kalitesi ve Veri Boru Hatları Tasarımı Eğitimi

Eğitim Hakkında

Bu eğitim, analitik ve yapay zeka sistemlerini besleyen veri boru hatlarını güvenilir, test edilebilir ve izlenebilir biçimde tasarlamak isteyen veri ekipleri için hazırlanmış uygulamalı bir programdır. Katılımcılar Python ve SQL ile ELT hatları kurar; Airflow orkestrasyonu, dbt testleri, veri doğrulama, veri sözleşmeleri ve gözlemlenebilirlik pratiklerini proje üzerinde uygular.

Neden Bu Eğitim?

Test Edilen Veri. Yazılım mühendisliğindeki test kültürünü veriye taşıyarak hatalı kayıtları dashboard ve modele ulaşmadan durdurun.

Dayanıklı Hatlar. Yeniden çalıştırılabilir, idempotent ve geriye dönük doldurmaya uygun boru hatlarıyla gece yarısı arızalarını azaltın.

Gözlemlenebilirlik. Tazelik, hacim, şema ve köken takibiyle sorunun nerede başladığını dakikalar içinde bulabilen bir yapı kurun.

“Bir modelin ya da raporun güvenilirliği, onu besleyen boru hattının her adımında gösterilen özenden daha yüksek olamaz.”

Ön Koşullar

SQL Yetkinliği — JOIN, gruplama ve pencere fonksiyonlarını içeren sorguları rahatça yazabilmek.
Python Temelleri — Python ile fonksiyon yazma, paket kullanma ve pandas ile temel veri işleme deneyimi.
Git ve Komut Satırı — Git ile temel sürüm kontrolü ve terminalde komut çalıştırma alışkanlığı.
Laboratuvar Ortamı — Docker Desktop kurulabilen, en az 16 GB belleğe sahip bir dizüstü bilgisayar.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiVeri kalitesini ölçülebilir boyutlarla tanımlamak, toplu ve akış tabanlı boru hattı desenlerini karşılaştırmak ve şema yönetimini gözeten ilk ELT hattını kurmak.

Modül 1

Veri Kalitesi Boyutları ve Ölçümü

Doğruluk, tamlık, tutarlılık, benzersizlik ve güncellik
Kalite sorunlarının iş etkisi ve maliyet analizi
Veri profili çıkarma ile kalite başlangıç ölçümü
Kalite göstergeleri (SLI) ve hedefleri (SLO)
Kalite sorunlarının kaynakta ve hatta çözümü
Laboratuvar: ydata-profiling ile veri seti profili

Modül 2

Boru Hattı Mimarisinin Temelleri

ETL ve ELT yaklaşımlarının karşılaştırılması
Toplu, mikro toplu ve akış tabanlı işleme desenleri
İdempotent görevler ve yeniden çalıştırılabilirlik
Artımlı yükleme, su işareti ve geriye dönük doldurma
Madalyon mimarisi: bronz, gümüş ve altın katmanlar
Atölye: Satış verisi için hat mimarisi çizimi

Modül 3

Veri Modelleme ve Şema Yönetimi

Kaynak, ara ve sunum katmanında modelleme
Yavaş değişen boyutlar (SCD Tip 1 ve Tip 2)
Şema evrimi: kolon ekleme, tip değişikliği, silme
Avro, Parquet ve şema kayıt defteri kullanımı
Kırılan değişiklikleri önleyen sürümleme kuralları
Uygulama: Şema değişikliği etki senaryosu

Modül 4

İlk ELT Boru Hattı Laboratuvarı

Docker ile PostgreSQL ve DuckDB laboratuvar ortamı
Python ile API ve dosya kaynaklarından veri çekme
Ham verinin bronz katmana idempotent yüklenmesi
Yapılandırılmış loglama ve hata yönetimi
Laboratuvar: Artımlı yükleme yapan ELT betiği
Günün değerlendirmesi ve orkestrasyon gününe köprü

Günün hedefiAirflow ile bağımlılıkları yönetilen iş akışları kurmak, dbt ile test edilen dönüşümler yazmak ve veri doğrulama ile veri sözleşmelerini kalite kapısı olarak uygulamak.

Modül 1

Apache Airflow ile Orkestrasyon

DAG, görev, operatör ve zamanlama kavramları
Airflow 3 yenilikleri: DAG sürümleme ve asset'ler
TaskFlow API ile Python görevleri yazma
Yeniden deneme, zaman aşımı ve SLA uyarıları
Olay tabanlı tetikleme ve varlık bağımlılıkları
Laboratuvar: Günlük ELT hattının DAG'e dönüştürülmesi

Modül 2

dbt ile Dönüşüm ve Testler

dbt projesi yapısı: modeller, kaynaklar, makrolar
Artımlı modeller ve snapshot ile tarihçe tutma
Genel testler: unique, not_null, relationships
Birim testleri ile dönüşüm mantığının doğrulanması
dbt dokümantasyonu ve köken grafiği
Laboratuvar: Gümüş ve altın katman dbt modelleri

Modül 3

Great Expectations ve Soda ile Doğrulama

Beklenti (expectation) tabanlı veri doğrulama
GX Core ile doğrulama kümesi ve kontrol noktası
Soda Core ve SodaCL ile okunabilir kalite kuralları
Dağılım, aralık ve referans bütünlüğü kontrolleri
Hatalı kayıtları karantinaya alma deseni
Laboratuvar: Yükleme sonrası otomatik kalite kontrolü

Modül 4

Veri Sözleşmeleri ve Kalite Kapıları

Veri sözleşmesi: şema, anlam, SLA ve sahiplik
Open Data Contract Standard (ODCS) yapısı
Üretici ve tüketici ekipler arası sorumluluk
CI hattında sözleşme ve dbt testlerinin çalıştırılması
Uygulama: Sipariş verisi için veri sözleşmesi yazımı
Günün değerlendirmesi ve akış gününe hazırlık

Günün hedefiDeğişiklik verisi yakalama ile akış hatları kurmak, veri gözlemlenebilirliği ve kökeni izlemek, yapay zeka iş yüklerine veri hazırlamak ve uçtan uca projeyi sunmak.

Modül 1

Değişiklik Verisi Yakalama ve Akış

Değişiklik verisi yakalama (CDC) yaklaşımları
Debezium ile veritabanı değişikliklerinin yakalanması
Apache Kafka konuları, bölümler ve tüketici grupları
Tam olarak bir kez işleme ve tekrar eden kayıtlar
Geç gelen veri ve olay zamanı yönetimi
Demo: PostgreSQL değişikliklerinin Kafka'ya akışı

Modül 2

Veri Gözlemlenebilirliği ve Köken

Beş temel sinyal: tazelik, hacim, şema, dağılım, köken
OpenLineage standardı ve Marquez ile köken takibi
Metrik anomalisi tespitiyle sessiz hataları yakalama
Uyarı yorgunluğunu azaltan eşik ve yönlendirme
Veri olayı yönetimi ve olay sonrası inceleme
Laboratuvar: Airflow hattında köken ve tazelik izleme

Modül 3

Yapay Zeka İş Yükleri için Veri Hatları

Model eğitimi için tekrarlanabilir veri anlık görüntüleri
Özellik hatlarında eğitim-sunum tutarlılığı
RAG için doküman alma, parçalama ve gömme hattı
Yapılandırılmamış veride kalite ve kişisel veri tarama
Etiket kalitesi ve veri kayması kontrolleri
Uygulama: Doküman alma hattına kalite kapısı ekleme

Modül 4

Uçtan Uca Boru Hattı Projesi ve Kapanış

Grup projesi: kaynak, dönüşüm, test ve izleme
Proje sunumları ve mimari kod incelemesi
Kurumsal veri kalitesi olgunluk yol haritası
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış

Eğitim Kazanımları

Kaliteyi Ölçme — Veri kalitesini boyutlara, göstergelere ve hedeflere dayalı olarak ölçülebilir ve raporlanabilir hale getirebileceksiniz.
Hat Mimarisi — İdempotent, artımlı ve geriye dönük doldurmaya uygun toplu ve akış boru hatları tasarlayabileceksiniz.
Şema Yönetimi — Şema evrimini ve yavaş değişen boyutları kırılan değişikliklere yol açmadan yönetebileceksiniz.
Orkestrasyon — Apache Airflow ile bağımlılıkları, yeniden denemeleri ve uyarıları yönetilen iş akışları kurabileceksiniz.
Veri Testleri — dbt, Great Expectations ve Soda ile dönüşümleri ve veriyi otomatik testlerle doğrulayabileceksiniz.
Veri Sözleşmesi — Üretici ve tüketici ekipler arasında şema, SLA ve sahipliği tanımlayan veri sözleşmeleri uygulayabileceksiniz.
Gözlemlenebilirlik — OpenLineage ve tazelik, hacim ve dağılım metrikleriyle veri olaylarını hızla tespit edip çözebileceksiniz.
YZ İçin Veri — Model eğitimi ve RAG uygulamaları için kalite kapılarıyla korunan, tekrarlanabilir veri hatları kuracaksınız.

Kimler İçin Uygundur?

Veri mühendisleri
analitik mühendisleri
ETL ve BI geliştiricileri
veri platformu ekipleri ile ML modellerine veri hazırlayan veri bilimciler ve yazılım geliştiriciler.

Sıkça Sorulan Sorular

Veri Kalitesi ve Veri Boru Hatları Tasarımı Eğitimi kimler için uygundur?

Program; veri mühendisleri, analitik mühendisleri, ETL ve BI geliştiricileri, veri platformu ekipleri ile modellere veri hazırlayan veri bilimciler ve yazılım geliştiriciler için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 3 tam gün ve 12 modülden oluşur. İlk gün kalite ve mimari temelleri, ikinci gün orkestrasyon ve testler, üçüncü gün akış hatları, gözlemlenebilirlik ve uçtan uca proje işlenir.

Katılım için hangi teknik bilgiler gerekiyor?

Pencere fonksiyonlarını içeren SQL sorguları yazabilmek, temel Python ve pandas deneyimi ile Git ve komut satırı alışkanlığı beklenir. Laboratuvarlar için Docker kurulabilen bir bilgisayar gerekir.

Eğitimde hangi araçlar kullanılıyor?

Apache Airflow, dbt Core, Great Expectations (GX Core), Soda Core, PostgreSQL, DuckDB, Debezium, Apache Kafka, OpenLineage ve Marquez kullanılır; tüm araçlar hazır Docker ortamında çalıştırılır.

Laboratuvarlar kurumun kendi veri platformuna uyarlanabilir mi?

Evet. Ön görüşmede kurumun kullandığı veri ambarı, orkestrasyon aracı ve bulut platformu belirlenerek örnekler uyarlanabilir. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

VERİ KALİTESİ VE VERİ BORU HATLARI TASARIMI EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Veri Kalitesi Boyutları ve Ölçümü

Boru Hattı Mimarisinin Temelleri

Veri Modelleme ve Şema Yönetimi

İlk ELT Boru Hattı Laboratuvarı

Apache Airflow ile Orkestrasyon

dbt ile Dönüşüm ve Testler

Great Expectations ve Soda ile Doğrulama

Veri Sözleşmeleri ve Kalite Kapıları

Değişiklik Verisi Yakalama ve Akış

Veri Gözlemlenebilirliği ve Köken

Yapay Zeka İş Yükleri için Veri Hatları

Uçtan Uca Boru Hattı Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi