Airflow'da veri odaklı akışlar tasarlayın
Airflow Datasets ile veri odaklı zamanlama, hook/connection ile kaynak erişimi, SQL check veri kalitesi, upsert ve yeniden işlemeyi öğreten orta seviye eğitim.
Veri odaklı Airflow akışları ve kaynak yönetimi
Bu eğitim Airflow'da veri odaklı iş akışlarının oluşturulması ve yönetimine odaklanır. Datasets ile veri temelli zamanlama (data-aware scheduling), üretici-tüketici DAG bağlama, connection/hook ile veritabanı, S3 ve API kaynaklarına erişim işlenir. Parametreli DAG'ler (params), Jinja şablonlama ve templating, veri kalitesi kontrol görevleri, SQL check operatorları, staging ve upsert desenleri ele alınır. Dinamik task mapping ile çok kaynaklı yükleme, idempotency, yeniden işleme (reprocessing) ve izleme/uyarı uygulamalı gösterilir.
3 Gün. Her gün dört modül; dataset ve hook tabanlı DAG yazma labler içerir.
Orta Seviye — Airflow'da veri odaklı DAG'ler, Datasets, hook/connection ile kaynak yönetimini kapsar.
Üretici-tüketici DAG'leri Datasets ile bağlayıp hook üzerinden veri taşıyarak öğrenilir.
Datasets ile veri hazır olduğunda tetiklenen akışlar kurarsınız.
Hook/connection ile veritabanı, S3 ve API'yi güvenle bağlarsınız.
SQL check görevleriyle hat içinde kaliteyi doğrularsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
DAG, task ve operator kavramlarına aşinalık gerekir.
Veritabanı sorguları ve upsert mantığı faydalıdır.
Hook ve callable yazımı için Python gerekir.
Airflow ve bir veritabanı/S3 erişimi olan ortam gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Veri temelli zamanlama ile üretici-tüketici DAG'leri bağlarsınız.
params ve Jinja ile yeniden kullanılabilir DAG yazarsınız.
Veritabanı, S3 ve API kaynaklarını güvenle bağlarsınız.
Artımlı çekme ve bulk yükleme desenlerini uygularsınız.
Staging ve upsert/MERGE ile idempotent yazım kurarsınız.
SQL check görevleriyle hat içinde kaliteyi doğrularsınız.
Backfill ve partition reprocess ile veriyi düzeltirsiniz.
Uyarı ve metriklerle operasyonel görünürlük sağlarsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
dbt, Airflow ve Great Expectations/Soda ile test edilebilir, gözlemlenebilir ve CI/CD'li ileri veri hatları kurmayı uygulamalı öğrenin.
Detayları Gör →
Inmon, Kimball ve Data Vault çerçeveleri, katmanlı mimari, boyutsal/DV modelleme ve bulut ambar uygulamasını uygulamalı öğrenin.
Detayları Gör →
Veri ambarı temelleri: OLTP/OLAP, star/snowflake şema, olgu/boyut, grain, SCD tipleri, ETL süreci ve OLAP işlemlerini uygulamalı öğrenin.
Detayları Gör →
SQL stored procedure ETL'ini Databricks Lakehouse'a göç: kalıp çevirme, Delta MERGE/SCD, reconciliation ve cutover stratejisini yoğun atölyede öğrenin.
Detayları Gör →
Databricks'te PySpark DataFrame, Spark SQL, Delta Lake MERGE, medallion mimari, performans ayarı ve Workflows ile veri mühendisliğini uygulamalı öğrenin.
Detayları Gör →