Anasayfa›Veri ve Analitik›Veri Mühendisliği ve Ambarı
Veri ve Analitik Veri Mühendisliği ve Ambarı

SCHEDULING, SCALING, AND ORCHESTRATING COMPLEX WORKFLOWS IN APACHE AIRFLOW EĞİTİMİ

Karmaşık veri akışlarını Airflow'la orkestre edin

Dinamik DAG, dataset-driven tetikleme, DAG'ler arası bağımlılık, branching ve ölçekleme ile karmaşık iş akışlarını yönetin.

Gelişmiş zamanlama ve timetable, dataset-driven tetikleme, dinamik DAG/task mapping, branching, cross-DAG bağımlılık ve executor ölçeklemesiyle Airflow'da karmaşık iş akışı orkestrasyonu eğitimi.

3 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Airflow ile karmaşık iş akışı orkestrasyonu ve ölçekleme

Bu eğitim, Apache Airflow ile karmaşık iş akışlarının zamanlanması, orkestrasyonu ve ölçeklenmesini öğretir. Gelişmiş zamanlama (cron vs timetable, data interval, catchup kontrolü), dataset-driven scheduling ile veri bağımlılığı tabanlı tetikleme işlenir. Dinamik DAG üretimi, dinamik task mapping (expand/partial), branching (BranchPythonOperator, trigger_rule), TaskGroup ile modülerlik ele alınır. DAG'ler arası bağımlılık (ExternalTaskSensor, TriggerDagRunOperator), SLA ve hata yönetimi, executor ile ölçekleme (Celery/Kubernetes), pool ve priority, deferrable operatörler ve izleme uygulamalı gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; dinamik DAG, dataset tetikleme ve ölçekleme lableri.

Seviye

İleri Seviye — Airflow'da karmaşık iş akışı orkestrasyonu; dinamik DAG, dataset tetikleme, DAG'ler arası bağımlılık ve ölçeklemeyi kapsar.

Öğrenme Metodu

Birbirine bağımlı, dinamik ve dataset ile tetiklenen DAG'ler kurup ölçekleyerek uygulanır.

Neden Bu Eğitim?

🔀Dinamik Akış

Dinamik DAG ve task mapping ile veriye göre değişen akışlar kurarsınız.

🔗Veri Bağımlılığı

Dataset-driven scheduling ile zaman yerine veri hazır olunca tetiklersiniz.

📈Ölçek

Executor, pool ve priority ile karmaşık yükü güvenle ölçeklersiniz.

Anahtar Konular

airflow orkestrasyondataset-driven schedulingdinamik dagdinamik task mappingairflow branchingexternaltasksensortriggerdagrunoperatorairflow ölçekleme
“Karmaşık akış, doğru bağımlılıklarla sadeleşir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Airflow Temeli

DAG, operatör, XCom ve zamanlama bilgisi gerekir.

2
Python

Orta düzey Python (OOP/fonksiyon) beklenir.

3
Ortam

Çalışan bir Airflow kurulumu (Docker/K8s) gerekir.

4
ETL Deneyimi

Üretim hat deneyimi faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı gelişmiş zamanlama ve dataset-driven tetiklemeyi uygular.
Modül 1
Zamanlama Modeli
  • schedule ve data interval
  • Cron vs timetable
  • Catchup kontrolü
  • start_date ve logical date
  • max_active_runs
  • Backfill stratejisi
Modül 2
Özel Timetable
  • Timetable sınıfı
  • İş günü/takvim mantığı
  • Düzensiz aralık
  • next_dagrun hesaplama
  • Serileştirme
  • Test
Modül 3
Dataset-Driven
  • Dataset tanımı
  • Producer DAG (outlets)
  • Consumer DAG tetikleme
  • Veri bağımlılık grafiği
  • Zaman+veri birleşimi
  • İzleme
Modül 4
SLA ve Güvenilirlik
  • SLA tanımı ve kaçırma
  • retry/retry_delay
  • trigger_rule
  • Idempotent görev
  • Hata bildirimi
  • Zombie yönetimi
Günün hedefiKatılımcı dinamik DAG, task mapping ve branching ile modüler akış kurar.
Modül 1
Dinamik DAG Üretimi
  • Kod ile DAG üretme
  • Konfig/metadata'dan DAG
  • Top-level kod riski
  • DAG factory deseni
  • Sürümleme
  • Parsing maliyeti
Modül 2
Dinamik Task Mapping
  • expand() fan-out
  • partial() sabit arg
  • Map index ve XCom
  • Dinamik fan-in
  • map_index_template
  • Sınırlar
Modül 3
Branching
  • BranchPythonOperator
  • Koşullu yol seçimi
  • trigger_rule (none_failed vb.)
  • ShortCircuitOperator
  • Atlanan (skipped) görev
  • Birleşme (join)
Modül 4
TaskGroup
  • TaskGroup ile modülerlik
  • İç içe grup
  • Dinamik TaskGroup
  • Bağımlılık sadeleştirme
  • Yeniden kullanım
  • UI okunabilirliği
Günün hedefiKatılımcı DAG'ler arası bağımlılığı ve executor ölçeklemesini uygular.
Modül 1
Cross-DAG
  • ExternalTaskSensor
  • TriggerDagRunOperator
  • execution_date hizalama
  • Dataset ile cross-DAG
  • Bekleme vs tetikleme
  • Döngüsel bağımlılık kaçınma
Modül 2
Executor ve Ölçek
  • Celery/Kubernetes executor
  • parallelism/max_active_tasks
  • Worker ölçekleme
  • Queue yönlendirme
  • KubernetesPodOperator
  • Elastik kaynak
Modül 3
Kaynak Yönetimi
  • Pool ve slot
  • priority_weight
  • Deferrable operator
  • Triggerer
  • Kaynak izolasyonu
  • Adil dağıtım
Modül 4
İzleme & Operasyon
  • Metrikler (StatsD/Prometheus)
  • Log yönetimi
  • Darboğaz analizi
  • Kapasite planlama
  • Hata izleme
  • İyi uygulamalar

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Zamanlama

Timetable ve catchup ile gelişmiş zamanlama kurarsınız.

✅
Dataset Tetikleme

Veri hazır olunca tetiklenen DAG'ler tasarlarsınız.

✅
Dinamik DAG

Metadata'dan dinamik DAG ve task mapping üretirsiniz.

✅
Branching

BranchPython ve trigger_rule ile koşullu akış kurarsınız.

✅
TaskGroup

Modüler ve okunabilir karmaşık DAG'ler yazarsınız.

✅
Cross-DAG

ExternalTaskSensor/TriggerDagRun ile DAG'leri bağlarsınız.

✅
Ölçek

Executor, pool ve priority ile yükü ölçeklersiniz.

✅
İzleme

Metriklerle darboğaz bulup kapasite planlarsınız.

Kimler İçin Uygundur?

  • Airflow'da çok sayıda
  • birbirine bağımlı hat yöneten veri mühendisleri ve karmaşık orkestrasyon ihtiyacı olan ekipler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Airflow'da çok sayıda ve birbirine bağımlı hat yöneten veri mühendisleri ve karmaşık orkestrasyon ihtiyacı olan ekipler için uygundur.
Dataset-driven scheduling nedir?
Bir DAG'in ürettiği dataset güncellendiğinde, ona bağımlı DAG'lerin zaman yerine veri hazır olunca tetiklenmesidir.
Cross-DAG bağımlılık nasıl kurulur?
ExternalTaskSensor ile bekleme veya TriggerDagRunOperator/dataset ile tetikleme kullanılır.
Dinamik task mapping ne işe yarar?
Çalışma zamanında girdi sayısına göre görevlerin dinamik üretilmesini (fan-out/fan-in) sağlar.
Sertifika veriliyor mu?
Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Scheduling, Scaling, and Orchestrating Complex Workflows in Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
AlanVeri ve Analitik
KonuVeri Mühendisliği ve Ambarı
Sertifika✓ Var
Hemen Bilgi Al
Bilgi için:
+90 (501) 369 40 14
[email protected]
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Veri Mühendisliği ve AmbarıDatabricks: Data Governance with Unity Catalog Eğitimi
Veri ve Analitik Eğitimleri

Databricks: Data Governance with Unity Catalog Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Databricks Unity Catalog: metastore, GRANT erişim, satır/sütun güvenliği, lineage, audit ve Delta Sharing ile veri yönetişimini uygulamalı öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıDatabricks: Data Lakehouse Architecture and Delta Lake Eğitimi
Veri ve Analitik Eğitimleri

Databricks: Data Lakehouse Architecture and Delta Lake Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Lakehouse mimarisi ve Delta Lake: ACID, şema evrim, MERGE, time travel, change data feed, medallion ve OPTIMIZE/Z-order ile tablo yönetimini öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıDatabricks: Storing and Processing Data Eğitimi
Veri ve Analitik Eğitimleri

Databricks: Storing and Processing Data Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Databricks'te DBFS/Volumes, Delta tabloları, dosya formatları ve PySpark/Spark SQL ile veri depolama ve temel işlemeyi uygulamalı öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıDP-602T00: Implement a Data Warehouse with Microsoft Fabric Eğitimi
Veri ve Analitik Eğitimleri

DP-602T00: Implement a Data Warehouse with Microsoft Fabric Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Microsoft Fabric ile veri ambarı: Warehouse, OneLake, T-SQL yükleme, boyutsal modelleme, RLS/maskeleme ve Direct Lake Power BI entegrasyonunu öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıDP-700T00 Implement data engineering solutions using Microsoft Fabric Eğitimi
Veri ve Analitik Eğitimleri

DP-700T00 Implement data engineering solutions using Microsoft Fabric Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Microsoft Fabric ile veri mühendisliği: Lakehouse, Spark, pipeline/Dataflow, medallion, Eventstream, KQL ve DevOps'u DP-700 kapsamında öğrenin.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn