Anasayfa›Veri ve Analitik›Veri Mühendisliği ve Ambarı
Veri ve Analitik Veri Mühendisliği ve Ambarı

APACHE AIRFLOW DAGS: TASKS, OPERATORS, AND SCHEDULING EĞİTİMİ

Airflow ile veri hatlarını kodla orkestra edin

DAG yazımı, operator ve sensor seçimi, zamanlama, XCom ve bağımlılık yönetimiyle güvenilir iş akışları kurun.

Airflow DAG yapısı, operator/sensor, cron/catchup/backfill zamanlama, branching, TaskGroup, XCom, TaskFlow API ve dinamik mapping ile orkestrasyonu öğreten eğitim.

3 gün Orta Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Airflow DAG, task ve zamanlama mühendisliği

Bu eğitim Apache Airflow ile iş akışı orkestrasyonunu öğretir. DAG nesnesi, task, operator ve sensor kavramları; schedule_interval, catchup ve backfill mantığı ve execution_date/logical date işlenir. PythonOperator, BashOperator, branching (BranchPythonOperator), TaskGroup, XCom ile veri aktarımı, trigger_rule, retries ve SLA ele alınır. TaskFlow API ile dekoratör tabanlı DAG yazımı, connection/variable/hook kullanımı, dinamik task mapping, idempotent task tasarımı ve temel izleme/log inceleme uygulamalı gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; DAG yazma ve zamanlama senaryoları labler içerir.

Seviye

Orta Seviye — Airflow DAG tasarımı, operator/sensor kullanımı, zamanlama ve bağımlılık yönetimini kapsar.

Öğrenme Metodu

Gerçek bir ETL akışını DAG olarak modelleyip zamanlama ve bağımlılıklarıyla çalıştırarak öğrenilir.

Neden Bu Eğitim?

🧭Orkestrasyon

Karmaşık bağımlılıkları kod ile açık biçimde yönetirsiniz.

⏱️Zamanlama

schedule, catchup ve backfill mantığını doğru kurarsınız.

🔁Güvenilirlik

retries, SLA ve idempotency ile dayanıklı hatlar yazarsınız.

Anahtar Konular

apache airflow eğitimiairflow dagairflow operatorairflow schedulingtaskflow apixcomdinamik task mappingveri orkestrasyonuetl zamanlama
“İyi orkestrasyon, hattın ne zaman ve neden çalıştığını belli eder.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Python

Fonksiyon ve modül düzeyinde Python bilgisi gerekir.

2
ETL Kavramı

Veri hattı ve iş akışı mantığına aşinalık beklenir.

3
Komut Satırı

Temel Linux/komut satırı kullanımı faydalıdır.

4
Lab Ortamı

Airflow (Docker/Astro) çalıştırabilen bir ortam gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı DAG yapısını kavrar ve temel operatorlarla task tanımlayabilir.
Modül 1
DAG Yapısı
  • DAG nesnesi ve parametreler
  • Task ve bağımlılık (>>)
  • default_args kullanımı
  • DAG dosya yerleşimi (dags/)
  • Scheduler-executor ilişkisi
  • Web UI ile inceleme
Modül 2
Operatorlar
  • PythonOperator
  • BashOperator
  • EmptyOperator (dummy)
  • SqlOperator ailesi
  • Operator idempotency
  • Operator seçim ölçütleri
Modül 3
Zamanlama
  • schedule_interval / cron
  • start_date ve catchup
  • logical date / data interval
  • backfill çalıştırma
  • timezone yönetimi
  • dataset tetikleme (giriş)
Modül 4
Sensorlar
  • Sensor kavramı
  • FileSensor/ExternalTaskSensor
  • poke vs reschedule modu
  • timeout ve poke_interval
  • Deferrable operator (giriş)
  • Sensor iyi uygulamaları
Günün hedefiKatılımcı dallanma, gruplama ve XCom ile akış kontrolü kurabilir.
Modül 1
Branching
  • BranchPythonOperator
  • trigger_rule türleri
  • Koşullu dallanma
  • join ve toplama task
  • short-circuit operator
  • Dinamik dal seçimi
Modül 2
TaskGroup
  • TaskGroup ile gruplama
  • İç içe gruplar
  • UI'da okunabilirlik
  • Grup bazlı bağımlılık
  • Yeniden kullanım
  • Modüler DAG
Modül 3
XCom
  • XCom push/pull
  • Dönen değer ile XCom
  • XCom boyut sınırı
  • Custom XCom backend (giriş)
  • Hassas veri yönetimi
  • Task arası veri akışı
Modül 4
TaskFlow API
  • @dag ve @task dekoratörleri
  • Otomatik XCom
  • Tip ipuçları
  • Klasik vs TaskFlow
  • Bağımlılık çıkarımı
  • Okunabilir DAG yazımı
Günün hedefiKatılımcı retry, dinamik task ve izleme ile üretime hazır DAG yazabilir.
Modül 1
Dayanıklılık
  • retries ve retry_delay
  • Exponential backoff
  • SLA ve sla_miss
  • on_failure_callback
  • Idempotent task tasarımı
  • Kısmi başarısızlık kurtarma
Modül 2
Dinamik Mapping
  • expand() ile dinamik task
  • map/reduce deseni
  • Parametre listesinden task
  • Partition bazlı işleme
  • Kaynak sınırlama
  • Map sonuç toplama
Modül 3
Bağlantı ve Hook
  • Connection yönetimi
  • Variable kullanımı
  • Hook ile kaynak erişimi
  • Secret backend (giriş)
  • Pool ile eşzamanlılık
  • Yapılandırma ayrımı
Modül 4
İzleme
  • Log inceleme
  • Gantt ve grid görünümü
  • Task süresi analizi
  • Başarısızlık uyarısı
  • Zombie task yönetimi
  • Temel ölçüm/metrik

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
DAG Tasarımı

Okunabilir ve modüler DAG'ler tasarlarsınız.

✅
Operator Seçimi

İşe uygun operator ve sensor seçersiniz.

✅
Zamanlama

schedule, catchup ve backfill mantığını doğru kurarsınız.

✅
Akış Kontrolü

Branching, TaskGroup ve trigger_rule ile akışı yönetirsiniz.

✅
XCom

Task'lar arası veriyi XCom ile güvenli aktarırsınız.

✅
TaskFlow

Dekoratör tabanlı TaskFlow API ile DAG yazarsınız.

✅
Dayanıklılık

retry, SLA ve idempotency ile dayanıklı hatlar kurarsınız.

✅
Dinamik Task

expand() ile dinamik task mapping uygularsınız.

Kimler İçin Uygundur?

  • Veri hatlarını orkestra etmek isteyen veri mühendisleri
  • ETL geliştiricileri
  • platform ekipleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Veri hatlarını orkestra eden veri mühendisleri, ETL geliştiricileri ve platform ekipleri için uygundur.
Python gerekir mi?
Evet; DAG ve task'lar Python ile yazıldığından fonksiyon düzeyinde Python gerekir.
Catchup ve backfill neden önemli?
start_date ve schedule mantığını yanlış kurmak tekrarlı/eksik çalıştırmaya yol açar; eğitimde netleştirilir.
TaskFlow API işleniyor mu?
Evet; klasik operatorlarla karşılaştırmalı olarak dekoratör tabanlı yazım gösterilir.
Sertifika veriliyor mu?
Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Apache Airflow DAGs: Tasks, Operators, and Scheduling Eğitim Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
SeviyeOrta Seviye
FormatOnline / Yüz Yüze / Hibrit
AlanVeri ve Analitik
KonuVeri Mühendisliği ve Ambarı
Sertifika✓ Var
Hemen Bilgi Al
Bilgi için:
+90 (501) 369 40 14
[email protected]
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Veri Mühendisliği ve AmbarıGelişmiş Apache Airflow: Özel Operatörler ve Ekler Eğitimi
Veri ve Analitik Eğitimleri

Gelişmiş Apache Airflow: Özel Operatörler ve Ekler Eğitimi

3 günİleriOnline / Yüz Yüze / Hibrit

Airflow'da özel operatör, hook, sensor, deferrable trigger ve plugin geliştirme; provider paketleme ve pytest/CI entegrasyonunu uygulamalı öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıGetting Started with Snowflake: Queries, Dashboards, & Tables Eğitimi
Veri ve Analitik Eğitimleri

Getting Started with Snowflake: Queries, Dashboards, & Tables Eğitimi

2 günBaşlangıçOnline / Yüz Yüze / Hibrit

Snowflake'e giriş: tablo oluşturma, COPY INTO ile veri yükleme, SQL sorgulama, virtual warehouse ve Snowsight dashboard'u uygulamalı öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıGetting Started with Snowflake: Using the Snowflake Data Platform Eğitimi
Veri ve Analitik Eğitimleri

Getting Started with Snowflake: Using the Snowflake Data Platform Eğitimi

2 günBaşlangıçOnline / Yüz Yüze / Hibrit

Snowflake mimarisi: depolama-hesaplama ayrımı, çok-kümeli warehouse, micro-partition, önbellekler, RBAC, zero-copy clone ve data sharing öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıGetting Started with Snowflake: Using Time Travel & the SnowSQL CLI Eğitimi
Veri ve Analitik Eğitimleri

Getting Started with Snowflake: Using Time Travel & the SnowSQL CLI Eğitimi

2 günTemelOnline / Yüz Yüze / Hibrit

Snowflake Time Travel ile veri kurtarma (UNDROP, AT/BEFORE, Fail-safe) ve SnowSQL CLI ile betik, PUT/GET ve otomasyonu uygulamalı öğrenin.

Detayları Gör →
Veri Mühendisliği ve AmbarıHyperparameter Tuning with Hyperopt on Databricks Eğitimi
Veri ve Analitik Eğitimleri

Hyperparameter Tuning with Hyperopt on Databricks Eğitimi

2 günİleriOnline / Yüz Yüze / Hibrit

Databricks'te Hyperopt: arama uzayı, TPE ile fmin, SparkTrials ile dağıtık deneme ve MLflow izlemeyle ölçekli hiperparametre optimizasyonu öğrenin.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn