Apache Airflow Temelleri Eğitimi

Eğitim Hakkında

Airflow mimarisi, DAG ve temel ilkeler

Bu eğitim, Apache Airflow'un temel kavram ve mimarisini sıfırdan öğretir. Scheduler, webserver, metadata veritabanı, executor ve worker bileşenlerinin rolü; DAG tanımı, task, operatör ve dependency (>> / set_upstream) kavramları işlenir. PythonOperator, BashOperator ve sensor kullanımı, schedule_interval, start_date, catchup ve backfill davranışı, Jinja şablonları ile {{ ds }} gibi context değişkenleri, XCom ile görevler arası veri aktarımı ve retries/SLA ayarları uygulamalı ele alınır. Airflow UI'da DAG izleme, log okuma ve manuel tetikleme gösterilir.

Süre ve Format

2 Gün. Her gün dört modül; yerel/Docker Airflow üzerinde DAG yazma ve çalıştırma lableri.

Seviye

Temel Seviye — Apache Airflow'un mimarisi, DAG kavramı, operatörler ve zamanlama temellerini kapsar.

Öğrenme Metodu

Çalışan bir Airflow kurulumunda adım adım DAG yazıp UI'dan tetikleyerek ve logları inceleyerek uygulanır.

Neden Bu Eğitim?

🧩Net Mimari

Scheduler, executor ve metadata DB'nin nasıl birlikte çalıştığını kavrayarak sağlam temel kurarsınız.

🔁Tekrarlanabilirlik

DAG ve schedule ile veri hatlarını güvenilir, izlenebilir ve yeniden çalıştırılabilir yaparsınız.

🐍Python Gücü

Hatları kod olarak (Python) tanımlayıp sürüm kontrolüne alırsınız.

Anahtar Konular

apache airflow eğitimiairflow dagairflow mimarischeduler executorpythonoperatorairflow zamanlamaxcomairflow temelleri

“İyi bir veri hattı, kod kadar zamanlamayla da yönetilir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Fonksiyon ve modül düzeyinde temel Python bilgisi gerekir.

2

Komut Satırı

Terminal ve temel Linux komutlarına aşinalık faydalıdır.

3

ETL Fikri

Veri alma/dönüştürme/yükleme akışına temel aşinalık beklenir.

4

Ortam

Docker veya yerel Airflow kurabilen bir makine gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Airflow bileşenlerini kavrar ve çalışan ilk DAG'ini yazabilir.

Modül 1

Mimari Bileşenler

Scheduler'ın görev planlama rolü
Webserver ve UI
Metadata veritabanı (state)
Executor türleri (Sequential/Local/Celery)
Worker ve görev yürütme
DAG klasörü ve parsing döngüsü

Modül 2

DAG Temelleri

DAG nesnesi ve dag_id
Task ve task_id tanımı
Operatör kavramı
Bağımlılık >> ve set_upstream
default_args kullanımı
DAG dokümantasyonu

Modül 3

Temel Operatörler

PythonOperator ile fonksiyon çalıştırma
BashOperator
EmptyOperator (placeholder)
op_kwargs ile parametre geçme
TaskFlow API (@task dekoratörü)
Operatör seçim ölçütleri

Modül 4

İlk DAG Çalıştırma

DAG'i dags klasörüne koyma
UI'da DAG görünümü (Graph/Grid)
Manuel tetikleme (trigger)
Task log okuma
Başarısız görevi tekrar çalıştırma
Run durumlarını izleme

Günün hedefiKatılımcı zamanlama, catchup ve XCom ile görevler arası veri aktarımını yönetebilir.

Modül 1

Zamanlama

schedule_interval ve cron ifadeleri
start_date ve logical date (ds)
catchup ve backfill davranışı
Data interval kavramı
Takvim (dataset/timetable) temeli
Zamanlanmış vs manuel run

Modül 2

Context ve Şablon

Jinja {{ ds }}, {{ execution_date }}
Template fields kullanımı
Params ile DAG parametreleri
Variables ve Connections
Macro ve filtreler
Şablonlanmış Bash/SQL komutu

Modül 3

XCom ve Veri

XCom ile küçük veri paylaşımı
return value ile push
xcom_pull ile çekme
TaskFlow ile otomatik XCom
Büyük veri için anti-pattern
Harici depoya referans geçme

Modül 4

Güvenilirlik

retries ve retry_delay
SLA ve bildirim
Sensor ile bekleme (dosya/zaman)
trigger_rule (all_success vb.)
Timeout ve zombie görev
Idempotent görev tasarımı

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari

Scheduler, executor ve metadata DB'nin rolünü açıklarsınız.

✅

DAG Yazma

Task ve bağımlılıklarla çalışan DAG'ler kurarsınız.

✅

Operatörler

PythonOperator, BashOperator ve TaskFlow API kullanırsınız.

✅

Zamanlama

schedule_interval, catchup ve backfill davranışını yönetirsiniz.

✅

Şablonlama

Jinja context değişkenleri ve Variables/Connections kullanırsınız.

✅

XCom

Görevler arası veri aktarımını XCom ile kurarsınız.

✅

Güvenilirlik

retries, SLA, sensor ve trigger_rule ile sağlam hatlar yaparsınız.

✅

İzleme

UI'dan DAG'leri izler, logları okur ve yeniden çalıştırırsınız.

Kimler İçin Uygundur?

Airflow'a yeni başlayan veri mühendisleri
ETL geliştiricileri
iş akışı orkestrasyonu öğrenmek isteyen Python geliştiricileri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Airflow'a yeni başlayan veri mühendisleri, ETL geliştiricileri ve Python geliştiricileri için uygundur.

Önceden Airflow bilmek gerekir mi?

Hayır; sıfırdan başlar, yalnızca temel Python bilgisi yeterlidir.

Hangi ortamda çalışırız?

Docker veya yerel bir Airflow kurulumunda DAG yazıp UI'dan çalıştırırız.

Catchup ve backfill nedir?

Geçmiş zaman aralıkları için kaçırılan run'ların nasıl üretildiğini ve manuel geriye doldurmayı öğretir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

FOUNDATIONS OF APACHE AIRFLOW: CONCEPTS, ARCHITECTURE, & CORE PRINCIPLES EĞİTİMİ