Gelişmiş Apache Airflow Operatörler

Eğitim Hakkında

Özel operatör, hook, sensor ve plugin geliştirme

Bu eğitim, Apache Airflow'un BaseOperator, BaseHook ve BaseSensorOperator sınıfları genişletilerek özel bileşen geliştirilmesini öğretir. Özel operatör yazımı (execute metodu, template_fields, context kullanımı), hook ile harici sistem bağlantısı (Connections üzerinden), özel sensor ile poke/reschedule modları ve deferrable operator/trigger ile asenkron bekleme işlenir. Plugin mekanizması ile UI genişletme (menü, view, macro), provider paketi yapısı, XCom custom backend ve yeniden kullanılabilir bileşen paketleme uygulamalı ele alınır. Birim test (pytest) ve CI entegrasyonu gösterilir.

Süre ve Format

3 Gün. Her gün dört modül; Python ile özel operatör/hook/sensor yazıp test etme lableri.

Seviye

İleri Seviye — Airflow için özel operatör, hook, sensor ve plugin geliştirmeyi; provider paketleri ve genişletmeyi kapsar.

Öğrenme Metodu

Gerçek bir harici sisteme bağlanan özel operatör ve hook'u sıfırdan yazıp test ederek uygulanır.

Neden Bu Eğitim?

🧰Yeniden Kullanım

Tekrarlayan görev mantığını özel operatöre kapsülleyip tüm DAG'lerde kullanırsınız.

🔌Entegrasyon

Hook'larla kurumsal sistemlere güvenli ve standart bağlantılar kurarsınız.

⏳Asenkron Bekleme

Deferrable operator ile worker kaynağını tüketmeden verimli bekleme sağlarsınız.

Anahtar Konular

airflow özel operatörairflow hook geliştirmecustom sensordeferrable operatorairflow pluginprovider paketiairflow ileriairflow test ci

“Güçlü orkestrasyon, kuruma özel doğru soyutlamalarla büyür.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Airflow Temeli

DAG, operatör ve XCom kavramlarına hakimiyet gerekir.

2

Python OOP

Sınıf, kalıtım ve dekoratör düzeyinde Python bilgisi beklenir.

3

Test Bilgisi

pytest ile birim test yazımına aşinalık faydalıdır.

4

Ortam

Geliştirme yapılabilen bir Airflow kurulumu (Docker) gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı BaseOperator ve BaseHook'u genişleterek özel bileşen yazabilir.

Modül 1

Özel Operatör

BaseOperator'dan türetme
execute(self, context) metodu
__init__ parametreleri
template_fields tanımı
XCom push ve dönüş değeri
Loglama ve hata yönetimi

Modül 2

Hook Geliştirme

BaseHook'tan türetme
Connection'dan kimlik çekme
get_conn ve bağlantı havuzu
Harici API/DB istemcisi sarma
Yeniden deneme ve timeout
Hook'u operatörde kullanma

Modül 3

Şablonlama

template_fields ile Jinja
template_ext (.sql dosyası)
Context değişkenleri (ds, ti)
Params ve Variables erişimi
render_template_fields testi
Hassas alan gizleme

Modül 4

Paketleme

Modül/paket yapısı
operators/ ve hooks/ düzeni
setup.py/pyproject ile dağıtım
Sürümleme ve bağımlılık
İçe aktarma (import) yolu
DAG'lerden kullanım

Günün hedefiKatılımcı özel sensor ve deferrable operator ile verimli bekleme kurabilir.

Modül 1

Özel Sensor

BaseSensorOperator'dan türetme
poke(self, context) metodu
poke vs reschedule modu
timeout ve poke_interval
soft_fail ve exponential backoff
Koşul karşılanınca tamamlama

Modül 2

Deferrable Operator

Deferrable kavramı ve triggerer
defer() ve TaskDeferred
Trigger sınıfı (async run)
Event ile uyanma (method)
Worker slotu boşaltma faydası
Mevcut sensorü deferrable yapma

Modül 3

Trigger Geliştirme

BaseTrigger'dan türetme
run() asenkron jeneratör
serialize() ile durum
TriggerEvent yayma
Zaman/koşul tabanlı trigger
Triggerer loglama

Modül 4

Harici Bağımlılık

ExternalTaskSensor deseni
Dataset tabanlı tetikleme
Cross-DAG bağımlılık
API hazır olana kadar bekleme
Dosya/nesne varlığı sensörü
Tüketim (consumer) DAG

Günün hedefiKatılımcı plugin ile UI genişletir, bileşenleri test eder ve CI'ya bağlar.

Modül 1

Plugin Mekanizması

AirflowPlugin sınıfı
Özel menü ve Flask view
Makro (macro) ekleme
Listener ve hook kaydı
appbuilder bileşenleri
Plugin keşfi ve yükleme

Modül 2

Provider Paketi

Provider paket yapısı
provider.yaml tanımı
Connection tipi kaydı
Extra link (operator link)
Dağıtım ve kurulum
Topluluk provider deseni

Modül 3

XCom ve Backend

Custom XCom backend
Büyük veri için nesne depolama
Serileştirme stratejisi
XCom temizliği
Hassas veri yönetimi
Performans etkisi

Modül 4

Test ve CI

Operatör birim testi (pytest)
Hook mock'lama
DAG bütünlük (import) testi
execute() izole testi
GitHub Actions/GitLab CI
Lint ve statik analiz

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Özel Operatör

BaseOperator'ı genişleterek yeniden kullanılabilir operatör yazarsınız.

✅

Hook

Connections üzerinden güvenli harici bağlantı hook'ları kurarsınız.

✅

Özel Sensor

poke/reschedule modlarıyla verimli bekleme sensörleri yazarsınız.

✅

Deferrable

Trigger'larla asenkron, kaynak dostu bekleme sağlarsınız.

✅

Plugin

AirflowPlugin ile UI'yı menü, view ve makroyla genişletirsiniz.

✅

Provider

Provider paketi yapısıyla bileşenleri dağıtırsınız.

✅

Paketleme

Operatör/hook'ları paketleyip sürümleyerek yönetirsiniz.

✅

Test & CI

pytest ile bileşenleri test eder, CI'ya bağlarsınız.

Kimler İçin Uygundur?

Airflow ile üretimde çalışan veri mühendisleri
platform ekipleri
yeniden kullanılabilir orkestrasyon bileşeni geliştirmek isteyenler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Airflow ile üretimde çalışan veri mühendisleri ve platform ekipleri için uygundur.

Airflow bilgisi gerekir mi?

Evet; DAG, operatör ve XCom kavramlarına hakim olmak gerekir.

Deferrable operator ne işe yarar?

Worker slotunu boşaltarak uzun beklemeleri asenkron trigger üzerinden verimli yürütmeyi sağlar.

Bileşenler nasıl test edilir?

execute/poke metotları izole edilir, hook'lar mock'lanır ve pytest ile CI'ya bağlanır.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

GELİŞMİŞ APACHE AIRFLOW: ÖZEL OPERATÖRLER VE EKLER EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Özel Operatör

Hook Geliştirme

Şablonlama

Paketleme

Özel Sensor

Deferrable Operator

Trigger Geliştirme

Harici Bağımlılık

Plugin Mekanizması

Provider Paketi

XCom ve Backend

Test ve CI

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

ETL Testing Essentials: Testing and Validating ETL Pipelines Eğitimi

ETL Testing Using SQL Eğitimi

Finans için Databricks ile Veri Analizi Eğitimi

Foundations of Apache Airflow: Concepts, Architecture, & Core Principles Eğitimi

Fundamentals of Data Engineering Eğitimi