Connecting Airflow to Databases, APIs, & Cloud Storage

Eğitim Hakkında

Airflow ile dış sistem entegrasyonlarının kurulması

Eğitim, Apache Airflow'un dış sistemlerle entegrasyonunu uygulamalı işler: Connection ve Variable yönetimi, Secrets Backend (Vault, AWS Secrets Manager), provider paketleri, PostgresHook ve SQL operatörleri, HttpHook ve SimpleHttpOperator ile REST API çağrıları, sayfalama ve hız sınırı yönetimi, S3Hook, GCSHook ve WasbHook ile bulut depolama, sensörler, XCom, TaskFlow API, retry ve idempotent DAG tasarımı ve bağlantı sorun giderme.

Süre ve Format

2 Gün. Her gün dört modül; bağlantı yapılandırması, hook ve operatör kullanımı ve DAG geliştirme laboratuvarlarıyla işlenir.

Seviye

Orta Seviye — Apache Airflow bağlantıları: Connections, Hooks, Operators, provider paketleri; veritabanı, REST API ve bulut depolama entegrasyonu.

Öğrenme Metodu

Katılımcılar Docker Compose ile Airflow ortamında PostgreSQL, bir REST API ve bulut depolama bağlantısı tanımlar, API verisini çekip veritabanına yükleyen ve S3'e dışa aktaran DAG yazar.

Neden Bu Eğitim?

🔌Güvenli bağlantı

Kimlik bilgilerini DAG içinde tutmadan Connection ve secrets backend ile yönetirsiniz.

🔄Idempotent akış

Yeniden çalıştırılabilir ve güvenilir DAG tasarlarsınız.

☁️Çok kaynaklı entegrasyon

Veritabanı, API ve bulut depolama arasında veri taşırsınız.

Anahtar Konular

Apache AirflowAirflow connectionsAirflow hooksAirflow providerAirflow S3Airflow PostgreSQLAirflow REST APIveri mühendisliğiAirflow DAGETL boru hattı

“İyi bir veri boru hattı, dış sistem arızalandığında bile yeniden başlatılabilen boru hattıdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Temel Python (fonksiyon, modül, JSON) bilgisi gerekir.

2

SQL

Temel SQL sorguları yazabilmek gerekir.

3

Airflow temelleri

DAG, task ve scheduler kavramlarına aşinalık beklenir.

4

Docker

Docker Compose ile servis çalıştırma deneyimi faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Airflow bağlantılarını güvenle yapılandırır ve veritabanlarıyla çalışan DAG'ler yazar.

Modül 1

Connections ve Variables

Connection alanları: host, schema, login, extra
UI, CLI ve ortam değişkeniyle tanımlama
Variables ve şablonlama (Jinja)
Secrets Backend (Vault, AWS SM)
Bağlantı testi
Güvenlik ve rol bazlı erişim

Modül 2

Provider Paketleri

apache-airflow-providers-* kurulumu
Hook ve Operator ilişkisi
Sürüm uyumu ve constraints
Özel provider / özel hook yazımı
Docker imajına paket ekleme
Provider belgelerini okuma

Modül 3

Veritabanı Entegrasyonu

PostgresHook ve SQLExecuteQueryOperator
MySQL ve SQL Server bağlantıları
Parametreli sorgu ve SQL injection önleme
Toplu ekleme (copy_expert, execute_values)
Artımlı yükleme (watermark)
Veritabanı bağlantı havuzu

Modül 4

Veri Taşıma Desenleri

Transfer operatörleri (SqlToS3)
Staging tablo ve upsert
İşlem (transaction) yönetimi
Idempotent yükleme
Şema doğrulama
Veri kalitesi kontrolleri

Günün hedefiKatılımcı REST API ve bulut depolama ile entegre, güvenilir ve izlenebilir DAG'ler kurar.

Modül 1

REST API Entegrasyonu

HttpHook ve HttpOperator
Kimlik doğrulama: API anahtarı, OAuth, Bearer
Sayfalama ve cursor
Hız sınırı ve 429 yönetimi
HttpSensor ile hazır olma bekleme
JSON yanıtı işleme

Modül 2

Bulut Depolama

S3Hook, GCSHook, WasbHook
Dosya yükleme/indirme
S3KeySensor ve GCSObjectExistenceSensor
IAM rolü ve servis hesabı kimlik doğrulama
Parquet / CSV format yazımı
Bölümleme ve tarih yolu desenleri

Modül 3

DAG Tasarımı

TaskFlow API ve XCom sınırları
Dinamik görev eşleme (expand)
Retry, timeout, SLA
Datasets ve veri bağımlılıklı zamanlama
Idempotency ve backfill
Task grupları

Modül 4

Operasyon ve Sorun Giderme

Bağlantı hatası teşhisi (ağ, DNS, kimlik)
Task logları ve ayrıntılı hata
Sensor reschedule modu
Kaynak havuzu (pools) ve eşzamanlılık
Alarm ve bildirim (on_failure_callback)
Test: dag.test() ve birim test

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Bağlantı yönetimi

Connection ve Variable'ları güvenli yönetebilirsiniz.

✅

Secrets backend

Kimlik bilgilerini Vault veya bulut sır servisinde tutabilirsiniz.

✅

Veritabanı DAG'leri

Hook ve operatörlerle veritabanı yükleme akışları yazabilirsiniz.

✅

Artımlı yükleme

Watermark ile artımlı ve idempotent yükleme yapabilirsiniz.

✅

API entegrasyonu

Sayfalama ve hız sınırını yöneterek API verisi çekebilirsiniz.

✅

Bulut depolama

S3/GCS/Azure Blob ile dosya akışları kurabilirsiniz.

✅

DAG güvenilirliği

Retry, sensor ve backfill ile dayanıklı DAG tasarlayabilirsiniz.

✅

Sorun giderme

Bağlantı ve görev hatalarını loglardan teşhis edebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
DevOps mühendisleri
veri analistleri
Airflow ile ETL/ELT boru hatları kuran geliştiriciler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, DevOps mühendisleri, veri analistleri ve Airflow ile ETL/ELT boru hatları kuran geliştiriciler için uygundur.

Hangi Airflow sürümü kullanılıyor?

Airflow 2.x serisi ve TaskFlow API ile çalışılır; kavramlar sürümler arası geçerlidir.

Bulut hesabı gerekli mi?

Bulut depolama için ücretsiz katman ya da yerel S3 uyumlu (MinIO) ortam kullanılabilir.

Python bilgisi şart mı?

Temel Python bilgisi gerekir; DAG kodu örneklerle birlikte yazılır.

Eğitim sonunda hangi belge verilir?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

CONNECTING AIRFLOW TO DATABASES, APIS, & CLOUD STORAGE EĞİTİMİ