Azure Veri Çözümü Optimizasyonu Eğitimi

Eğitim Hakkında

Azure veri mühendisliği çözümlerinde performans ve maliyet optimizasyonu

Eğitim, mevcut Azure veri çözümlerinin darboğazlarını bulmayı ve gidermeyi hedefler. Synapse dedicated SQL pool için columnstore, materialized view, result set caching ve istatistikler; Spark için partition, broadcast, cache, AQE ve Delta OPTIMIZE/VACUUM; ADF için paralellik ve DIU; depolama için dosya boyutu ve katman; ayrıca ölçekleme ve Cost Management ile maliyet düşürme uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde ölçüm, değişiklik ve sonuç karşılaştırması içeren bir optimizasyon laboratuvarı yer alır.

Seviye

İleri Seviye — Azure veri çözümlerinde sorgu, depolama, işlem gücü ve maliyet optimizasyonunu kapsayan ileri düzey performans eğitimi

Öğrenme Metodu

Yavaş çalışan örnek sorgu ve pipeline'lar üzerinde ölçüm, tanı ve iyileştirme döngüsüyle gerçek kazanım rakamları elde edilir.

Neden Bu Eğitim?

⚙️Ölçerek İyileştirme

Tahmin yerine plan, DMV ve Spark UI verisiyle optimizasyon yaparsınız.

💸Maliyet Düşürme

Doğru boyutlandırma ve duraklatma ile faturayı küçültürsünüz.

📊Tekrarlanabilir Süreç

Performans iyileştirmesini ölçüm, değişiklik ve doğrulama döngüsüne oturtursunuz.

Anahtar Konular

azure veri optimizasyonusynapse performansspark optimizasyondelta lake optimizeazure maliyet optimizasyonumaterialized view synapsedata factory performansazure veri mühendisliğisorgu optimizasyonuworkload management

“Optimizasyon, ölçmeyen gözle yapılan tahmin değildir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Veri mühendisliği deneyimi

ADF, Synapse veya Spark ile çalışmış olmak beklenir.

2

SQL performans bilgisi

Sorgu planı okuma ve indeks kavramları faydalıdır.

3

PySpark temelleri

DataFrame API ve temel Spark kavramlarına aşinalık gerekir.

4

Azure aboneliği

Laboratuvarlar için Synapse ve Databricks oluşturabilen abonelik kullanılır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı yavaş sorguları teşhis eder, tablo tasarımı ve önbellekleme ile süreyi düşürür.

Modül 1

Sorgu Teşhisi

EXPLAIN WITH_RECOMMENDATIONS plan okuma
sys.dm_pdw_exec_requests ve request_steps
Data movement operasyonlarını tespit etme
Kaynak sınıfı (resource class) ve workload group
Query Store (serverless/Azure SQL) kullanımı
Bekleme istatistikleri

Modül 2

Tablo Tasarımı ve İndeksleme

Clustered columnstore ve rowgroup kalitesi
Heap, clustered index ve nonclustered index
Dağıtım kolonu yeniden tasarımı (CTAS)
İstatistik oluşturma ve otomatik güncelleme
Partition ve columnstore birlikteliği
Rebuild ve reorganize zamanlaması

Modül 3

Önbellek ve Materyalizasyon

Result set caching
Materialized view ve otomatik sorgu yeniden yazma
Ordered clustered columnstore
Replicated table önbelleği
Serving katmanı için ön toplulaştırma
Önbellek isabet oranı ölçümü

Modül 4

İş Yükü Yönetimi

Workload classification ve importance
Workload isolation ve MIN/MAX kaynak yüzdesi
Eşzamanlı sorgu slotları
DWU ölçekleme ve duraklatma
Yükleme ve raporlama ayrımı
Sorgu iptal ve timeout politikaları

Günün hedefiKatılımcı Spark ve ADF performansını ayarlar, depolama düzenini ve maliyeti optimize eder.

Modül 1

Spark Performans Ayarı

Partition boyutu ve spark.sql.shuffle.partitions
Adaptive Query Execution ve skew join
Broadcast join eşiği
cache/persist storage level seçimi
Photon ve vektörize okuma
Serialization ve UDF yerine yerleşik fonksiyon

Modül 2

Delta Lake Optimizasyonu

OPTIMIZE ve ZORDER BY
VACUUM ve retention ayarları
Auto optimize ve optimized writes
Liquid clustering yaklaşımı
Data skipping ve dosya istatistikleri
Küçük dosya birleştirme planı

Modül 3

Pipeline ve Depolama Optimizasyonu

Copy Activity DIU ve paralel kopya ayarları
Data flow cluster boyutu ve TTL
Staging ve PolyBase/COPY INTO yükleme
Dosya boyutu ve sıkıştırma kararları
Katman ve yaşam döngüsü ile maliyet
Aktarım ve egress maliyeti

Modül 4

Maliyet Optimizasyonu Çalıştayı

Cost Management ile harcama analizi
Autoscale, auto-terminate ve spot küme
Reserved capacity ve Savings Plan
Boşta kalan kaynakların temizliği
Kazanç raporu ve önce/sonra karşılaştırması
Optimizasyon backlog'u oluşturma

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Sorgu planı

Synapse sorgu planlarındaki data movement darboğazlarını bulabilirsiniz.

✅

Tablo tasarımı

Dağıtım, columnstore ve istatistik ayarlarını iyileştirebilirsiniz.

✅

Önbellek

Result set caching ve materialized view ile tekrarlı sorguları hızlandırabilirsiniz.

✅

İş yükü yönetimi

Workload group ile kaynak ayırma kurabilirsiniz.

✅

Spark ayarı

AQE, broadcast ve partition ayarlarıyla job süresini düşürebilirsiniz.

✅

Delta bakımı

OPTIMIZE, ZORDER ve VACUUM stratejisi uygulayabilirsiniz.

✅

Pipeline hızı

ADF kopya ve data flow ayarlarıyla taşıma süresini kısaltabilirsiniz.

✅

Maliyet azaltma

Ölçekleme ve duraklatma kurallarıyla bulut faturasını düşürebilirsiniz.

Kimler İçin Uygundur?

Deneyimli veri mühendisleri
veri ambarı performans uzmanları
veri platformu maliyetinden sorumlu mimarlar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Deneyimli veri mühendisleri, veri ambarı performans uzmanları ve veri platformu maliyetinden sorumlu mimarlar için uygundur.

İleri seviye mi, ön koşul nedir?

Evet; ADF, Synapse veya Spark ile temel çalışma deneyimi ve SQL performans bilgisi beklenir.

Gerçek kazanım ölçülür mü?

Evet, her laboratuvarda önce/sonra süre ve maliyet karşılaştırması yapılır.

Hangi servisleri kapsıyor?

Synapse dedicated SQL pool, Spark/Databricks, Delta Lake, Data Factory ve depolama işlenir.

Belge verilir mi?

Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON MICROSOFT AZURE: DATA SOLUTION OPTIMIZATION EĞİTİMİ