Azure Databricks ile Veri Mühendisliği (DP-750)

Eğitim Hakkında

Azure Databricks Çalışma Alanı ve Mimari, Veri Gölü Depolama Entegrasyonu ve Apache Spark ve PySpark ile Veri Dönüşümü ekseninde uygulamalı Azure eğitimi

Eğitim, Azure Databricks üzerinde veri mühendisliği çözümü uygulamayı öğretir: Spark dönüşümleri, Delta Lake, Auto Loader, Lakeflow Declarative Pipelines, Unity Catalog, Workflows, CI/CD ve performans ayarı. Program süresince Azure Databricks Çalışma Alanı ve Mimari, Veri Gölü Depolama Entegrasyonu, Apache Spark ve PySpark ile Veri Dönüşümü, Delta Lake ile Güvenilir Veri Gölü, Veri Alımı ve Akış İşleme, İş Akışı Orkestrasyonu ve CI/CD gibi başlıklar laboratuvarlarla işlenir.

Süre ve Format

3 Gün. Her gün dört modül; her modülde altı konu başlığı, demo, uygulamalı Azure laboratuvarı ve soru-cevap.

Seviye

İleri Seviye — Azure Databricks Çalışma Alanı ve Mimari, Veri Gölü Depolama Entegrasyonu ve Apache Spark ve PySpark ile Veri Dönüşümü başlıklarını kapsayan Azure eğitimi

Öğrenme Metodu

Her modül kısa bir teknik anlatım, ardından Azure Portal, CLI ve gerçek kaynaklar üzerinde yönlendirmeli laboratuvar uygulamasıyla ilerler; Azure Databricks ile Veri Mühendisliği (DP-750) senaryoları sorun giderme alıştırmalarıyla pekiştirilir.

Neden Bu Eğitim?

🧪Uygulamalı Laboratuvar

Azure Databricks Çalışma Alanı ve Mimari ve Veri Gölü Depolama Entegrasyonu gibi konular gerçek Azure kaynakları üzerinde adım adım uygulanır.

🎯Konuya Özgü İçerik

Azure Databricks ile Veri Mühendisliği (DP-750) kapsamında Apache Spark ve PySpark ile Veri Dönüşümü ve Uçtan Uca Databricks Uygulama Laboratuvarı başlıkları doğrudan iş senaryolarıyla işlenir.

🚀Sahada Uygulanabilirlik

Eğitimdeki yapılandırma örnekleri ve kontrol listeleri kurumunuzdaki Azure ortamına taşınabilir.

Anahtar Konular

Azure DatabricksDP-750Delta LakePySparkUnity CatalogAuto Loaderveri mühendisliğimedallion mimarisiDatabricks WorkflowsAzure Databricks ile Veri Mühendisliği (DP-750) eğitimiDigital Vizyon Akademi Azure

“Veri hattı, güvenilir olduğunda ürün olur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL ve Python

Orta düzey SQL ve Python bilgisi beklenir.

2

Laboratuvar Ortamı

Tarayıcı ve internet bağlantısı olan bir bilgisayar yeterlidir; Azure aboneliği/sandbox sağlanır.

3

Komut Satırı

Azure CLI veya PowerShell komutlarını okuyabilmek avantaj sağlar.

4

Bulut Kavramları

IaaS, PaaS ve bölge/zone kavramlarına temel hakimiyet beklenir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı gün sonunda Azure Databricks Çalışma Alanı ve Mimari ve Veri Gölü Depolama Entegrasyonu konularını uygulamalı laboratuvarda kullanabilir; Apache Spark ve PySpark ile Veri Dönüşümü ve Delta Lake ile Güvenilir Veri Gölü başlıklarını çalışan bir çözümle ilişkilendirir.

Modül 1

Azure Databricks Çalışma Alanı ve Mimari

Azure Databricks kontrol düzlemi (control plane) ve işlem düzlemi (compute plane) mimarisi
Workspace dağıtımı, VNet injection ve Secure Cluster Connectivity
All-purpose, job cluster ve SQL warehouse işlem türleri
Notebook, repo (Git folder) ve widget kullanımı
Databricks Runtime sürümleri ve Photon motoru
Cluster policy ile maliyet ve güvenlik sınırlarının tanımlanması

Modül 2

Veri Gölü Depolama Entegrasyonu

ADLS Gen2 hiyerarşik ad alanı ve POSIX ACL
Access Connector for Azure Databricks ve yönetilen kimlik
Unity Catalog storage credential ve external location
Volumes ile yapılandırılmamış dosya erişimi
DBFS mount'tan Unity Catalog'a geçiş
Dosya düzeni ve bölümleme stratejisi (partitioning)

Modül 3

Apache Spark ve PySpark ile Veri Dönüşümü

DataFrame API: select, filter, withColumn, groupBy ve agg
Join stratejileri (broadcast, sort-merge) ve veri çarpıklığı (skew)
Window fonksiyonları ve karmaşık veri tipleri (array, struct, map)
Spark SQL ve temp view kullanımı
Lazy evaluation, stage, task ve shuffle kavramları
Adaptive Query Execution, partition ve cache ayarları

Modül 4

Delta Lake ile Güvenilir Veri Gölü

Delta Lake transaction log ve ACID garantileri
Managed ve external tablolar, CREATE TABLE ... USING DELTA
MERGE INTO ile upsert ve SCD Type 2 yaklaşımı
Time travel (VERSION AS OF), RESTORE ve DESCRIBE HISTORY
OPTIMIZE, Z-ORDER, liquid clustering ve VACUUM
Schema enforcement/evolution, constraint ve Change Data Feed

Günün hedefiKatılımcı gün sonunda Veri Alımı ve Akış İşleme ve İş Akışı Orkestrasyonu ve CI/CD konularını uygulamalı laboratuvarda kullanabilir; Unity Catalog, Güvenlik ve Performans ve Performans Ayarı ve Maliyet Optimizasyonu başlıklarını çalışan bir çözümle ilişkilendirir.

Modül 1

Veri Alımı ve Akış İşleme

Auto Loader (cloudFiles) ile artımlı dosya alımı
COPY INTO ve Azure Data Lake Storage Gen2 bağlantıları
Structured Streaming: trigger, watermark ve checkpoint
Event Hubs / Kafka kaynaklı akış okuma
Medallion mimarisi: Bronze, Silver ve Gold katmanları
Lakeflow Declarative Pipelines (Delta Live Tables) ve expectations ile veri kalitesi

Modül 2

İş Akışı Orkestrasyonu ve CI/CD

Databricks Workflows: job, task bağımlılıkları ve parametreler
Zamanlama, yeniden deneme ve uyarı yapılandırması
Azure Data Factory'den Databricks notebook tetikleme
Databricks Asset Bundles ile kod olarak dağıtım
Azure DevOps ve GitHub Actions ile CI/CD hattı
Pytest ile birim test ve ortam ayrımı (dev/test/prod)

Modül 3

Unity Catalog, Güvenlik ve Performans

Unity Catalog metastore, catalog > schema > table hiyerarşisi
GRANT/REVOKE ile ayrıcalık yönetimi ve Entra ID grup senkronizasyonu
Row filter ve column mask ile ayrıntılı erişim denetimi
Veri soyağacı (lineage) ve denetim günlükleri
Azure Key Vault destekli secret scope kullanımı
Spark UI ile darboğaz analizi ve maliyet optimizasyonu

Modül 4

Performans Ayarı ve Maliyet Optimizasyonu

Spark UI: stage, task süresi ve shuffle okuma/yazma analizi
Veri çarpıklığı (skew) tespiti ve salting
Küçük dosya sorunu, OPTIMIZE ve auto compaction
Photon, caching ve disk cache
Cluster boyutlandırma, autoscale ve spot instance
System tables ile kullanım ve maliyet izleme

Günün hedefiKatılımcı gün sonunda Databricks SQL ve BI Tüketimi ve Azure Analitik Hizmetleri konularını uygulamalı laboratuvarda kullanabilir; Azure Monitor ve Log Analytics ve Uçtan Uca Databricks Uygulama Laboratuvarı başlıklarını çalışan bir çözümle ilişkilendirir.

Modül 1

Databricks SQL ve BI Tüketimi

SQL warehouse türleri (Serverless, Pro, Classic) ve boyutlandırma
Databricks SQL editör, sorgu geçmişi ve alert
Lakeview dashboard'lar
Power BI DirectQuery/Import ve Databricks bağlantısı
Gold katmanı modelleme: yıldız şema ve ölçüler
Sorgu önbelleği ve yetkilendirme

Modül 2

Azure Analitik Hizmetleri

Modern veri ambarı mimarisi: ingest, store, process, serve
Azure Synapse Analytics: dedicated SQL pool, serverless SQL pool ve Spark pool
Azure Data Factory pipeline, activity, dataset ve linked service nesneleri
ETL ve ELT yaklaşımları, Mapping Data Flow
Azure Databricks, Microsoft Fabric ve Stream Analytics konumlandırması
Event Hubs ile gerçek zamanlı veri alımı ve Power BI ile raporlama

Modül 3

Azure Monitor ve Log Analytics

Metrikler ve günlükler (logs) arasındaki fark; Diagnostic Settings
Log Analytics workspace tasarımı ve KQL temel sorguları (where, summarize, project)
Metric alert, log alert, action group ve alert processing rule
Application Insights ile uygulama performans izleme
VM Insights, Container Insights ve Network Insights
Workbook ve dashboard ile görselleştirme, Service Health bildirimleri

Modül 4

Uçtan Uca Databricks Uygulama Laboratuvarı

Ham verinin Auto Loader ile Bronze katmana alınması
Silver katmanda temizleme, tekilleştirme ve MERGE
Gold katmanda toplulaştırılmış veri ürünleri
Job olarak zamanlama ve uyarı
Unity Catalog ile erişim kısıtlama
Hata ayıklama ve performans karşılaştırması

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Databricks Ortamı

Databricks çalışma alanını güvenli ağ ve doğru işlem türleriyle kurgulayabilirsiniz.

🔧

Göl Depolama

ADLS Gen2'yi Unity Catalog external location ile güvenli biçimde bağlayabilirsiniz.

☁️

Delta Lake

Delta tablolarda upsert, geri alma ve optimizasyon işlemlerini güvenle uygulayabilirsiniz.

🔐

Veri Alımı

Batch ve streaming kaynaklardan Bronze-Silver-Gold hattı oluşturabilirsiniz.

📊

Veri Yönetişimi

Unity Catalog ile merkezi yetkilendirme, maskeleme ve soyağacı izlemeyi uygulayabilirsiniz.

🧩

Spark Performansı

Spark UI ile darboğazları bulup küme ve tablo ayarlarıyla süreleri düşürebilirsiniz.

🚀

Analitik Mimari

Modern bir veri analitik mimarisini Azure hizmetleriyle uçtan uca kurgulayabilirsiniz.

🛠️

İzleme ve Uyarı

Azure Monitor, KQL ve uyarı kurallarıyla altyapı ve uygulama sağlığını izleyebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
analitik mühendisler
veri platformu geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, analitik mühendisler ve veri platformu geliştiricileri için uygundur.

Eğitimde hangi konular işlenir?

3 günlük programda Azure Databricks Çalışma Alanı ve Mimari, Veri Gölü Depolama Entegrasyonu, Apache Spark ve PySpark ile Veri Dönüşümü, Delta Lake ile Güvenilir Veri Gölü, Veri Alımı ve Akış İşleme, İş Akışı Orkestrasyonu ve CI/CD gibi başlıklar yer alır; her gün dört modül ve her modülde altı konu başlığı işlenir.

Ön koşul gerekiyor mu?

Orta düzey SQL ve Python bilgisi beklenir. Ayrıntılar ön koşullar bölümünde yer alır.

Eğitim uygulamalı mı?

Evet, Azure Databricks ile Veri Mühendisliği (DP-750) konuları Azure portalı, CLI ve gerçek kaynaklar üzerinde laboratuvar çalışmalarıyla işlenir; laboratuvar ortamı eğitimde sağlanır.

Sertifika verilir mi?

Başarıyla tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. DP-750 sınavı Microsoft tarafından yürütülür; sınav başvurusu ve ücreti ilgili kuruma aittir ve DVA sınav sonucunu garanti etmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

IMPLEMENT DATA ENGINEERING SOLUTIONS USING AZURE DATABRICKS (DP-750) EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Azure Databricks Çalışma Alanı ve Mimari

Veri Gölü Depolama Entegrasyonu

Apache Spark ve PySpark ile Veri Dönüşümü

Delta Lake ile Güvenilir Veri Gölü

Veri Alımı ve Akış İşleme

İş Akışı Orkestrasyonu ve CI/CD

Unity Catalog, Güvenlik ve Performans

Performans Ayarı ve Maliyet Optimizasyonu

Databricks SQL ve BI Tüketimi

Azure Analitik Hizmetleri

Azure Monitor ve Log Analytics

Uçtan Uca Databricks Uygulama Laboratuvarı

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Microsoft Azure Architect Technologies: Architecting Azure Solutions I Eğitimi

Microsoft Azure Architect Technologies: Architecting Azure Solutions II Eğitimi

Microsoft Azure Architect Technologies: Architecting Azure Storage Eğitimi

Microsoft Azure Architect Technologies: Automating Azure Administrative Tasks Eğitimi

Microsoft Azure Architect Technologies: Azure Active Directory Eğitimi