Azure Databricks Eğitimi

Eğitim Hakkında

Azure Databricks lakehouse platformu, yönetişim ve veri mühendisliği iş akışları

Eğitim, Azure Databricks platformunun tüm yönlerini veri mühendisi bakışıyla ele alır: lakehouse mimarisi, workspace ve cluster politikaları, Spark çalışma modeli, Delta Lake, Unity Catalog ile metastore ve erişim yönetimi, Databricks SQL Warehouse, Delta Live Tables, MLflow ile deney takibi, Azure ağ entegrasyonu (VNet injection) ve izleme ile maliyet yönetimi uygulamalı işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde mimari anlatım, Azure portal laboratuvarı ve kısa senaryo çalışması yer alır.

Seviye

Orta Seviye — Azure Databricks platformunu, Spark mimarisini, Delta Lake, Unity Catalog, MLflow ve üretim operasyonlarını kapsayan eğitim

Öğrenme Metodu

Gerçek Databricks çalışma alanında notebook, SQL Warehouse ve Unity Catalog laboratuvarlarıyla ilerlenir.

Neden Bu Eğitim?

🏠Lakehouse

Veri gölü ve ambar yaklaşımlarını tek platformda birleştirmeyi öğrenirsiniz.

🗂️Unity Catalog

Merkezi yönetişimle tablo, kolon ve dosya erişimini kontrol edersiniz.

🤖ML Entegrasyonu

MLflow ile model ve deney takibini veri hattına bağlarsınız.

Anahtar Konular

azure databricksdatabricks eğitimilakehouseunity catalogdelta live tablesdatabricks sql warehousemlflowdelta lakespark azureazure veri mühendisliği

“Lakehouse, veri ile yapay zekâ arasındaki duvarı kaldırır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL ve Python

Temel SQL sorgusu ve Python kodu okuyabilmek beklenir.

2

Veri kavramları

Veri gölü, ambar ve ETL terimlerine aşinalık gerekir.

3

Azure temelleri

Sanal ağ, depolama ve kimlik kavramlarını bilmek faydalıdır.

4

Azure aboneliği

Databricks çalışma alanı oluşturabilen abonelik gereklidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Databricks platform bileşenlerini kurar ve Spark ile veri işleme notebook'ları geliştirir.

Modül 1

Lakehouse ve Platform Mimarisi

Control plane ve compute plane ayrımı
Workspace, SKU ve fiyatlandırma (DBU)
Lakehouse ve klasik veri ambarı farkları
VNet injection ve secure cluster connectivity
Workspace kullanıcı ve grup yönetimi
Databricks ve Azure Synapse konumlandırması

Modül 2

Cluster ve Hesaplama Yönetimi

All-purpose, job ve SQL Warehouse compute
Cluster policies ile maliyet kontrolü
Autoscaling ve spot instance
Runtime sürümleri, Photon, ML runtime
Init script ve kütüphane yönetimi
Cluster havuzları

Modül 3

Spark Çekirdeği

Driver, executor ve task modeli
Lazy evaluation ve DAG
Transformation ve action farkı
Shuffle, stage ve partition
Spark UI ile iş analizi
Caching ve persist

Modül 4

Veri Okuma ve Dönüştürme

DataFrame ile ETL desenleri
Spark SQL ve Python karışımı
Mount yerine external location kullanımı
Dosya formatları ve sıkıştırma
Join, window ve toplulaştırma
Notebook widget ve parametreler

Günün hedefiKatılımcı Delta tabloları ve Unity Catalog yönetişimini kurar, işleri üretime hazırlar.

Modül 1

Delta Lake ve DLT

Delta tabloları, MERGE ve time travel
Change Data Feed
Delta Live Tables pipeline tanımı
Expectations ile kalite kuralları
Streaming tables ve materialized views
Table property ve optimizasyon

Modül 2

Unity Catalog ve Güvenlik

Metastore, katalog, şema, tablo hiyerarşisi
GRANT/REVOKE ve grup tabanlı yetkilendirme
Satır filtresi ve kolon maskesi
Lineage ve audit log
Storage credential ve external location
Secret scope ve Key Vault

Modül 3

SQL Warehouse ve Analitik

SQL Warehouse boyutları ve serverless
Sorgu editörü, panolar ve uyarılar
Power BI bağlantısı
Sorgu geçmişi ve profil
Genie ve yapay zekâ destekli analiz kavramı
Maliyet ve otomatik durdurma

Modül 4

MLflow, Jobs ve İzleme

MLflow experiment, run ve model registry
Jobs ve workflow orkestrasyonu
Databricks CLI ve Bundles ile CI/CD
System tables ile kullanım ve maliyet izleme
Azure Monitor entegrasyonu
Üretime geçiş kontrol listesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Lakehouse mimarisi

Databricks platform bileşenlerini ve lakehouse yaklaşımını açıklayabilirsiniz.

✅

Cluster politikası

Maliyet kontrollü cluster ve cluster policy tanımlayabilirsiniz.

✅

Spark modeli

Spark DAG, shuffle ve partition kavramlarıyla iş analizi yapabilirsiniz.

✅

Delta Lake

Delta tablolarında MERGE ve time travel kullanabilirsiniz.

✅

Unity Catalog

Katalog hiyerarşisi ve GRANT ile erişim yönetebilirsiniz.

✅

DLT

Delta Live Tables ile kalite kurallı pipeline yazabilirsiniz.

✅

SQL Warehouse

SQL Warehouse ve panolarla analitik sunum yapabilirsiniz.

✅

MLflow ve Jobs

MLflow deney takibi ve Jobs ile üretim akışı kurabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
veri bilimciler
Azure üzerinde lakehouse platformu işleten BT mimarları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri bilimciler ve Azure üzerinde lakehouse platformu işleten BT mimarları için uygundur.

Databricks Spark temelinden başlar mı?

Evet; Spark çalışma modeli, DAG ve shuffle kavramları platform konularından önce işlenir.

Unity Catalog işleniyor mu?

Evet, metastore, GRANT, satır filtresi ve kolon maskesi uygulamalı işlenir.

Maliyet yönetimi var mı?

Cluster policy, autoscaling ve system tables ile maliyet izleme işlenir.

Belge verilir mi?

Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING ON MICROSOFT AZURE: DATABRICKS EĞİTİMİ