Databricks ile Veri Mühendisliği Eğitimi

Eğitim Hakkında

Databricks ile üretim düzeyi veri mühendisliği

Bu eğitim Databricks'te üretim düzeyi veri mühendisliğini öğretir. Spark mimarisi, PySpark DataFrame/Spark SQL ve dağıtık işleme işlenir. Delta Lake ile ACID, MERGE, time travel, OPTIMIZE/Z-order ve VACUUM; medallion (bronze/silver/gold) mimari ele alınır. Delta Live Tables (DLT) ile bildirimsel hatlar, expectation ile veri kalitesi, Auto Loader ile artımlı alım, streaming ve batch birleşimi anlatılır. Workflows ile orkestrasyon, Unity Catalog ile yönetişim, performans ayarı ve CI/CD uygulamalı gösterilir.

Süre ve Format

4 Gün. Her gün dört modül; PySpark, Delta ve DLT labler içerir.

Seviye

İleri Seviye — Databricks üzerinde PySpark, Delta Lake, DLT ve Workflows ile üretim veri hatlarını kapsar.

Öğrenme Metodu

Medallion mimarili bir hattı PySpark, Delta Live Tables ve Workflows ile uçtan uca kurarak öğrenilir.

Neden Bu Eğitim?

🔥Spark Gücü

PySpark ile büyük veriyi dağıtık ve verimli işlersiniz.

🔺Medallion

Bronze/silver/gold katmanlarıyla güvenilir mimari kurarsınız.

🛠️DLT + Workflows

Bildirimsel hatlar ve orkestrasyonla üretime alırsınız.

Anahtar Konular

databricks veri mühendisliğipysparkdelta lakedelta live tablesmedallion mimariauto loaderdatabricks workflowsunity catalogspark performans

“Ölçeklenebilir hat, iyi mimari ve disiplinli bakımla kalıcı olur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Orta düzey Python ve DataFrame mantığı gerekir.

2

SQL

Analitik SQL ve dönüşüm bilgisi beklenir.

3

Veri Hattı

ETL/ELT ve veri modelleme kavramlarına aşinalık gerekir.

4

Lab Ortamı

Bir Databricks workspace ve cluster erişimi gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Spark mimarisini kavrar ve PySpark ile veri işleyebilir.

Modül 1

Spark Mimarisi

Driver/executor
Partition ve task
Lazy evaluation
Narrow/wide transformation
Shuffle maliyeti
Catalyst/optimizer

Modül 2

DataFrame API

select/filter/withColumn
groupBy/agg
join stratejileri
Window fonksiyonları
UDF ve pandas UDF
Spark SQL

Modül 3

Okuma/Yazma

Parquet/JSON/CSV okuma
Delta yazma
Partition yazma
Şema yönetimi
Mode (append/overwrite)
Veri kaynağı seçenekleri

Modül 4

Performans

Partition ayarı
Broadcast join
Cache/persist
Skew yönetimi
AQE (adaptive)
Spark UI inceleme

Günün hedefiKatılımcı Delta Lake ile ACID tablolar ve bakım işlemlerini uygulayabilir.

Modül 1

Delta Temeli

Delta tablo oluşturma
Transaction log
ACID garantileri
Şema uygulama/evrim
Checkpoint
Delta vs Parquet

Modül 2

MERGE ve Upsert

MERGE INTO
CDC upsert
SCD2 uygulama
Silme/düzeltme
Idempotent yazım
Çakışma yönetimi

Modül 3

Time Travel

VERSION AS OF
TIMESTAMP AS OF
Geçmiş sorgu
Geri alma (restore)
Audit
Retention

Modül 4

Bakım

OPTIMIZE
Z-ORDER
VACUUM
Liquid clustering (giriş)
Dosya boyutu
İstatistik

Günün hedefiKatılımcı Delta Live Tables ve Auto Loader ile medallion hat kurabilir.

Modül 1

Medallion Mimari

Bronze ham katman
Silver temizleme
Gold agregat
Katman sözleşmesi
Yeniden işleme
İş kuralı

Modül 2

Delta Live Tables

DLT pipeline tanımı
@dlt.table/@dlt.view
streaming vs materialized
Bağımlılık çıkarımı
Development/production mod
DLT izleme

Modül 3

Veri Kalitesi

Expectations (expect/drop/fail)
Kalite metrikleri
Karantina deseni
Kural kataloğu
Başarısızlık yönetimi
Raporlama

Modül 4

Auto Loader

cloudFiles kaynağı
Şema çıkarımı/evrimi
Artımlı dosya alım
checkpoint/exactly-once
Dosya bildirim modu
Ölçekleme

Günün hedefiKatılımcı hatları Workflows ile orkestra eder ve üretime alabilir.

Modül 1

Workflows

Job ve task tanımı
Bağımlılık grafiği
Zamanlama/trigger
Parametre ve değişken
retry/hata yönetimi
İzleme

Modül 2

Unity Catalog

Catalog/schema/table
Erişim kontrolü (GRANT)
Lineage
Veri keşfi
Volume ve external location
Paylaşım

Modül 3

Streaming

Structured Streaming
Watermark ve pencere
Stream-batch birleşimi
checkpoint yönetimi
Exactly-once
Gecikme izleme

Modül 4

CI/CD

Repos ve Git
Databricks Asset Bundles
Ortam promosyonu
Test (pytest/nutter)
Dağıtım otomasyonu
Sürümleme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

PySpark

DataFrame API ile dağıtık veri işleme yazarsınız.

✅

Performans

Partition, broadcast join ve AQE ile Spark'ı optimize edersiniz.

✅

Delta Lake

ACID, MERGE ve time travel ile tabloları yönetirsiniz.

✅

Bakım

OPTIMIZE, Z-order ve VACUUM ile tablo sağlığını korursunuz.

✅

Medallion

Bronze/silver/gold katmanlı mimari kurarsınız.

✅

DLT

Delta Live Tables ile bildirimsel hat ve expectation tanımlarsınız.

✅

Auto Loader

Auto Loader ile artımlı ve exactly-once alım kurarsınız.

✅

Üretim

Workflows, Unity Catalog ve CI/CD ile üretime alırsınız.

Kimler İçin Uygundur?

Databricks üzerinde üretim hatları kuran veri mühendisleri
platform ekipleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Databricks'te üretim hatları kuran veri mühendisleri ve platform ekipleri için uygundur.

Delta Live Tables kapsamda mı?

Evet; DLT ile bildirimsel hat, expectations ile veri kalitesi uygulamalı işlenir.

Streaming ele alınıyor mu?

Evet; Structured Streaming, Auto Loader ve stream-batch birleşimi gösterilir.

CI/CD var mı?

Databricks Asset Bundles, Repos/Git ve test ile dağıtım otomasyonu işlenir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA ENGINEERING WITH DATABRICKS EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Spark Mimarisi

DataFrame API

Okuma/Yazma

Performans

Delta Temeli

MERGE ve Upsert

Time Travel

Bakım

Medallion Mimari

Delta Live Tables

Veri Kalitesi

Auto Loader

Workflows

Unity Catalog

Streaming

CI/CD

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Snowflake Architecture Eğitimi

Snowflake Performance: Iceberg Tables, External Tables, and Views Eğitimi

Snowflake Performance: Query Acceleration and Caching Eğitimi

Snowflake Performance: Scaling and Autoscaling Warehouses Eğitimi

Snowflake: Account and Resource Management Eğitimi