Stored Procedure'den Lakehouse'a Göç

Eğitim Hakkında

Stored procedure ETL'den Lakehouse'a göç atölyesi

Bu yoğun tek günlük atölye, geleneksel SQL stored procedure tabanlı ETL'in Databricks Lakehouse'a göçünü uygulamalı ele alır. Mevcut prosedür mantığının analizi ve envanteri, kalıpların (cursor, geçici tablo, MERGE, döngü) PySpark/Spark SQL ve Delta eşdeğerlerine çevrilmesi işlenir. Medallion mimariye yerleştirme, MERGE ile upsert ve SCD, incremental dönüşüm ve idempotency ele alınır. Doğrulama/reconciliation ile paralel çalıştırma, performans ayarı, Workflows ile orkestrasyon ve kesilme (cutover) stratejisi gün içinde pratik olarak gösterilir.

Süre ve Format

2 Gün. Her gün dört modül; yoğun göç ve dönüşüm labler içerir.

Seviye

İleri Seviye — Stored procedure tabanlı ETL'den Databricks Lakehouse'a göç; yoğun tek günlük atölye.

Öğrenme Metodu

Gerçek bir stored procedure ETL'ini adım adım PySpark/Delta lakehouse'a çevirip doğrulayarak öğrenilir.

Neden Bu Eğitim?

🔄Göç Desenleri

Prosedür kalıplarını Spark/Delta eşdeğerlerine çevirirsiniz.

✅Güvenli Kesme

Reconciliation ve paralel çalıştırmayla güvenli cutover kurarsınız.

⚡Modern Ölçek

Tek-sunucu ETL'i dağıtık lakehouse'a taşırsınız.

Anahtar Konular

databricks göçstored procedure göçülakehouse migrationdelta mergepyspark dönüşümreconciliationmedallion mimarietl modernizasyoncutover

“İyi göç, eskiyi kapatmadan yeniyi kanıtlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

Stored procedure ve ileri SQL deneyimi gerekir.

2

Python

PySpark için orta düzey Python faydalıdır.

3

Databricks

Temel Databricks/Delta kavramları beklenir.

4

Lab Ortamı

Kaynak prosedürler ve bir Databricks workspace erişimi gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı prosedür mantığını analiz edip Spark/Delta eşdeğerine çevirebilir.

Modül 1

Analiz ve Envanter

Prosedür envanteri
Bağımlılık haritası
İş kuralı çıkarımı
Veri akışı belgeleme
Risk/öncelik
Kapsam belirleme

Modül 2

Kalıp Çevirme

Cursor → DataFrame/set işlemi
Temp tablo → DataFrame/temp view
Döngü → vektörel dönüşüm
Dinamik SQL ele alma
Transaction mantığı
Hata yönetimi

Modül 3

MERGE ve SCD

MERGE INTO (Delta)
Upsert deseni
SCD2 üretimi
Silme/düzeltme
Idempotent yazım
Çakışma yönetimi

Modül 4

Medallion Yerleşim

Bronze alım
Silver dönüşüm
Gold sunum
Katman sözleşmesi
Yeniden işleme
İş kuralı yerleşimi

Günün hedefiKatılımcı göçü doğrular, performansı ayarlar ve cutover planlar.

Modül 1

Reconciliation

Satır sayısı karşılaştırma
Checksum/hash doğrulama
Paralel çalıştırma (shadow)
Fark analizi
Tolerans/eşik
İmza (sign-off)

Modül 2

Performans

Partition ve dosya boyutu
Broadcast join
OPTIMIZE/Z-order
AQE
Skew yönetimi
Spark UI analizi

Modül 3

Orkestrasyon

Workflows ile job
Bağımlılık/zamanlama
Parametre
retry/hata
İzleme
Bildirim

Modül 4

Cutover

Kesme stratejisi (big-bang/aşamalı)
Geri dönüş (rollback) planı
Freeze ve senkron
Üretim doğrulama
Dekomisyon
Dokümantasyon

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Analiz

Prosedür envanteri ve bağımlılıklarını çıkarırsınız.

✅

Kalıp Çevirme

Cursor/temp tablo/döngüyü Spark eşdeğerine çevirirsiniz.

✅

MERGE/SCD

Delta MERGE ile upsert ve SCD2'yi uygularsınız.

✅

Medallion

Mantığı bronze/silver/gold katmanlara yerleştirirsiniz.

✅

Reconciliation

Paralel çalıştırma ve hash ile göçü doğrularsınız.

✅

Performans

Partition, join ve OPTIMIZE ile hattı hızlandırırsınız.

✅

Orkestrasyon

Workflows ile göçü üretime orkestra edersiniz.

✅

Cutover

Güvenli kesme ve rollback stratejisi planlarsınız.

Kimler İçin Uygundur?

SQL stored procedure ETL'i Databricks'e taşıyan veri mühendisleri
mimarlar
göç ekipleri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

SQL stored procedure ETL'i Databricks'e taşıyan veri mühendisleri, mimarlar ve göç ekipleri için uygundur.

Hangi kalıplar çevriliyor?

Cursor, geçici tablo, döngü, dinamik SQL ve MERGE gibi kalıplar Spark/Delta eşdeğerlerine çevrilir.

Göç nasıl doğrulanır?

Satır sayısı ve hash reconciliation ile paralel (shadow) çalıştırma üzerinden doğrulanır.

Cutover stratejisi var mı?

Evet; big-bang ve aşamalı kesme ile rollback planı işlenir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATABRICKS GÖÇ ATÖLYESİ: DEPOLANAN PROSEDÜRLERDEN LAKEHOUSE'A (GÜNLÜK YOĞUN EĞİTİM) EĞİTİMİ