Lakehouse mimarisini Delta Lake ile kurun
Lakehouse kavramı, Delta Lake ACID/şema evrim, MERGE, time travel, change data feed, medallion katmanlama ve OPTIMIZE/Z-order tablo yönetimini öğreten orta seviye eğitim.
Lakehouse mimarisi ve Delta Lake temelleri
Bu eğitim lakehouse mimarisini ve Delta Lake'i kapsamlı ele alır. Veri gölü ve ambarın birleşimi olarak lakehouse kavramı, ayrışmış depolama-hesaplama ve açık format avantajları anlatılır. Delta Lake: transaction log, ACID garantileri, şema uygulama/evrim, MERGE, time travel ve version restore işlenir. Medallion (bronze/silver/gold) katmanlama, incremental işleme, OPTIMIZE/Z-order, liquid clustering ve VACUUM ile tablo yönetimi ele alınır. Streaming+batch birleşimi, Delta özellikleri (change data feed) ve performans/maliyet uygulamalı gösterilir.
3 Gün. Her gün dört modül; Delta Lake ve medallion labler içerir.
Orta Seviye — Lakehouse mimarisi ve Delta Lake: ACID, medallion, tablo yönetimi ve performansı kapsar.
Bir veri setini medallion katmanlara alıp Delta özellikleriyle yöneterek öğrenilir.
Göl ve ambarın avantajlarını tek mimaride birleştirirsiniz.
Delta transaction log ile veri gölüne güvenilirlik katarsınız.
OPTIMIZE ve Z-order ile sorgu performansını artırırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Analitik SQL ve tablo kavramları gerekir.
Veri gölü/ambar ve ETL kavramlarına aşinalık beklenir.
PySpark/Spark SQL'e temel aşinalık faydalıdır.
Bir Databricks workspace erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Lakehouse kavramını ve avantajlarını açıklarsınız.
Transaction log ve ACID garantilerini kavrarsınız.
Şema uygulama ve evrimi güvenle yönetirsiniz.
MERGE ile upsert ve SCD2 üretirsiniz.
Time travel ve RESTORE ile geçmişe erişirsiniz.
Change data feed ve streaming ile incremental işlersiniz.
Bronze/silver/gold katmanlı mimari kurarsınız.
OPTIMIZE, Z-order ve VACUUM ile tabloları yönetirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Databricks SQL ve PySpark ile veri keşfi, Delta tabloları sorgulama, pencere fonksiyonları, profilleme ve dashboard kurmayı uygulamalı öğrenin.
Detayları Gör →
Veri mühendisliği temelleri: depolama (ambar/göl/lakehouse), ETL/ELT, dosya formatları, modelleme, orkestrasyon ve bulut servislerini uygulamalı öğrenin.
Detayları Gör →
Databricks'te PySpark, Delta Lake, medallion mimari, Delta Live Tables, Auto Loader ve Workflows ile üretim veri hatları kurmayı uygulamalı öğrenin.
Detayları Gör →
Görsel data flow ile ETL: kaynak-hedef eşleme, lookup, SCD, incremental yükleme, hata akışı, performans ayarı ve dağıtımı uygulamalı öğrenin.
Detayları Gör →
Veri gölü kaynak alımı, zone organizasyonu, ETL operasyonları, Athena/Spark SQL sorgulama ve BI görselleştirmeyi uçtan uca uygulamalı öğrenin.
Detayları Gör →