MODERN DATA WAREHOUSING / DATA ENGINEERING WITH DATABRICKS ON AWS HACKATHON (MDWDE-HACK-AWS) EĞİTİMİ

Lakehouse mimarisini hackathon temposunda kurun

Databricks on AWS ile Delta Lake, Spark SQL, Auto Loader, medallion mimarisi, Unity Catalog ve Workflows ile ekip hackathonu.

Bu hackathon formatlı eğitim, Databricks'in AWS üzerinde modern veri ambarı ve veri mühendisliği çözümlerini ekip çalışmasıyla kurdurur. DVA'da 2 gün süren, Türkçe ve laboratuvar destekli bir programdır.

2 gün İleri Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Databricks ve AWS üzerinde modern veri ambarı mühendisliği hackathonu

Bu hackathon formatlı eğitim, Databricks'in AWS üzerinde modern veri ambarı ve veri mühendisliği çözümlerini ekip çalışmasıyla kurdurur. Workspace ve cross-account IAM entegrasyonu, S3 üzerinde Delta Lake, Auto Loader ile artımlı yükleme, bronz-gümüş-altın (medallion) katmanları, Spark SQL ve PySpark dönüşümleri, Delta Live Tables, Unity Catalog yönetişimi, Workflows ile orkestrasyon ve SQL warehouse performans ayarı ele alınır.

Süre ve Format

2 Gün. Her gün dört modül; Platform ve Ingest ile başlar, Yönetişim ve Sunum ile tamamlanır; her modül kısa anlatım ve laboratuvar uygulamasıyla ilerler.

Seviye

İleri Seviye — Databricks lakehouse, Delta Lake, Spark ve AWS entegrasyonu ile ekip bazlı hackathon.

Öğrenme Metodu

Kısa teknik oturumlar ve ekipler halinde çözülen hackathon görevleriyle ilerler; son gün ekip sunumu ve eğitmen kod gözden geçirmesi yapılır.

Neden Bu Eğitim?

☁️Hackathon formatı

Gerçek bir problem üzerinde ekip olarak çalışıp çözümü sunarsınız.

🛠️Delta Lake gücü

ACID işlem, time travel ve şema evrimi ile güvenilir veri gölü kurarsınız.

🎯Yönetişim

Unity Catalog ile veri erişimini, soyağacını ve denetimi merkezileştirirsiniz.

Anahtar Konular

Databricks on AWSDelta LakeDatabricks eğitimiAuto Loadermedallion mimarisiDelta Live TablesUnity CatalogSpark veri mühendisliğilakehouseveri ambarı hackathon
“Hızlı öğrenmenin yolu, ekiple çözülen gerçek problemden geçer.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
Spark ve SQL

PySpark DataFrame API ve SQL ile veri dönüştürme deneyimi beklenir.

2
AWS hesabı

Laboratuvarlar için ücretsiz katman veya eğitmenin yönlendirdiği bir AWS hesabı kullanılır; ücretli kaynaklar önceden belirtilir.

3
Temel bulut kavramları

IaaS, PaaS, SaaS ayrımı ve paylaşılan sorumluluk modeli hakkında genel bilgi yeterlidir.

4
Konsol ve CLI

AWS Management Console'da gezinme ve temel komut satırı kullanımı rahatça yapılabilmelidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Databricks workspace'ini AWS ile bağlayıp artımlı veri alım hattını kurabilir.
Modül 1
Databricks on AWS Mimarisi
  • Control plane ve data plane
  • Cross-account IAM rolü ve S3 erişimi
  • Workspace, cluster ve SQL warehouse tipleri
  • Photon motoru
  • Instance profile ve güvenlik
  • Maliyet birimi: DBU
Modül 2
Delta Lake Temelleri
  • Delta tablo oluşturma ve transaction log
  • ACID ve eşzamanlı yazma
  • Time travel ve RESTORE
  • Şema zorlama ve evrimi
  • MERGE INTO ile upsert
  • OPTIMIZE, ZORDER ve VACUUM
Modül 3
Artımlı Veri Alımı
  • Auto Loader (cloudFiles) ile S3 ingest
  • Şema çıkarımı ve rescue column
  • COPY INTO kullanımı
  • Structured Streaming trigger'ları
  • Kinesis ve Kafka kaynakları
  • Checkpoint yönetimi
Modül 4
Medallion Mimarisi
  • Bronz katman: ham veri
  • Gümüş katman: temizleme ve birleştirme
  • Altın katman: iş mantığı ve ölçüler
  • Veri kalitesi beklentileri (expectations)
  • Boyut modelleme
  • Hackathon görevi 1: ham veriyi gümüşe taşıma
Günün hedefiKatılımcı, yönetişimli ve otomatik bir veri hattını tamamlayıp ekip olarak sunabilir.
Modül 1
Delta Live Tables
  • Bildirimsel pipeline tanımı
  • Streaming table ve materialized view
  • Expectations ile kalite kuralları
  • Pipeline modları: triggered, continuous
  • Olay günlüğü ve izleme
  • Hackathon görevi 2: DLT hattı
Modül 2
Unity Catalog ve Güvenlik
  • Metastore, catalog, schema, table hiyerarşisi
  • GRANT/REVOKE izinleri
  • Dış konum (external location)
  • Satır ve sütun filtreleme
  • Veri soyağacı (lineage)
  • Denetim günlükleri
Modül 3
Workflows ve DevOps
  • Jobs ve task bağımlılıkları
  • Parametreli notebook çalıştırma
  • Databricks Asset Bundles
  • Git entegrasyonu ve CI/CD
  • Hata bildirimi ve yeniden deneme
  • Maliyet kontrolü: cluster politikası
Modül 4
SQL Warehouse ve Sunum
  • SQL warehouse boyutlandırma
  • Sorgu profil ve performans ayarı
  • Dashboard ve BI bağlantısı
  • Redshift/Athena karşılaştırması
  • Ekip sunumu ve kod gözden geçirme
  • Değerlendirme ve geri bildirim

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Databricks on AWS Mimarisi

Databricks on AWS Mimarisi kapsamında control plane ve data plane ve workspace, cluster ve SQL warehouse tipleri çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

🔧
Delta Lake Temelleri

Delta Lake Temelleri kapsamında delta tablo oluşturma ve transaction log ve time travel ve RESTORE çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

☁️
Artımlı Veri Alımı

Artımlı Veri Alımı kapsamında auto Loader (cloudFiles) ile S3 ingest ve COPY INTO kullanımı çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

🔐
Medallion Mimarisi

Medallion Mimarisi kapsamında bronz katman: ham veri ve altın katman: iş mantığı ve ölçüler çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

📊
Delta Live Tables

Delta Live Tables kapsamında bildirimsel pipeline tanımı ve expectations ile kalite kuralları çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

🚀
Unity Catalog ve Güvenlik

Unity Catalog ve Güvenlik kapsamında metastore, catalog, schema, table hiyerarşisi ve dış konum (external location) çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

🧩
Workflows ve DevOps

Workflows ve DevOps kapsamında jobs ve task bağımlılıkları ve databricks Asset Bundles çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

🛡️
SQL Warehouse ve Sunum

SQL Warehouse ve Sunum kapsamında SQL warehouse boyutlandırma ve dashboard ve BI bağlantısı çalışmalarını laboratuvarda uygulayabilir hale geleceksiniz.

Kimler İçin Uygundur?

  • Veri mühendisleri
  • Spark geliştiricileri
  • veri platformu mimarları için uygundur; temel Spark ve SQL deneyimi olan ekiplere önerilir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Veri mühendisleri, Spark geliştiricileri ve veri platformu mimarları için uygundur; temel Spark ve SQL deneyimi olan ekiplere önerilir.
Eğitime katılmak için ön bilgi gerekir mi?
PySpark DataFrame API ve SQL ile veri dönüştürme deneyimi beklenir. Ayrıca laboratuvarlar için ücretsiz katman veya eğitmenin yönlendirdiği bir AWS hesabı kullanılır; ücretli kaynaklar önceden belirtilir.
Eğitim kaç gün sürer ve nasıl işlenir?
Program 2 gündür; her gün dört modülden oluşur. Kısa teknik oturumlar ve ekipler halinde çözülen hackathon görevleriyle ilerler; son gün ekip sunumu ve eğitmen kod gözden geçirmesi yapılır.
Hackathon formatı nasıl işler?
Kısa teknik oturumların ardından ekipler verilen görevleri çözer; eğitmen rehberlik eder ve son gün çözümler sunulup değerlendirilir. Katılımcılar çalışan bir hat ile ayrılır.
Eğitim sonunda sertifika verilir mi?
Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. Üçüncü taraf bir üreticinin sınavı söz konusuysa sınav başvurusu ve ücreti ilgili kuruma aittir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Modern Data Warehousing / Data Engineering with Databricks o Sertifika Kodu DV-2026XX00 Tarih 27.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre2 gün
Seviyeİleri Seviye
FormatOnline / Yüz Yüze / Hibrit
Sertifika✓ Var
Hemen Bilgi Al
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Amazon AWSAWS Developer Associate : Optimization Eğitimi
Bulut Bilişim Eğitimleri

AWS Developer Associate : Optimization Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

AWS Developer Associate: Performans ve Maliyet Optimizasyonu: performans optimizasyonu ve ElastiCache odaklı 2 günlük uygulamalı AWS eğitimi, laboratuvarlarla.

Detayları Gör →
Amazon AWSAWS Developer Associate : Troubleshooting Techniques Eğitimi
Bulut Bilişim Eğitimleri

AWS Developer Associate : Troubleshooting Techniques Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

AWS Developer Associate: Sorun Giderme eğitimi: AWS sorun giderme, Logs Insights, X-Ray konularında 2 günlük uygulamalı program. DVA Katılım ve Başarı Sertifika

Detayları Gör →
Amazon AWSAWS Developer Associate Eğitimi
Bulut Bilişim Eğitimleri

AWS Developer Associate Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

AWS Developer Associate eğitimi: AWS Developer Associate, DVA-C02, Lambda konularında 3 günlük uygulamalı program. DVA Katılım ve Başarı Sertifikası.

Detayları Gör →
Amazon AWSAWS Developer Associate: Amazon Elastic Compute Cloud (EC) Eğitimi
Bulut Bilişim Eğitimleri

AWS Developer Associate: Amazon Elastic Compute Cloud (EC) Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

AWS Developer Associate: EC2 ile Uygulama Barındırma eğitimi: Amazon EC2, launch template konularında 2 günlük uygulamalı program. DVA Katılım ve Başarı Sertifi

Detayları Gör →
Amazon AWSAWS Developer Associate: Amazon Elastic Compute Cloud Eğitimi
Bulut Bilişim Eğitimleri

AWS Developer Associate: Amazon Elastic Compute Cloud Eğitimi

2 günOrtaOnline / Yüz Yüze / Hibrit

AWS Developer Associate: Amazon EC2 Temelleri eğitimi: Amazon EC2, AMI, EBS konularında 2 günlük uygulamalı program. DVA Katılım ve Başarı Sertifikası.

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn