Databricks Veri Depolama ve İşleme

Eğitim Hakkında

Databricks'te veri depolama ve işleme temelleri

Bu eğitim Databricks'te veri depolama ve işleme temellerini öğretir. DBFS, Unity Catalog Volumes ve bulut depolama ile dosya erişimi, dosya formatları (CSV/JSON/Parquet/Delta) ve ne zaman hangisi kullanılır işlenir. Tablo oluşturma (managed/external), Delta tablosuna yükleme ve okuma, şema yönetimi ele alınır. PySpark DataFrame ve Spark SQL ile temel dönüşüm (filter, select, join, groupBy), null handling ve tip dönüşümü anlatılır. Partition, temel performans kavramları, cache ve veri yazma desenleri uygulamalı gösterilir.

Süre ve Format

2 Gün. Her gün dört modül; depolama ve dönüşüm labler içerir.

Seviye

Temel Seviye — Databricks'te veri depolama ve işleme: DBFS/Volumes, Delta tabloları ve temel dönüşümü kapsar.

Öğrenme Metodu

Dosyaları Volumes'a koyup Delta tablolarına yükleyerek ve Spark ile işleyerek öğrenilir.

Neden Bu Eğitim?

💾Depolama

DBFS/Volumes ve format seçimini doğru yaparsınız.

🔺Delta Tablo

Managed/external Delta tablolarını kurar ve yüklersiniz.

🔧İşleme

PySpark ve Spark SQL ile temel dönüşümleri uygularsınız.

Anahtar Konular

databricks depolamadbfsunity catalog volumesdelta tabloparquetpyspark dönüşümspark sqlveri işlemedatabricks eğitimi

“Doğru depolama ve temiz işleme, her analizin zeminidir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel SQL

SELECT, JOIN ve agregat düzeyinde SQL gerekir.

2

Temel Python

Basit Python faydalıdır.

3

Veri Kavramı

Dosya ve tablo kavramlarına aşinalık beklenir.

4

Lab Ortamı

Bir Databricks workspace erişimi gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Databricks depolama seçeneklerini ve dosya formatlarını kullanabilir.

Modül 1

Depolama

DBFS kavramı
Unity Catalog Volumes
Bulut depolama erişimi
Dosya yükleme
Dizin/organizasyon
Erişim yetkisi

Modül 2

Dosya Formatları

CSV/JSON
Parquet (columnar)
Delta
Sıkıştırma
Format karşılaştırma
Seçim kriteri

Modül 3

Okuma

spark.read ile okuma
Şema çıkarımı vs belirtme
Çok dosya okuma
Hatalı kayıt yönetimi
Örnek inceleme
display()

Modül 4

Tablo Oluşturma

Managed vs external tablo
CREATE TABLE
Delta'ya kaydetme
saveAsTable
Catalog-schema
Metadata

Günün hedefiKatılımcı PySpark/Spark SQL ile temel dönüşümleri yapıp veri yazabilir.

Modül 1

DataFrame Dönüşüm

select/filter
withColumn
groupBy/agg
join
orderBy
Kolon ifadeleri

Modül 2

Temizleme

Null handling
Deduplication
Tip dönüşümü
String/tarih fonksiyonu
Filtreleme
Yeniden adlandırma

Modül 3

Spark SQL

Temp view
SQL sorgu
SQL + DataFrame birlikte
CTE
Agregat
Pencere giriş

Modül 4

Yazma

Delta yazma (append/overwrite)
Partition yazma
Mode seçimi
Tabloya ekleme
cache/persist
Performans gözlemi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Depolama

DBFS/Volumes ve bulut depolama ile dosyalara erişirsiniz.

✅

Formatlar

CSV/JSON/Parquet/Delta arasında doğru seçim yaparsınız.

✅

Okuma

Spark ile dosyaları şema yönetimiyle okursunuz.

✅

Tablo

Managed/external Delta tabloları oluşturursunuz.

✅

Dönüşüm

DataFrame ile filter/select/join/groupBy uygularsınız.

✅

Temizleme

Null handling ve tip dönüşümü ile veriyi temizlersiniz.

✅

Spark SQL

Temp view ve SQL ile veriyi sorgularsınız.

✅

Yazma

Delta'ya partition ve mode seçimiyle veri yazarsınız.

Kimler İçin Uygundur?

Databricks'e yeni başlayan veri analistleri
mühendis adayları
veriyle çalışan teknik ekipler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Databricks'e yeni başlayan analistler, mühendis adayları ve veriyle çalışan teknik ekipler için uygundur.

Managed ve external tablo farkı nedir?

Managed tabloyu Databricks yönetir; external tablo verisi dışarıda kalır. İkisi de uygulanır.

Hangi dosya formatı ne zaman?

CSV/JSON basit alışveriş, Parquet analitik, Delta ise ACID tablo için; karşılaştırma yapılır.

Python bilmek şart mı?

Temel Python faydalıdır; Spark SQL ile SQL üzerinden de ilerlenebilir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATABRICKS: STORING AND PROCESSING DATA EĞİTİMİ