Data Loading Eğitimi

Eğitim Hakkında

ETL/ELT sürecinin yükleme (load) adımına odaklanan uygulamalı program

Bu eğitim, veriyi hedef veritabanı veya ambara verimli ve güvenilir biçimde yükleme becerisi kazandırır. Tam (full) ve artımlı (incremental) yükleme, bulk load araçları (COPY, bcp, LOAD DATA), satır satır yüklemenin maliyeti, upsert/MERGE, yakalama tabanlı değişiklik (CDC) ele alınır. Yavaş değişen boyutlar (SCD Tip 1/2), staging tablo kullanımı, kısıt ve indeks yönetimi, işlem ve hata yönetimi, yükleme performansı ve idempotentlik işlenir. Katılımcı; farklı yükleme stratejilerini gerçek bir hedef tabloda uygular.

Süre ve Format

2 Gün. Her gün dört modül; yükleme türleri, bulk load, upsert/SCD ve performans üzerine uygulamalı çalışma.

Seviye

Orta Seviye — veri yükleme teknikleri, toplu/artımlı yükleme, bulk load, upsert ve ETL/ELT yükleme adımı

Öğrenme Metodu

PostgreSQL/SQL Server üzerinde COPY, MERGE ve staging ile yükleme senaryoları uygulamalı denenir.

Neden Bu Eğitim?

⚡Yüksek Hız

Bulk load ile satır satır eklemeye kıyasla yüklemeyi kat kat hızlandırırsınız.

🔁İdempotentlik

Upsert ve artımlı yüklemeyle tekrar çalıştırmada çift kayıt oluşmasını önlersiniz.

📚Tarihçe

SCD Tip 2 ile boyut değişikliklerinin tarihçesini doğru saklarsınız.

Anahtar Konular

veri yüklemedata loadingbulk loadupsertmergescdartımlı yüklemeetlcopystaging

“İyi yükleme, veriyi hem hızlı hem bozmadan taşımaktır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL deneyimi

INSERT, UPDATE ve temel DDL'e aşinalık gerekir.

2

ETL farkındalığı

Kaynak-hedef ve dönüşüm kavramları faydalıdır.

3

Veritabanı erişimi

PostgreSQL veya SQL Server erişimi önerilir.

4

Komut satırı

Temel kabuk ve istemci kullanımı yararlı olur.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı yükleme türlerini ayırt eder ve bulk load uygular.

Modül 1

Yükleme Türleri

Tam (full) yükleme
Artımlı (incremental) yükleme
Truncate-load deseni
Append-only yükleme
Yükleme türü seçim kriterleri
Yeniden yüklenebilirlik

Modül 2

Bulk Load

COPY (PostgreSQL) kullanımı
bcp / BULK INSERT (SQL Server)
LOAD DATA (MySQL)
Satır satır INSERT maliyeti
Toplu (batch) INSERT boyutu
Dosya formatı ve ayraç

Modül 3

Staging

Staging tablo amacı
Ham veriyi staging'e alma
Staging'de doğrulama
Staging'den hedefe aktarım
Geçici (temp) tablo kullanımı
Staging temizliği

Modül 4

Artımlı Yakalama

Zaman damgası (high-water mark)
Değişiklik kolonuyla filtre
CDC kavramı
Silme (delete) yakalama
Watermark saklama
Kaçırılan değişiklik riski

Günün hedefiKatılımcı upsert, SCD ve performans tekniklerini uygular.

Modül 1

Upsert / MERGE

INSERT ... ON CONFLICT (PostgreSQL)
MERGE ifadesi
Anahtar bazlı eşleştirme
Insert/update/delete dalları
İdempotent upsert
Çakışma ve kilit yönetimi

Modül 2

Yavaş Değişen Boyut

SCD Tip 1 (üzerine yazma)
SCD Tip 2 (tarihçe satırı)
Geçerlilik tarihleri ve aktif bayrak
Surrogate key yönetimi
SCD Tip 3 ve hibrit
Boyut yükleme sırası

Modül 3

Kısıt ve İndeks

Yükleme öncesi indeks devre dışı
Yükleme sonrası yeniden oluşturma
Kısıt doğrulama zamanlaması
Toplu yüklemede foreign key
Bölüm değiştirme (partition switch)
İstatistik güncelleme

Modül 4

Performans ve Hata

İşlem (transaction) boyutu
Paralel yükleme
Hata satırı yönetimi ve log
Yeniden deneme ve kaldığı yerden
Yükleme izleme ve metrik
Yükleme runbook'u

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Yükleme Türleri

Full ve artımlı yükleme arasında doğru seçim yapabilirsiniz.

✅

Bulk Load

COPY/bcp gibi araçlarla hızlı toplu yükleme yapabilirsiniz.

✅

Staging

Staging tablolarıyla güvenli yükleme akışı kurabilirsiniz.

✅

Artımlı Yakalama

Watermark ve CDC ile değişiklikleri yakalayabilirsiniz.

✅

Upsert

MERGE/ON CONFLICT ile idempotent upsert uygulayabilirsiniz.

✅

SCD

SCD Tip 1/2 ile boyut tarihçesini yönetebilirsiniz.

✅

İndeks Yönetimi

Yükleme çevresinde indeks ve kısıtları optimize edebilirsiniz.

✅

Performans

Paralel yükleme ve hata yönetimiyle performansı artırabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
ETL geliştiricileri
DBA'lar
veri aktarımı yapan yazılımcılar için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, ETL geliştiricileri ve DBA'lar için uygundur.

Hangi veritabanları kullanılır?

Örnekler PostgreSQL ve SQL Server üzerinde COPY/MERGE ile gösterilir.

SCD nedir?

Yavaş değişen boyutlardır; Tip 1 ve Tip 2 tarihçe yönetimi eğitimde uygulanır.

Tüm ETL'i mi kapsar?

Hayır, odak yükleme (load) adımıdır; çıkarım ve dönüşüm ayrı eğitimlerde işlenir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA LOADING EĞİTİMİ