Snowflake Streams ve CDC Eğitimi

Eğitim Hakkında

Snowflake Streams ile değişim veri yakalama

Bu eğitim, Snowflake'te Stream nesnesiyle change data capture (CDC) kurmayı odakla öğretir. Stream türleri (standard, append-only, insert-only), değişim metadata'sı (METADATA$ACTION, METADATA$ISUPDATE, METADATA$ROW_ID), offset ve tüketim semantiği, MERGE ile hedef tabloya upsert işlenir. SCD Type 1/2 uygulaması, stream güncelliği (staleness) ve retention ilişkisi, stream+task ile sürekli CDC akışı ve çoklu tüketici yönetimi uygulamalı ele alınır.

Süre ve Format

2 Gün. Her gün dört modül; stream oluşturup MERGE ve task ile CDC akışı kuran labler.

Seviye

Orta Seviye — Snowflake Stream nesnesi, CDC yakalama, MERGE ile tüketim, SCD ve stream+task akışını kapsar.

Öğrenme Metodu

Katılımcılar kaynak tabloda değişiklik yapıp stream'i MERGE ve task ile tüketerek CDC akışını uygular.

Neden Bu Eğitim?

🌊Stream Türleri

Standard, append-only ve insert-only stream'leri ayırt edersiniz.

🔀MERGE Tüketimi

Değişimi MERGE ile hedefe upsert edersiniz.

🕑Sürekli CDC

Stream+task ile sürekli değişim işleme kurarsınız.

Anahtar Konular

snowflake streamschange data capturecdc snowflakemerge upsertscd type 2metadata actionstream taskartımlı işlemesnowflake cdc

“Değişimi yakalamak, tüm veriyi yeniden işlemekten her zaman ucuzdur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Snowflake Temeli

Tablo, DML ve ambar kavramına hakimiyet gerekir.

2

SQL

MERGE ve INSERT/UPDATE yazabilmek faydalıdır.

3

Veri Modelleme

SCD ve boyut tablosu kavramına aşinalık beklenir.

4

Task Bilgisi

Snowflake Task kavramına giriş düzeyinde aşinalık önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Stream türlerini ve değişim metadata'sını kullanabilir.

Modül 1

Stream Türleri

Standard stream (tüm DML)
Append-only stream
Insert-only (external/directory)
ON TABLE/VIEW/EXTERNAL
Stream oluşturma
Tür seçim kriteri

Modül 2

Değişim Metadata

METADATA$ACTION (INSERT/DELETE)
METADATA$ISUPDATE
METADATA$ROW_ID
Update = delete+insert temsili
Değişim satırı yorumlama
Net değişim görünümü

Modül 3

Offset ve Tüketim

Stream offset mantığı
DML ile offset ilerlemesi
Transaction içinde tüketim
SYSTEM$STREAM_HAS_DATA
Tüketilmemiş veri
Stream sıfırlama

Modül 4

Güncellik ve Retention

Stream staleness
STALE_AFTER ve retention
Kaynak tablo retention bağı
Bayatlama (stale) önleme
Düzenli tüketim
İzleme

Günün hedefiKatılımcı stream'i MERGE/SCD desenleriyle tüketip task ile otomatikleştirebilir.

Modül 1

MERGE ile Upsert

MERGE INTO hedef USING stream
WHEN MATCHED/NOT MATCHED
Insert+update+delete işleme
Idempotent tüketim
Transaction bütünlüğü
Çakışma yönetimi

Modül 2

SCD Uygulaması

SCD Type 1 (overwrite)
SCD Type 2 (geçmiş kaydı)
Yürürlük tarihleri (valid_from/to)
current flag yönetimi
Hash ile değişim tespiti
Boyut tablosu güncelleme

Modül 3

Stream + Task Akışı

Task ile periyodik tüketim
WHEN SYSTEM$STREAM_HAS_DATA
Serverless task
Görev zinciri (DAG)
Gecikme ayarı
Boş çalıştırmayı önleme

Modül 4

Çoklu Tüketici ve Operasyon

Her tüketiciye ayrı stream
Bağımsız offset
Hata ve yeniden işleme
İzleme (TASK_HISTORY)
Veri kalite kontrolü
Akış dokümantasyonu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Stream Türleri

Standard, append-only ve insert-only stream'leri seçersiniz.

✅

Değişim Metadata

METADATA$ACTION ve ISUPDATE ile değişimi yorumlarsınız.

✅

Offset Semantiği

Stream offset ve tüketim mantığını uygularsınız.

✅

MERGE Tüketimi

Değişimi MERGE ile hedefe upsert edersiniz.

✅

SCD

SCD Type 1/2 ile boyut geçmişini yönetirsiniz.

✅

Stream+Task

Task ile sürekli CDC akışı kurarsınız.

✅

Güncellik Yönetimi

Stream staleness ve retention'ı yönetirsiniz.

✅

Çoklu Tüketici

Birden çok tüketiciyi ayrı stream'lerle beslersiniz.

Kimler İçin Uygundur?

Snowflake içinde CDC
artımlı işleme kuran veri mühendisleri ve analitik mühendisleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Snowflake içinde CDC ve artımlı işleme kuran veri mühendisleri ve analitik mühendisleri için uygundur.

Stream nasıl çalışır?

Bir tablo üzerindeki DML değişimlerini offset ile izler ve tüketildikçe ilerleyen bir değişim görünümü sunar.

Update değişimi nasıl temsil edilir?

Stream'de bir güncelleme, METADATA$ISUPDATE işaretli delete+insert satır çifti olarak görünür.

SCD Type 2 nasıl uygulanır?

Stream'den gelen değişimler MERGE ile valid_from/to ve current flag yönetilerek geçmiş kayıtlı boyutta işlenir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

STREAMS AND CHANGE DATA CAPTURE IN SNOWFLAKE EĞİTİMİ