Snowflake Data Pipelines Eğitimi

Eğitim Hakkında

Snowflake yerel bileşenleriyle veri pipeline kurma

Bu eğitim, Snowflake'in yerel bileşenleriyle sürekli veri pipeline kurmayı öğretir. Snowpipe ile ham veri alımı, Stream ile değişim yakalama (CDC), Task ile zamanlı/koşullu işleme ve görev zinciri (DAG), Dynamic Tables ile bildirimsel dönüşüm işlenir. MERGE ile upsert, staging-to-target akışı, görev izleme ve hata yönetimi, maliyet ve gecikme dengesi uygulamalı ele alınır.

Süre ve Format

3 Gün. Her gün dört modül; Snowpipe-Stream-Task zinciriyle uçtan uca pipeline kuran labler.

Seviye

Orta Seviye — Snowflake Streams, Tasks, Dynamic Tables ve Snowpipe ile sürekli veri pipeline kurmayı kapsar.

Öğrenme Metodu

Katılımcılar Snowpipe ile alınan veriyi Stream ve Task zinciriyle hedef tabloya işleyen bir pipeline kurar.

Neden Bu Eğitim?

🌊Streams

Stream ile tablo değişimlerini (CDC) yakalarsınız.

⏲️Tasks

Task ve görev zinciriyle işlemeyi zamanlar ve otomatikleştirirsiniz.

🧮Dynamic Tables

Dynamic Tables ile dönüşümü bildirimsel olarak güncel tutarsınız.

Anahtar Konular

snowflake data pipelinesnowflake streamssnowflake tasksdynamic tablessnowpipecdc snowflakeelt pipelinemerge upsertmedallion mimari

“Sürekli pipeline, veriyi beklemeden akar tutandır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Snowflake Temeli

Tablo, ambar ve yükleme kavramına hakimiyet gerekir.

2

SQL

MERGE, INSERT ve SELECT yazabilmek faydalıdır.

3

Veri Yükleme

COPY INTO / Snowpipe kavramına aşinalık beklenir.

4

ELT Kavramı

ELT/ETL akışına giriş düzeyinde aşinalık önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Stream ile tablo değişimlerini yakalayıp işleyebilir.

Modül 1

Stream Temelleri

CREATE STREAM ON TABLE
Insert/update/delete yakalama
METADATA$ACTION ve ISUPDATE
Offset ve tüketim mantığı
Standard vs append-only stream
Stream güncelliği (staleness)

Modül 2

Stream Tüketimi

Stream'i MERGE ile tüketme
DML sonrası offset ilerlemesi
Transaction içinde tüketim
Birden çok tüketici için ayrı stream
SHOW STREAMS
Veri kaybını önleme

Modül 3

Değişim İşleme

Staging tablosundan hedefe
Upsert (MERGE) deseni
Silme (soft delete) işleme
SCD benzeri güncelleme
Idempotent işleme
Değişim hacmi izleme

Modül 4

Snowpipe ile Alım

Snowpipe ile ham tablo besleme
Auto-ingest akışı
Stream'in Snowpipe tablosuna bağlanması
Alım gecikmesi
Hata toleransı
Ham-staging ayrımı

Günün hedefiKatılımcı Task zinciriyle pipeline adımlarını otomatikleştirebilir.

Modül 1

Task Temelleri

CREATE TASK ve schedule (CRON)
WAREHOUSE vs serverless task
Task başlatma (RESUME)
SQL/stored procedure çalıştırma
Task durumu
İlk task kuralları

Modül 2

Görev Zinciri (DAG)

AFTER ile bağımlı task
Root ve child task
Görev DAG'ı kurma
Koşullu çalıştırma (WHEN)
SYSTEM$STREAM_HAS_DATA ile tetik
Zincir sıralaması

Modül 3

Task İzleme

TASK_HISTORY görünümü
Hata ve yeniden deneme
Çalışma süresi analizi
Askıya alma/sürdürme
SLA ve gecikme
Serverless maliyet

Modül 4

Hata ve Dayanıklılık

Task hata yakalama
Retry ve alerting
Kısmi başarısızlık yönetimi
Bağımlı görevde durma
İzlenebilirlik
Yeniden işleme

Günün hedefiKatılımcı Dynamic Tables ile dönüşüm kurup pipeline'ı optimize edebilir.

Modül 1

Dynamic Tables

CREATE DYNAMIC TABLE
TARGET_LAG ile tazelik
Bildirimsel dönüşüm SQL'i
Otomatik artımlı yenileme
Stream+Task'e alternatif
Bağımlılık grafiği

Modül 2

Pipeline Deseni

Medallion (bronze/silver/gold)
Ham-staging-mart katmanları
ELT dönüşüm sıralaması
Yeniden işlenebilirlik
Veri kalitesi kontrolü
Katman adlandırma

Modül 3

Performans ve Maliyet

Task ambar boyutu
Serverless vs ambar maliyeti
Dynamic table yenileme maliyeti
Artımlı işleme kazancı
Gereksiz yenilemeyi önleme
Kredi izleme

Modül 4

Operasyon

Pipeline izleme panosu
Alert ve bildirim
Versiyonlama ve dağıtım
Veri gecikmesi takibi
Hata kurtarma
Dokümantasyon

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Streams

Stream ile tablo değişimlerini (CDC) yakalarsınız.

✅

Stream Tüketimi

MERGE ile stream'i güvenle tüketirsiniz.

✅

Tasks

Task ve CRON ile işlemeyi zamanlarsınız.

✅

Görev Zinciri

AFTER ve WHEN ile task DAG'ı kurarsınız.

✅

Dynamic Tables

Bildirimsel dönüşümü TARGET_LAG ile güncel tutarsınız.

✅

Medallion

Bronze/silver/gold katmanlı pipeline tasarlarsınız.

✅

İzleme

TASK_HISTORY ve COPY_HISTORY ile pipeline'ı izlersiniz.

✅

Maliyet Dengesi

Serverless/ambar ve yenileme maliyetini optimize edersiniz.

Kimler İçin Uygundur?

Snowflake içinde ELT pipeline kuran veri mühendisleri
analitik mühendisleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Snowflake içinde ELT pipeline kuran veri mühendisleri ve analitik mühendisleri için uygundur.

Stream ne işe yarar?

Bir tablodaki insert/update/delete değişimlerini yakalayarak CDC ve artımlı işleme sağlar.

Dynamic Table ne zaman tercih edilir?

Stream+Task kombinasyonu yerine bildirimsel, otomatik artımlı dönüşüm istendiğinde tercih edilir.

Task'lar nasıl zincirlenir?

AFTER ile bağımlılık ve WHEN koşuluyla root/child task DAG'ı kurularak zincirlenir.

Sertifika veriliyor mu?

Eğitim sonunda Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SNOWFLAKE: DATA PIPELINES EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Stream Temelleri

Stream Tüketimi

Değişim İşleme

Snowpipe ile Alım

Task Temelleri

Görev Zinciri (DAG)

Task İzleme

Hata ve Dayanıklılık

Dynamic Tables

Pipeline Deseni

Performans ve Maliyet

Operasyon

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Advanced Analytics: Performing Analytics Using Snowflake Eğitimi

Advanced ETL Testing: Advanced Techniques in ETL Testing Eğitimi

Advanced ETL Testing: ETL Testing for Modern Data Architectures Eğitimi

Advanced ETL Testing: Performing Advanced ETL Tests Eğitimi

Amazon Redshift Service Introduction Eğitimi