Continuous Data: Automating Data Ingestion from

Eğitim Hakkında

Snowflake'te sürekli ve otomatik veri alımı hattı kurma

Eğitim, S3, Azure Blob ve GCS üzerindeki dosyaların Snowflake'e otomatik alınmasını işler: storage integration ve external stage, file format (CSV, JSON, Parquet), COPY INTO seçenekleri ve ON_ERROR, load metadata, Snowpipe ile otomatik alım (SQS/Event Grid/Pub-Sub bildirimleri), PIPE_STATUS ve COPY_HISTORY izleme, Streams ile değişiklik yakalama, Tasks ile zamanlanmış dönüşüm, hata yönetimi, yeniden yükleme ve maliyet optimizasyonu.

Süre ve Format

2 Gün. Her gün dört modül; stage ve pipe kurulumu, otomatik alım senaryoları ve izleme laboratuvarlarıyla işlenir.

Seviye

Orta Seviye — Snowflake ile bulut depolamadan sürekli veri alımı: stage, Snowpipe, otomatik içe aktarma, stream, task ve hata izleme.

Öğrenme Metodu

Katılımcılar S3 benzeri kovaya düşen dosyaları Snowpipe ile tabloya otomatik yükler, stream ve task ile dönüşüm hattı kurar ve hatalı dosyaları izleyip yeniden işler.

Neden Bu Eğitim?

❄️Otomatik alım

Dosya geldikçe tetiklenen Snowpipe ile elle yükleme yükünü ortadan kaldırırsınız.

🔐Güvenli erişim

Storage integration ile anahtar paylaşmadan bulut depolamaya erişirsiniz.

🧯Hata izleme

Yükleme hatalarını COPY_HISTORY ile bulup yeniden işlersiniz.

Anahtar Konular

Snowflake SnowpipeSnowflake veri alımıCOPY INTOSnowflake stageSnowflake Streams TasksS3 Snowflakesürekli veri yüklemeveri mühendisliğiSnowflake eğitimiotomatik veri alımı

“Veri ambarı, veri geldiğinde değil, veri geldiği anda hazır olmalıdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

SQL

Temel SQL ve DDL bilgisi gerekir.

2

Snowflake temelleri

Warehouse, database ve schema kavramları bilinmelidir.

3

Bulut depolama

S3, Blob veya GCS temel kullanımına aşinalık beklenir.

4

Deneme hesabı

Snowflake deneme hesabı ve bir bulut depolama hesabı önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı bulut depolamayı güvenle bağlar ve COPY INTO ile kontrollü toplu yükleme yapar.

Modül 1

Bulut Depolama Erişimi

Storage integration ve IAM rolü / servis principal
External ve internal stage
Stage içindeki dosyaları LIST etme
Dosya yolu ve desen (PATTERN)
Şifreli depolama desteği
Erişim hatası çözümü

Modül 2

Dosya Formatları

CSV file format seçenekleri
JSON ve VARIANT veri
Parquet ve şema çıkarımı (INFER_SCHEMA)
Sıkıştırma ve sınır karakterler
Tarih ve null işleme
MATCH_BY_COLUMN_NAME

Modül 3

COPY INTO

COPY INTO table ve seçenekler
ON_ERROR: CONTINUE, SKIP_FILE, ABORT
VALIDATION_MODE ile ön doğrulama
Load metadata ve tekrar yüklememe
FORCE ve PURGE
Dönüşümlü yükleme (SELECT içinde)

Modül 4

Performans ve Boyutlandırma

Dosya boyutu: 100-250 MB önerisi
Warehouse boyutu ve eşzamanlılık
Paralel yükleme
Kümeleme ve yükleme sırası
Kredi tüketimi
Bölümlenmiş dosya düzeni

Günün hedefiKatılımcı olay tetiklemeli Snowpipe, stream ve task ile sürekli veri alım ve dönüşüm hattı kurar.

Modül 1

Snowpipe

Pipe oluşturma ve AUTO_INGEST
Bulut bildirimleri: SQS, Event Grid, Pub/Sub
Snowpipe REST API
Snowpipe Streaming genel bakış
Gecikme ve dosya boyutu
Maliyet modeli (sunucusuz)

Modül 2

İzleme ve Hata Yönetimi

SYSTEM$PIPE_STATUS
COPY_HISTORY ve LOAD_HISTORY
PIPE_USAGE_HISTORY
Hatalı dosyaların tespiti
ALTER PIPE REFRESH ile yeniden işleme
Bildirim entegrasyonu ve alarm

Modül 3

Streams ve Tasks

Standard ve append-only stream
Değişiklik tabloları (METADATA$ACTION)
Task zamanlama ve CRON
Task grafikleri (bağımlı görevler)
SYSTEM$STREAM_HAS_DATA koşulu
MERGE ile upsert

Modül 4

Üretime Alma

Ham, hazırlık ve işlenmiş katmanlar
Rol ve yetki tasarımı
Kaynak izleyici (resource monitor)
Dönüşümde dynamic table alternatifi
Ortam yönetimi ve dağıtım
Maliyet ve performans gözden geçirme

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Stage kurulumu

Storage integration ile güvenli external stage kurabilirsiniz.

✅

Format yönetimi

CSV, JSON ve Parquet dosyalarını doğru formatla yükleyebilirsiniz.

✅

COPY INTO

ON_ERROR ve doğrulama seçenekleriyle kontrollü yükleme yapabilirsiniz.

✅

Snowpipe

AUTO_INGEST ile otomatik alım hattı kurabilirsiniz.

✅

Alım izleme

PIPE_STATUS ve COPY_HISTORY ile hataları bulabilirsiniz.

✅

Stream/Task

Değişiklik yakalama ve zamanlanmış dönüşüm kurabilirsiniz.

✅

MERGE akışı

Upsert ile hedef tabloları güncel tutabilirsiniz.

✅

Maliyet kontrolü

Warehouse ve pipe maliyetini izleyip iyileştirebilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
Snowflake yöneticileri
veri analistleri
bulut depolamadan veri ambarına otomatik alım kuran ekipler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, Snowflake yöneticileri, veri analistleri ve bulut depolamadan veri ambarına otomatik alım kuran ekipler için uygundur.

Hangi bulut sağlayıcıları işleniyor?

Ağırlıklı olarak AWS S3 işlenir; Azure Blob ve GCS karşılıkları da gösterilir.

Snowflake deneme hesabı yeterli mi?

Evet, deneme hesabı ve küçük bir bulut depolama alanı uygulamalar için yeterlidir.

Snowpipe Streaming var mı?

Genel bakış düzeyinde anlatılır; uygulama dosya tabanlı Snowpipe üzerindedir.

Eğitim sonunda hangi belge verilir?

Eğitimi tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

CONTINUOUS DATA: AUTOMATING DATA INGESTION FROM CLOUD STORAGE INTO SNOWFLAKE EĞİTİMİ