Data Transformation Using the Snowpark API Eğitimi

Eğitim Hakkında

Snowpark ile Snowflake içinde veri dönüşümü

Eğitim Snowpark Python ile verinin Snowflake dışına çıkmadan dönüştürülmesini öğretir. Session ve pushdown mantığı, DataFrame select, join, group_by ve window, VARIANT ve FLATTEN, stage ve COPY INTO, rol ve maskeleme, Python UDF ve stored procedure, Stream, Task ve Dynamic Table ile artımlı yükleme, Query Profile ve ambar boyutlandırma ile pytest ile test uygulanır.

Süre ve Format

2 Gün. Her gün dört modül; 1. gün Snowpark Mimarisi, DataFrame ve Veri Yükleme; 2. gün UDF, Veri Hattı ve Performans.

Seviye

Orta Seviye — Snowpark ile Snowflake içinde veri dönüşümü

Öğrenme Metodu

Katılımcılar Snowflake deneme hesabında Python ile Snowpark kodu yazar, her dönüşümün ürettiği SQL ve sorgu profilini inceleyerek ilerler.

Neden Bu Eğitim?

❄️Veri Yerinde İşlenir

Verinin Snowflake dışına çıkmadan Python ile işlenmesini ve pushdown mantığını öğrenirsiniz.

🔁Otomatik Hatlar

Stream, Task ve Dynamic Table ile artımlı veri hatları kurarsınız.

💰Maliyet Bilinci

Ambar boyutlandırma ve sorgu profiliyle hız ve maliyeti birlikte yönetirsiniz.

Anahtar Konular

snowparksnowflakesnowpark pythonveri dönüşümüsnowflake eğitimiudfstored proceduredynamic tabledata transformation using the snowpark api

“Veri nerede duruyorsa, hesaplama oraya gitmeli.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python Bilgisi

Python fonksiyon, sınıf ve paket kullanımı bilgisi gerekir.

2

SQL Temeli

SELECT, JOIN ve toplulaştırma bilgisi beklenir.

3

Snowflake Hesabı

Ücretsiz deneme hesabı eğitimde oluşturulur ve yönlendirilir.

4

Veri Kavramları

Tablo, şema ve veri ambarı terimlerine temel aşinalık faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı gün sonunda Snowpark Oturumu ve Mimari konusunu çalıştırır, Snowpark DataFrame ile Veri Dönüşümü ve Stage, Dosya Yükleme ve Yarı Yapılandırılmış Veri ile ilerleyip Rol Tabanlı Erişim ve Güvenli Çalışma kararlarını gerekçelendirir.

Modül 1

Snowpark Oturumu ve Mimari

Snowflake sanal veri ambarı, sanal ambar (warehouse) ve bilgi şeması temelleri
Snowpark'ın istemci taraflı DataFrame'inin sorguyu Snowflake'e iterek çalışması (pushdown)
Session.builder ile bağlantı, rol ve ambar seçimi
Python, Java ve Scala için Snowpark kütüphaneleri
Tembel değerlendirme ve DataFrame'den üretilen SQL'in get_execution_plan ile incelenmesi
Anahtar çifti kimlik doğrulama ve gizli bilgilerin güvenli yönetimi

Modül 2

Snowpark DataFrame ile Veri Dönüşümü

session.table, session.sql ve dosyadan okuma (stage üzerinden)
select, filter, with_column, join, group_by ve agg fonksiyonları
snowflake.snowpark.functions: col, lit, when, iff, sum, avg, to_timestamp
Window.partition_by / order_by ile pencere hesapları
VARIANT, ARRAY ve OBJECT veri tipleri ile yarı yapılandırılmış JSON işleme (flatten)
write.save_as_table, mod seçenekleri ve kopyalama (COPY INTO)

Modül 3

Stage, Dosya Yükleme ve Yarı Yapılandırılmış Veri

Internal / external stage ve PUT / GET komutları
COPY INTO ile CSV, JSON, Parquet yükleme ve hata davranışı (ON_ERROR)
VARIANT sütunu, GET_PATH, : sözdizimi ve LATERAL FLATTEN
Snowpark ile dosya okuma: session.read ve şema verme
Snowpipe ile otomatik veri alımı
Zaman damgası, saat dilimi ve NUMBER / FLOAT tip dönüşümü tuzakları

Modül 4

Rol Tabanlı Erişim ve Güvenli Çalışma

Snowflake rol hiyerarşisi: ACCOUNTADMIN, SYSADMIN, kullanıcı tanımlı roller
GRANT ... ON ... TO ROLE ve gelecekteki nesneler için FUTURE GRANTS
Satır erişim politikası ve dinamik veri maskeleme
Key-pair kimlik doğrulama ve gizli bilgilerin kod dışında tutulması
Sorgu etiketi (QUERY_TAG) ve ACCOUNT_USAGE ile denetim
Owner's rights ve caller's rights stored procedure farkı

Günün hedefiKatılımcı UDF, UDTF ve Stored Procedure ve Streams, Tasks ve Dynamic Table ile Veri Hattı konularını uygulayarak Snowpark ile Veri Hazırlama ve Performans ile Snowpark Kod Kalitesi ve Dağıtım adımlarını aynı örnek üzerinde birleştirir.

Modül 1

UDF, UDTF ve Stored Procedure

Python UDF kaydı: register, @udf dekoratörü ve paket bağımlılıkları
Vektörleştirilmiş (batch) UDF'ler ile performans iyileştirme
UDTF ile satır üretimi ve UDAF kavramı
Stored procedure yazımı: sproc, Snowpark kod çalıştırma ve rol hakları
Anaconda kanalı paketleri, stage'e kod yükleme ve import yönetimi
Snowflake Tasks ve Streams ile zamanlanmış dönüşüm hattı

Modül 2

Streams, Tasks ve Dynamic Table ile Veri Hattı

Stream ile değişiklik veri yakalama (CDC) ve METADATA$ACTION alanları
Task ile zamanlama, bağımlı task ağacı ve SYSTEM$STREAM_HAS_DATA koşulu
Dynamic Table ile bildirimsel dönüşüm ve TARGET_LAG
MERGE ile artımlı yükleme (incremental load) ve upsert
Snowpark prosedürünün Task içinde çağrılması ve hata izleme
Boru hattı maliyet takibi ve görev geçmişi (TASK_HISTORY)

Modül 3

Snowpark ile Veri Hazırlama ve Performans

Ambar boyutlandırma (X-Small - 4X-Large), otomatik askıya alma ve maliyet kontrolü
Sorgu profili (Query Profile) ile darboğaz analizi
Kümeleme anahtarı, mikro bölüm (micro-partition) ve budama (pruning)
Sonuç önbelleği ve materialized view / dynamic table seçenekleri
Snowpark ML ile öznitelik hazırlama ve model eğitimi hattına giriş
Test stratejisi: yerel test, pytest ve dev / prod ortam ayrımı

Modül 4

Snowpark Kod Kalitesi ve Dağıtım

Proje yapısı, paket yönetimi ve yerel geliştirme ortamı
pytest ile Session fixture kullanarak DataFrame dönüşümlerinin testi
Test için küçük örnek veri ve geçici tablo (temporary table) kullanımı
SnowCLI ile uygulama dağıtımı ve ortam ayrımı
Git ile sürüm kontrol ve CI hattında test çalıştırma
Kod okunabilirliği: dönüşümleri fonksiyonlara bölme ve yeniden kullanım

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Snowpark Oturumu

Snowpark oturumu açıp sorguların Snowflake içinde nasıl çalıştırıldığını yorumlayabilirsiniz.

🧩

Snowpark Dönüşümleri

Snowpark DataFrame API ile veri ayrıştırma, birleştirme ve tabloya yazma adımları kurabilirsiniz.

🔧

Veri Yükleme

Stage ve COPY INTO ile veri alıp VARIANT verisini Snowpark ile düzleştirebilirsiniz.

📐

Snowflake Güvenliği

Rol, maskeleme ve key-pair yöntemleriyle Snowpark çalışmalarını güvenli yürütebilirsiniz.

🛡️

UDF ve Procedure

Python UDF ve stored procedure'ler yazıp Snowflake içinde zamanlanmış hat çalıştırabilirsiniz.

🧪

Veri Hattı

Stream, Task ve Dynamic Table ile artımlı yüklemeli bir veri hattı kurabilirsiniz.

🚀

Snowpark Performans

Query Profile ve ambar ayarlarıyla Snowpark iş yüklerini hız ve maliyet açısından iyileştirebilirsiniz.

📊

Kod Kalitesi

Snowpark dönüşümlerini pytest ile test edip CI hattında dağıtabilirsiniz.

Kimler İçin Uygundur?

Veri mühendisleri
analitik mühendisler
Snowflake ile çalışan Python geliştiricileri içindir

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, analitik mühendisler ve Snowflake ile çalışan Python geliştiricileri içindir.

Snowflake bilgisi gerekir mi?

Gerekli Snowflake kavramları (ambar, stage, rol) eğitim içinde kısaca anlatılır.

SQL yerine neden Snowpark?

Python ile test edilebilir, yeniden kullanılabilir dönüşümler yazmak ve UDF / prosedürleri kullanmak için; fark uygulamalı gösterilir.

Deneme hesabı yeterli mi?

Evet; eğitim laboratuvarları küçük veriyle deneme kredisi içinde tamamlanacak şekilde hazırlanır.

Sertifika veriliyor mu?

Tamamlayan katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DATA TRANSFORMATION USING THE SNOWPARK API EĞİTİMİ