Snowpark pandas and User-defined Functions Eğitimi

Eğitim Hakkında

Snowflake içinde Python ile veri işleyin ve UDF'lerle genişletin.

Eğitim, Snowpark Session ve DataFrame API'sini, Snowpark pandas ile pandas kodunun Snowflake motorunda ölçeklenmesini ve Python UDF, vektörleştirilmiş UDF, UDTF ile saklı yordam geliştirmeyi kapsar. Paket yönetimi, warehouse boyutlandırma, sorgu geçmişi ve maliyet bilinci ile birlikte veriyi dışarı taşımadan çalışan Python iş akışları kurulur.

Süre ve Format

2 Gün. Her gün dört modül; sabah kavram ve demo, öğleden sonra Snowflake laboratuvarı; ikinci gün UDF projesi.

Seviye

İleri Seviye — Snowpark DataFrame, pandas API ve UDF/UDTF/saklı yordam geliştirme ile Snowflake üzerinde Python

Öğrenme Metodu

Her modül, bir Snowflake deneme hesabında notebook ve worksheet uygulamalarıyla işlenir.

Neden Bu Eğitim?

🎯Veri Taşımadan İşlem

Hesaplamayı veriye götürerek hem hızı hem güvenliği artırırsınız.

🛠️pandas Ölçeği

Mevcut pandas kodunuzu minimum değişiklikle büyük tablolara taşırsınız.

📈Genişletilebilirlik

UDF ve saklı yordamlarla Snowflake'e özel Python mantığı eklersiniz.

Anahtar Konular

SnowparkSnowpark pandasSnowflake PythonSnowflake UDFvektörleştirilmiş UDFSnowflake saklı yordammodin pandasSnowflake veri mühendisliği

“Veriyi taşımak yerine kodu veriye götürün.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python ve pandas

pandas DataFrame işlemleri bilinmelidir.

2

SQL

Snowflake SQL ve temel veri ambarı kavramlarına aşinalık gerekir.

3

Snowflake hesabı

Eğitim için deneme veya kurumsal bir Snowflake hesabı kullanılacaktır.

4

Ortam

snowflake-snowpark-python paketini kurabilen bir Python 3.9-3.11 ortamı gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Snowpark oturumu açar ve DataFrame API ile veri işler.

Modül 1

Snowpark Session ve DataFrame

Session.builder.configs(...).create() ile bağlantı kurma
session.table, session.sql ve DataFrame'in tembel (lazy) yürütülmesi
select, filter, join, group_by ve snowflake.snowpark.functions
DataFrame'in SQL'e çevrilmesi ve .explain() / sorgu geçmişi
write.save_as_table ile tabloya yazma ve mod seçenekleri
Sanal ambar (warehouse) boyutlandırma ve maliyet bilinci

Modül 2

pandas Series ve DataFrame

Series ve DataFrame oluşturma, index ve columns yapısı
read_csv, read_excel, read_json ve read_sql ile veri yükleme (sep, dtype, parse_dates)
head, info, describe, value_counts ve memory_usage ile ilk keşif
loc, iloc, at ve boolean indeksleme ile satır/sütun seçimi
query ve eval ile okunabilir filtre ifadeleri
to_csv, to_parquet ve to_excel ile çıktı üretimi

Modül 3

SQL ve Python ile Veri Çekme

SELECT, WHERE, GROUP BY, HAVING ve JOIN temel sorguları
SQLAlchemy engine ve pandas.read_sql_query
Parametreli sorgu ve güvenli bağlantı bilgisi yönetimi
Büyük sorgu sonuçlarını parça parça (chunksize) çekme
REST API ve JSON verisinden pd.json_normalize ile tabloya dönüştürme
Excel, CSV ve veritabanı kaynaklarını birleştiren analiz hattı

Modül 4

groupby, Pivot ve Birleştirme

groupby ile agg, transform ve filter farkları
Named aggregation ve birden fazla fonksiyonla özetleme
pivot_table, crosstab, melt ve stack/unstack ile şekil değiştirme
merge türleri (inner, left, outer), anahtar çakışması ve validate parametresi
concat, join ve MultiIndex ile çok seviyeli indeks yönetimi
rank, cumsum, shift ve rolling ile pencere tabanlı hesaplar

Günün hedefiKatılımcı pandas API ile ölçekler ve UDF/UDTF/saklı yordam geliştirir.

Modül 1

Snowpark pandas API

modin.pandas ve snowflake.snowpark.modin.plugin içe aktarımı
pandas DataFrame'in Snowflake tablosuna eşlenmesi (read_snowflake)
Desteklenen ve desteklenmeyen pandas işlemleri, fallback davranışı
to_pandas ile yerel belleğe alma ve to_snowflake ile yazma
apply, groupby ve merge işlemlerinin SQL'e çevrilmesi
Büyük tabloda yerel pandas ile performans kıyası

Modül 2

Snowpark UDF, UDTF ve Saklı Yordamlar

@udf dekoratörü ve session.udf.register ile skaler UDF
Paket bağımlılıkları: packages=[...], imports ve Anaconda kanalı
Vektörleştirilmiş UDF (pandas batch) ile hız artırma
UDTF ve UDAF ile tablo döndüren/toplayan fonksiyonlar
@sproc ile saklı yordam, Task ve zamanlama
UDF test yaklaşımı, hata ayıklama ve yetki (GRANT USAGE)

Modül 3

pandas Performans ve Bellek

Kategorik ve downcast dtype ile bellek tasarrufu
read_csv chunksize ve usecols ile büyük dosya okuma
Vektörleştirme ile apply döngülerinden kurtulma
Parquet ve Feather formatlarının CSV'ye göre avantajı
pyarrow tabanlı dtype ve string[pyarrow] kullanımı
cProfile ve %timeit ile darboğaz bulma

Modül 4

Python ile Birim Test ve Kalite

pytest fixture, parametrize ve assert yapısı
unittest.mock ile bağımlılıkları taklit etme
Kapsam ölçümü: coverage.py ve pytest-cov
Tip ipuçları (type hints) ve mypy ile statik denetim
ruff/flake8 ve black ile otomatik biçimlendirme
pre-commit ve GitHub Actions ile test otomasyonu

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Snowpark DataFrame

Snowpark oturumu ile veri bulutu üzerinde DataFrame işlemleri yapabilirsiniz

⚙️

pandas veri yapıları

Series ve DataFrame ile tabular veriyi yükleyip inceleyebilirsiniz

🔍

Veri kaynaklarına erişim

SQL sorgularını Python içinden çalıştırıp analiz için DataFrame'e alabilirsiniz

📊

Gruplama ve birleştirme

groupby, pivot_table ve merge ile çok tablolu analizler kurabilirsiniz

🧩

Snowpark pandas

Snowpark pandas ile pandas kodunu Snowflake üzerinde ölçeklendirebilirsiniz

🚀

Snowpark UDF'leri

Python UDF, vektörleştirilmiş UDF ve saklı yordamları Snowflake'e kaydedebilirsiniz

🔒

pandas performansı

bellek tüketimini düşürüp büyük dosyaları parça parça işleyebilirsiniz

📦

Python kod kalitesi

pytest ile test yazıp kod kalitesini araçlarla denetleyebilirsiniz

Kimler İçin Uygundur?

Veri mühendisleri
veri bilimciler
Snowflake üzerinde Python kullanan analitik geliştiriciler

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri bilimciler ve Snowflake üzerinde Python kullanan analitik geliştiriciler. Ön bilgi beklentileri için eğitimin ön koşullar bölümüne bakabilirsiniz.

Snowpark pandas ile pandas arasındaki fark nedir?

Kod büyük ölçüde aynıdır; fark, işlemlerin SQL'e çevrilip Snowflake motorunda çalışmasıdır.

Eğitim için Snowflake hesabı şart mı?

Evet, uygulamalar için bir deneme veya kurumsal hesap gerekir; kurulum adımları eğitimin başında yapılır.

Eğitim sonunda sertifika verilir mi?

Katılım ve başarı koşullarını yerine getiren katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim uygulamalı mı ilerliyor?

Her modül, bir Snowflake deneme hesabında notebook ve worksheet uygulamalarıyla işlenir. Süre 2 gündür; her gün dört modül işlenir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SNOWPARK PANDAS AND USER-DEFINED FUNCTIONS EĞİTİMİ