Spark with Python Eğitimi

Eğitim Hakkında

Spark mimarisinden DataFrame, SQL ve MLlib'e PySpark odaklı ilerleyin.

Eğitim Spark mimarisi (driver, executor, DAG) ve lazy evaluation ile başlar; RDD dönüşümleri, DataFrame ve Spark SQL, pencere fonksiyonları, join stratejileri, pandas UDF, bölümleme ve shuffle optimizasyonu, Spark UI ile iş izleme ve MLlib Pipeline ile model eğitimini PySpark üzerinde uygulamalı olarak işler.

Süre ve Format

3 Gün. Her gün dört modül; sabah mimari ve kod, öğleden sonra notebook uygulaması; son gün veri hattı projesi.

Seviye

Orta Seviye — PySpark ile RDD, DataFrame, Spark SQL, performans ayarı ve MLlib'e uzanan dağıtık veri işleme

Öğrenme Metodu

Her modül, yerel Spark ortamında Jupyter notebook'larıyla büyük örnek veri setleri üzerinde işlenir.

Neden Bu Eğitim?

🎯Dağıtık Düşünce

Verinin bölümlere ayrıldığı bir ortamda doğru dönüşümleri seçersiniz.

🛠️SQL ve Python

DataFrame API ile Spark SQL'i aynı hatta birlikte kullanırsınız.

📈Performans

Spark UI'dan darboğaz okuyup bölümleme ve join ayarı yaparsınız.

Anahtar Konular

PySpark eğitimiApache Spark PythonSpark DataFrameSpark SQLRDDMLlibbüyük veri PythonSpark performansspark-submit

“Spark'ta hız, doğru bölümlemeyle başlar.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Python

Temel Python ve pandas deneyimi gerekir.

2

SQL

SELECT, JOIN ve GROUP BY bilinmelidir.

3

Java

Spark için JDK 11/17 kurulumu eğitimde birlikte yapılır.

4

Ortam

En az 8 GB RAM'li bilgisayar önerilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Spark çalışma modelini açıklar ve RDD ile dönüşümler yazar.

Modül 1

PySpark Ortamı ve Pandas API

pip install pyspark, JAVA_HOME ve yerel mod (local[*]) kurulumu
spark-submit ile iş gönderme ve --conf parametreleri
Jupyter üzerinde PySpark ve findspark yaklaşımı
pyspark.pandas (Koalas) ile pandas benzeri sözdizimi
Python UDF, pandas UDF (Arrow) ve performans farkları
toPandas() sınırları ve bellek tuzakları

Modül 2

Spark Mimarisi ve Çalışma Modeli

Driver, executor, cluster manager (standalone, YARN, Kubernetes)
SparkSession ve SparkContext oluşturma, yapılandırma (spark.conf)
Job, stage, task ve DAG zamanlayıcı mantığı
Lazy evaluation, transformation ve action ayrımı
Dar (narrow) ve geniş (wide) bağımlılıklar, shuffle maliyeti
Spark UI ile iş, stage ve görev sürelerinin izlenmesi

Modül 3

RDD API ve Temel Dönüşümler

parallelize, textFile ve RDD bölümleri (partitions)
map, flatMap, filter ve distinct dönüşümleri
Pair RDD: reduceByKey, groupByKey, aggregateByKey ve join
cache, persist ve StorageLevel seçimleri
Broadcast değişkenleri ve accumulator kullanımı
Word count ve log analizi uygulaması

Modül 4

pandas Series ve DataFrame

Series ve DataFrame oluşturma, index ve columns yapısı
read_csv, read_excel, read_json ve read_sql ile veri yükleme (sep, dtype, parse_dates)
head, info, describe, value_counts ve memory_usage ile ilk keşif
loc, iloc, at ve boolean indeksleme ile satır/sütun seçimi
query ve eval ile okunabilir filtre ifadeleri
to_csv, to_parquet ve to_excel ile çıktı üretimi

Günün hedefiKatılımcı DataFrame ve SQL ile analiz sorguları yazar.

Modül 1

Spark DataFrame ve Spark SQL

spark.read ile CSV, JSON, Parquet okuma ve şema tanımı (StructType)
select, filter, withColumn, groupBy ve agg işlemleri
pyspark.sql.functions: when, col, explode, split, regexp_extract
Pencere fonksiyonları: Window.partitionBy, row_number, lag
createOrReplaceTempView ve spark.sql ile SQL sorguları
Join türleri, broadcast join ve null yönetimi

Modül 2

groupby, Pivot ve Birleştirme

groupby ile agg, transform ve filter farkları
Named aggregation ve birden fazla fonksiyonla özetleme
pivot_table, crosstab, melt ve stack/unstack ile şekil değiştirme
merge türleri (inner, left, outer), anahtar çakışması ve validate parametresi
concat, join ve MultiIndex ile çok seviyeli indeks yönetimi
rank, cumsum, shift ve rolling ile pencere tabanlı hesaplar

Modül 3

SQL ve Python ile Veri Çekme

SELECT, WHERE, GROUP BY, HAVING ve JOIN temel sorguları
SQLAlchemy engine ve pandas.read_sql_query
Parametreli sorgu ve güvenli bağlantı bilgisi yönetimi
Büyük sorgu sonuçlarını parça parça (chunksize) çekme
REST API ve JSON verisinden pd.json_normalize ile tabloya dönüştürme
Excel, CSV ve veritabanı kaynaklarını birleştiren analiz hattı

Modül 4

pandas Performans ve Bellek

Kategorik ve downcast dtype ile bellek tasarrufu
read_csv chunksize ve usecols ile büyük dosya okuma
Vektörleştirme ile apply döngülerinden kurtulma
Parquet ve Feather formatlarının CSV'ye göre avantajı
pyarrow tabanlı dtype ve string[pyarrow] kullanımı
cProfile ve %timeit ile darboğaz bulma

Günün hedefiKatılımcı Spark işlerini ayarlar ve MLlib modeli eğitir.

Modül 1

Spark Performans Ayarı

Catalyst optimizer ve Tungsten motoru, explain() çıktısı
repartition, coalesce ve spark.sql.shuffle.partitions ayarı
Veri çarpıklığı (skew) tespiti ve tuzlama (salting)
Adaptive Query Execution (AQE) özellikleri
Parquet bölümleme, predicate pushdown ve dosya boyutu yönetimi
Executor bellek ayarı: memoryOverhead, cores ve dinamik tahsis

Modül 2

MLlib ile Dağıtık Makine Öğrenmesi

VectorAssembler, StringIndexer ve OneHotEncoder dönüşümleri
Pipeline ve PipelineModel ile iş akışı kurma
LogisticRegression, RandomForestClassifier ve GBTClassifier
KMeans ile kümeleme ve silhouette değerlendirmesi
CrossValidator ve ParamGridBuilder ile hiperparametre ayarı
Model kaydetme/yükleme ve MulticlassClassificationEvaluator

Modül 3

scikit-learn ile Makine Öğrenmesine Giriş

Eğitim/test ayırma, train_test_split ve çapraz doğrulama
Pipeline, ColumnTransformer, imputer ve ölçekleme
Lineer/lojistik regresyon, karar ağacı ve rastgele orman
Aşırı öğrenme, bias–variance ve düzenlileştirme
Metrikler: RMSE, F1, ROC-AUC ve karışıklık matrisi
Model kaydetme ve basit tahmin servisi

Modül 4

Structured Streaming

readStream, writeStream ve trigger modları
Kafka kaynağından okuma ve JSON ayrıştırma (from_json)
Event-time pencereleri, watermark ve geç gelen veri
outputMode: append, update, complete farkları
Checkpoint ve tam-bir-kez (exactly-once) semantiği
foreachBatch ile hedef sisteme yazma

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

PySpark ortamı

yerel ve küme ortamında PySpark çalıştırıp Spark üzerinde pandas API'sini kullanabilirsiniz

⚙️

Spark mimarisi

driver, executor ve DAG kavramlarıyla Spark işlerini yorumlayabilirsiniz

🔍

pandas veri yapıları

Series ve DataFrame ile tabular veriyi yükleyip inceleyebilirsiniz

📊

Spark DataFrame

DataFrame API ve Spark SQL ile büyük veri setlerini sorgulayabilirsiniz

🧩

Veri kaynaklarına erişim

SQL sorgularını Python içinden çalıştırıp analiz için DataFrame'e alabilirsiniz

🚀

pandas performansı

bellek tüketimini düşürüp büyük dosyaları parça parça işleyebilirsiniz

🔒

Spark MLlib

MLlib Pipeline ile dağıtık sınıflandırma ve kümeleme modelleri kurabilirsiniz

📦

Makine öğrenmesi temeli

scikit-learn ile temel bir sınıflandırma/regresyon iş akışı kurabilirsiniz

Kimler İçin Uygundur?

Veri mühendisleri
veri analistleri
pandas'tan dağıtık işlemeye geçmek isteyen Python geliştiricileri

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Veri mühendisleri, veri analistleri ve pandas'tan dağıtık işlemeye geçmek isteyen Python geliştiricileri. Ön bilgi beklentileri için eğitimin ön koşullar bölümüne bakabilirsiniz.

PySpark mı Scala mı?

Eğitim tamamen Python (PySpark) üzerinedir; Scala bilgisi gerekmez.

pandas bilmek zorunlu mu?

Önerilir; pandas ile Spark DataFrame karşılaştırmaları derse hızlı uyum sağlar.

Eğitim sonunda sertifika verilir mi?

Katılım ve başarı koşullarını yerine getiren katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Eğitim uygulamalı mı ilerliyor?

Her modül, yerel Spark ortamında Jupyter notebook'larıyla büyük örnek veri setleri üzerinde işlenir. Süre 3 gündür; her gün dört modül işlenir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SPARK WITH PYTHON EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

PySpark Ortamı ve Pandas API

Spark Mimarisi ve Çalışma Modeli

RDD API ve Temel Dönüşümler

pandas Series ve DataFrame

Spark DataFrame ve Spark SQL

groupby, Pivot ve Birleştirme

SQL ve Python ile Veri Çekme

pandas Performans ve Bellek

Spark Performans Ayarı

MLlib ile Dağıtık Makine Öğrenmesi

scikit-learn ile Makine Öğrenmesine Giriş

Structured Streaming

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

Web Applications with Django: Working with Models Eğitimi

Yazılım Uzmanlığı Eğitimi (Python) Eğitimi

Yönetim Mühendisleri için Python Eğitimi

Data Analysis with SQL and Python Eğitimi

İleri Seviye (Advanced) Python Eğitimi