Spark Ortamı Kurulum ve Gezinme Eğitimi

Eğitim Hakkında

Spark kurulumu, çalışma modları, spark-submit ve Spark UI

Bu temel seviye eğitim, Apache Spark ortamını sıfırdan kurmayı, yapılandırmayı ve içinde rahatça gezinmeyi öğretir. Katılımcılar Spark'ın bileşenlerini ve çalışma modlarını (local, standalone, YARN, Kubernetes) kavrar; Spark'ı indirip kurar, ortam değişkenlerini ve temel yapılandırmayı (spark-defaults.conf) ayarlar. spark-shell ve pyspark ile etkileşimli çalışma, spark-submit ile iş gönderme, deploy mode (client/cluster) ve kaynak ayarları (executor memory/cores) işlenir. Spark UI'da job, stage, task, DAG, storage ve environment sekmelerinin okunması, log erişimi ve history server ele alınır. Eğitim, ilk işin çalıştırılıp Spark UI üzerinden izlenmesiyle tamamlanır.

Süre ve Format

2 Gün. Her gün dört modül; Spark kurulumundan çalışma modlarına ve Spark UI ile iş izlemeye ilerlenir.

Seviye

Temel Seviye — Spark ortamının kurulumu, yapılandırması ve Spark shell/UI ile gezinme.

Öğrenme Metodu

Katılımcılar Spark'ı kurup spark-shell/pyspark ile çalışır, spark-submit ile iş gönderir ve Spark UI üzerinden yürütmeyi uygulamalı izler.

Neden Bu Eğitim?

🛠️Kurulum Hakimiyeti

Spark'ı yerel ve küme modunda doğru kurup yapılandırırsınız.

🚀İş Gönderme

spark-submit ve deploy mode ile işleri güvenle çalıştırırsınız.

🔭UI Okuma

Spark UI ile job/stage/task ve DAG'ı okuyup işleri izlersiniz.

Anahtar Konular

spark kurulumspark ortamıspark-submitspark uispark yapılandırmapyspark kurulumspark çalışma modlarıspark history serverspark shellspark başlangıç

“Doğru kurulmuş bir ortam, karmaşık işlerin değil basit bir komutun ilk denemede çalışmasıdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Linux/Terminal

Temel Linux komutları ve terminal kullanımı güçlü biçimde faydalıdır.

2

Java Kavramı

JVM ve JDK kurulumu hakkında temel bilgi faydalıdır.

3

Programlama

Python veya Scala'da basit kod okuyabilme beklenir.

4

Çalışma Ortamı

Spark kurulabilen bir Linux/macOS makinesi veya küme erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Spark'ı kurup temel yapılandırmasını yapabilir.

Modül 1

Spark Bileşenleri

Spark Core, SQL, Streaming, MLlib bileşenleri
Driver, executor ve cluster manager
Spark'ın JVM üzerinde çalışması
Scala/Python/Java/R dil bağlamaları
Spark dağıtımının içeriği
Sürüm ve Hadoop uyumu

Modül 2

Kurulum

JDK kurulumu ve JAVA_HOME ayarı
Spark dağıtımının indirilmesi
Dizin yapısı ve bin/sbin betikleri
SPARK_HOME ve PATH ayarı
pyspark için Python ortamı
Kurulumun doğrulanması (spark-shell)

Modül 3

Çalışma Modları

Local mode (local[*]) ve kullanım
Standalone cluster modu
YARN üzerinde çalışma
Kubernetes üzerinde çalışma
Mod seçiminin senaryoya göre yapılması
Master URL'nin anlamı

Modül 4

Yapılandırma

spark-defaults.conf ayarları
spark-env.sh ortam değişkenleri
log4j ile log seviyesi
Yapılandırma önceliği (config > submit > default)
SparkConf ile programatik ayar
Yaygın yapılandırma hataları

Günün hedefiKatılımcı, Spark işlerini gönderip Spark UI ile yürütmeyi izleyebilir.

Modül 1

Etkileşimli Çalışma

spark-shell (Scala) kullanımı
pyspark ile etkileşimli oturum
SparkSession ve SparkContext erişimi
Örnek RDD/DataFrame işlemleri
Notebook (Jupyter) ile çalışma
Etkileşimli oturum sınırları

Modül 2

spark-submit

spark-submit sözdizimi
-master ve --deploy-mode
-executor-memory ve --executor-cores
-num-executors ve --driver-memory
Uygulama JAR/py dosyası gönderme
Argüman ve bağımlılık (--packages) yönetimi

Modül 3

Spark UI

Jobs sekmesi ve job yaşam döngüsü
Stages ve task dağılımı
DAG görselleştirmesi
Storage sekmesi ve önbellek
Environment ve Executors sekmeleri
SQL sekmesi ve sorgu planı

Modül 4

Loglama ve History

Driver ve executor log erişimi
YARN log aggregation
Event log yapılandırması
Spark History Server kurulumu
Geçmiş işlerin UI'da incelenmesi
İlk işin çalıştırılıp izlenmesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Bileşenler

Spark bileşenleri ve driver/executor modelini açıklarsınız.

✅

Kurulum

JDK ve Spark'ı kurup SPARK_HOME/PATH ayarlarsınız.

✅

Çalışma Modu

Local, standalone, YARN ve K8s modlarını ayırt edersiniz.

✅

Yapılandırma

spark-defaults.conf ve SparkConf ile ayar yaparsınız.

✅

Etkileşim

spark-shell ve pyspark ile etkileşimli çalışırsınız.

✅

spark-submit

Deploy mode ve kaynak ayarlarıyla iş gönderirsiniz.

✅

Spark UI

Job/stage/task, DAG ve storage sekmelerini okursunuz.

✅

History

History Server ile geçmiş işleri incelersiniz.

Kimler İçin Uygundur?

Spark'a yeni başlayan veri mühendisleri
geliştiriciler
Spark ortamını kurup yapılandırması gereken teknik ekip üyeleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Spark'a yeni başlayan veri mühendisleri, geliştiriciler ve Spark ortamını kurup yapılandırması gereken teknik ekip üyeleri için uygundur.

Küme kurmam gerekir mi?

Hayır; eğitim local mode ile başlar ve tek makinede tüm alıştırmalar yapılabilir, ardından standalone/YARN/K8s modları kavramsal olarak ele alınır.

spark-submit ile shell farkı nedir?

spark-shell/pyspark etkileşimli keşif içindir; spark-submit ise paketlenmiş bir uygulamayı belirli kaynak ve deploy mode ile üretim gibi çalıştırmak için kullanılır.

Spark UI neden önemli?

İşin job/stage/task'lara nasıl bölündüğünü, hangi adımın yavaş olduğunu ve kaynak kullanımını gösterir; sorun gidermenin ve optimizasyonun başlangıç noktasıdır.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

SETTING UP AND NAVIGATING A SPARK ENVIRONMENT EĞİTİMİ