Anasayfa›Veri ve Analitik›Büyük Veri Teknolojileri
Veri ve Analitik Büyük Veri Teknolojileri

DATA ANALYSIS USING SPARK SQL EĞİTİMİ

Spark SQL ile büyük veriyi SQL'le çözümle

Spark SQL ile DataFrame ve tabloları sorgulayın, join ve pencere fonksiyonlarını kullanın, Catalyst ile performansı ayarlayın.

Spark SQL ile büyük veri analizi öğreten orta seviye eğitim: SparkSession ve tablo/view tanımı, SELECT ve agregasyon, join türleri ve CTE, pencere fonksiyonları, array/map/struct ve JSON işleme, Catalyst optimizer ve EXPLAIN, join stratejileri, cache ve veri…

3 gün Orta Seviye Online / Yüz Yüze / Hibrit Sertifikalı

Eğitim Hakkında

Spark SQL, DataFrame, pencere fonksiyonları ve optimizasyon

Bu orta seviye eğitim, büyük veri analizini Spark SQL ile yapmaya odaklanır. SparkSession, DataFrame ve geçici/kalıcı tablolar (temp view, catalog) işlenir. Spark SQL ile SELECT, filtreleme, join türleri, agregasyon ve CTE uygulanır. Pencere fonksiyonları (ROW_NUMBER, RANK, LAG/LEAD, kümülatif), karmaşık tipler (array, map, struct) ve explode, tarih/metin fonksiyonları ele alınır. Catalyst optimizer ve Tungsten, EXPLAIN ile fiziksel plan, partition pruning, broadcast join, önbellekleme (cache) ve veri çarpıklığı (skew) yönetimiyle performans ayarı gösterilir. Katılımcılar gerçek veri setlerinde Spark SQL ile uçtan uca analiz sorguları yazıp optimize eder.

Süre ve Format

3 Gün. Her gün dört modül; katılımcılar temel sorgulamadan pencere fonksiyonlarına ve optimizasyona ilerler.

Seviye

Orta Seviye — Spark SQL ile büyük veri setlerinde tablo tanımı, sorgulama, pencere fonksiyonları ve performans ayarının ele alınması.

Öğrenme Metodu

Katılımcılar gerçek veri setleri üzerinde Spark SQL sorguları yazıp fiziksel planlarını inceleyerek uygulamalı öğrenir.

Neden Bu Eğitim?

🧾Tanıdık SQL

Büyük veriyi öğrenmesi kolay SQL diliyle ölçekli sorgularsınız.

🪟Pencere Analizi

Sıralama ve dönemsel hesapları pencere fonksiyonlarıyla yaparsınız.

⚡Catalyst Ayarı

EXPLAIN ve join stratejileriyle sorguları optimize edersiniz.

Anahtar Konular

spark sqlbüyük veri analizidataframepencere fonksiyonlarıcatalyst optimizeraqebroadcast joinjoin stratejileriveri çarpıklığıspark eğitimi
“Spark SQL, büyük verinin ölçeğini SQL'in sadeliğiyle buluşturur.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1
SQL Temeli

SELECT, JOIN ve GROUP BY içeren SQL yazımına aşinalık beklenir.

2
Spark Farkındalığı

DataFrame ve Spark temeline aşinalık faydalıdır.

3
Python/Scala

PySpark veya Scala ile temel kodlama yararlıdır.

4
Lab Ortamı

Spark çalıştırabilen bir ortam veya bulut kümesi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı, Spark SQL ile tablo tanımlayıp temel sorgular yazabilir.
Modül 1
Spark SQL Mimarisi
  • SparkSession ve SQL motoru
  • DataFrame ve SQL ilişkisi
  • Catalog ve metastore
  • Lazy evaluation
  • Spark SQL kullanım senaryoları
  • DataFrame API vs SQL seçimi
Modül 2
Tablo ve View
  • createOrReplaceTempView
  • Global temp view
  • Kalıcı tablo (saveAsTable)
  • Harici veriye tablo tanımı
  • Parquet/CSV okuma
  • Şema çıkarımı ve tanımı
Modül 3
Temel Sorgular
  • SELECT, WHERE, ORDER BY
  • DISTINCT ve LIMIT
  • CASE WHEN ile koşul
  • NULL yönetimi
  • Tip dönüşümü (CAST)
  • String ve tarih fonksiyonları
Modül 4
Agregasyon
  • GROUP BY ile özetleme
  • Toplama fonksiyonları
  • HAVING ile filtre
  • GROUPING SETS/ROLLUP
  • Oran hesapları
  • approx_count_distinct
Günün hedefiKatılımcı, join ve pencere fonksiyonlarıyla ileri analiz yapabilir.
Modül 1
Join Türleri
  • INNER/LEFT/RIGHT/FULL join
  • Semi ve anti join
  • Çoklu tablo birleştirme
  • Self join
  • Join koşulları ve null
  • Join sonucu doğrulama
Modül 2
CTE ve Alt Sorgu
  • WITH (CTE) kullanımı
  • İç içe alt sorgu
  • Türetilmiş tablolar
  • Korelasyonlu alt sorgu
  • Sorgu modülerleştirme
  • Okunabilirlik iyileştirme
Modül 3
Pencere Fonksiyonları
  • OVER ve PARTITION BY
  • ROW_NUMBER, RANK, DENSE_RANK
  • LAG/LEAD
  • Kümülatif ve kayan hesaplar
  • NTILE ve yüzdelik
  • Çerçeve (ROWS/RANGE BETWEEN)
Modül 4
Karmaşık Tipler
  • array ve map sorgulama
  • struct erişimi
  • explode (LATERAL VIEW)
  • Nested verinin düzleştirilmesi
  • JSON işleme (get_json_object)
  • Karmaşık dönüşümler
Günün hedefiKatılımcı, Spark SQL sorgularını Catalyst ve stratejilerle optimize edebilir.
Modül 1
Catalyst ve Plan
  • Catalyst optimizer aşamaları
  • Logical ve physical plan
  • EXPLAIN ile plan okuma
  • Predicate/column pruning
  • Tungsten yürütme
  • Adaptive Query Execution (AQE)
Modül 2
Join Stratejileri
  • Broadcast hash join
  • Sort-merge join
  • Shuffle hash join
  • Broadcast eşiği ayarı
  • Join yeniden sıralama
  • Join performans ipuçları
Modül 3
Partition ve Cache
  • Partition pruning
  • repartition ve coalesce
  • cache/persist kullanımı
  • Bucketing ile shuffle azaltma
  • Shuffle partition sayısı
  • Depolama formatı etkisi
Modül 4
Veri Çarpıklığı
  • Skew tespiti
  • Salting tekniği
  • AQE skew join handling
  • Büyük partition sorunu
  • İstatistik ve CBO
  • Performans doğrulama

Eğitim Kazanımları

Program sonunda katılımcılar:

✅
Tablo Tanımı

Temp view ve kalıcı tablolarla Spark SQL ortamı kurarsınız.

✅
Temel Sorgu

SELECT, agregasyon ve koşullarla sorgu yazarsınız.

✅
Join

Tüm join türlerini doğru ve performanslı kullanırsınız.

✅
CTE

WITH ve alt sorgularla karmaşık sorguları modülerleştirirsiniz.

✅
Pencere Fonksiyonu

Sıralama, LAG/LEAD ve kümülatif analiz yaparsınız.

✅
Karmaşık Tipler

array, map, struct ve JSON verisini sorgularsınız.

✅
Catalyst

EXPLAIN ile plan okuyup AQE'yi kullanırsınız.

✅
Optimizasyon

Join stratejisi, cache ve skew yönetimiyle hızlandırırsınız.

Kimler İçin Uygundur?

  • Veri analistleri
  • veri mühendisleri
  • SQL geliştiriciler
  • Spark ile ölçekli analiz yapmak isteyenler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?
Veri analistleri, veri mühendisleri, SQL geliştiriciler ve Spark ile ölçekli analiz yapmak isteyenler için uygundur.
SQL bilmek şart mı?
Evet; temel SQL yazımı beklenir, ileri sorgu ve optimizasyon eğitimde geliştirilir.
DataFrame API mi SQL mi?
Her ikisi karşılaştırılır; eğitim SQL odaklıdır ancak DataFrame API ile ilişki de gösterilir.
Performans ayarı öğretiliyor mu?
Evet; Catalyst, EXPLAIN, join stratejileri, AQE ve veri çarpıklığı yönetimi uygulamalı ele alınır.
Eğitim sonunda sertifika veriliyor mu?
Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika d Digital Vizyon AKADEMİ KATILIM SERTİFİKASI Bu sertifika [Katılımcı Adı Soyadı] adlı katılımcının aşağıdaki eğitim programını başarıyla tamamladığını belgeler. Data Analysis using Spark SQL Eğitimi Sertifika Kodu DV-2026XX00 Tarih 26.10.2026 Yetkili İmza DV AKADEMİ

Eğitim Bilgileri

Süre3 gün
SeviyeOrta Seviye
FormatOnline / Yüz Yüze / Hibrit
AlanVeri ve Analitik
KonuBüyük Veri Teknolojileri
Sertifika✓ Var
Hemen Bilgi Al
Bilgi için:
+90 (501) 369 40 14
[email protected]
İlgili Eğitimler

Bu Eğitimle Birlikte Tercih Edilenler

Büyük Veri TeknolojileriDeveloping Event-Driven Applications with Apache Kafka and Red Hat AMQ Streams (AD482) Eğitimi
Veri ve Analitik Eğitimleri

Developing Event-Driven Applications with Apache Kafka and Red Hat AMQ Streams (AD482) Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Apache Kafka ve Red Hat AMQ Streams ile OpenShift üzerinde olay tabanlı mikroservis geliştirme: Reactive Messaging, Kafka Streams, CQRS ve event sourcing.

Detayları Gör →
Büyük Veri TeknolojileriDeveloping Event-Driven Applications with Apache Kafka and Red Hat AMQ Streams Eğitimi
Veri ve Analitik Eğitimleri

Developing Event-Driven Applications with Apache Kafka and Red Hat AMQ Streams Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Apache Kafka ve Red Hat AMQ Streams ile OpenShift üzerinde olay tabanlı mikroservis geliştirme: Reactive Messaging, Kafka Streams, CQRS ve event sourcing.

Detayları Gör →
Büyük Veri TeknolojileriDigital Transformation – Guiding the Big Data to Strengthen the Decision-Making Eğitimi
Veri ve Analitik Eğitimleri

Digital Transformation – Guiding the Big Data to Strengthen the Decision-Making Eğitimi

3 günOrtaOnline / Yüz Yüze / Hibrit

Büyük veriyi dijital dönüşüme ve veri odaklı karar almaya bağlayın: veri stratejisi, analitik olgunluk, KPI tasarımı, yönetişim ve veri kültürü.

Detayları Gör →
Büyük Veri TeknolojileriDistributed Messaging with Apache Kafka Eğitimi
Veri ve Analitik Eğitimleri

Distributed Messaging with Apache Kafka Eğitimi

3 günTemelOnline / Yüz Yüze / Hibrit

Apache Kafka ile dağıtık mesajlaşma: topic/partition, producer/consumer, consumer group, replication ve teslimat garantileri. Uygulamalı temel eğitim.

Detayları Gör →
Büyük Veri TeknolojileriDS & ML with Spark and MLlib Eğitimi
Veri ve Analitik Eğitimleri

DS & ML with Spark and MLlib Eğitimi

4 günİleriOnline / Yüz Yüze / Hibrit

Apache Spark ve MLlib ile dağıtık veri bilimi: DataFrame, feature engineering, Pipeline, sınıflandırma, kümeleme ve hiperparametre ayarı. Uygulamalı ileri eğiti

Detayları Gör →
+90 (501) 369 40 14 WhatsApp [email protected] LinkedIn