Büyük Veri İşleme: Apache Spark Eğitimi

Eğitim Hakkında

Bu eğitim, büyük hacimli veriyi dağıtık ortamda verimli biçimde işlemek isteyen veri ekiplerine Apache Spark'ı mimarisinden üretim işletimine kadar uygulamalı olarak kazandıran bir programdır. Katılımcılar PySpark ve Spark SQL ile dönüşümler yazar, Spark UI ile performans sorunlarını çözer, Delta Lake ve Iceberg tabloları ile akış işleme hatları kurar.

Neden Bu Eğitim?

Ölçeklenebilir İşleme. Tek makineye sığmayan veriyi aynı kod yapısıyla onlarca düğüme dağıtarak işleme sürelerini ciddi biçimde kısaltın.

Performans Ustalığı. Shuffle, veri çarpıklığı ve bölümleme sorunlarını Spark UI ile teşhis ederek küme maliyetlerini kontrol altına alın.

Toplu ve Akış Birlikte. Aynı DataFrame API ile toplu raporlama, lakehouse tabloları ve gerçek zamanlı akış hatlarını tek platformda yönetin.

“Büyük veri, onu doğru bölen, verimli işleyen ve anlamlı sonuca dönüştüren ekiplerin elinde gerçek bir rekabet gücüne dönüşür.”

Ön Koşullar

Python Bilgisi — Python ile fonksiyon yazma ve pandas ile veri çerçevesi işlemleri yapabilme deneyimi.
SQL Yetkinliği — JOIN, gruplama, alt sorgu ve pencere fonksiyonlarını içeren sorgular yazabilmek.
Temel Linux — Terminalde dosya işlemleri, ortam değişkenleri ve komut çalıştırma konusunda temel aşinalık.
Erişim ve Donanım — Eğitim kümesine tarayıcıdan bağlanabilen, en az 16 GB belleğe sahip bir bilgisayar.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiSpark'ın dağıtık yürütme mimarisini kavramak, PySpark DataFrame API ve Spark SQL ile büyük veri setlerini okumak, dönüştürmek ve farklı formatlara yazmak.

Modül 1

Büyük Veri İşleme ve Spark Mimarisi

Dikey ve yatay ölçekleme; MapReduce'dan Spark'a geçiş
Sürücü, yürütücü, görev ve küme yöneticisi rolleri
Dönüşüm ve eylemler; tembel değerlendirme ilkesi
RDD, DataFrame ve Dataset soyutlamaları
Spark 4 yenilikleri: ANSI SQL modu, VARIANT, Spark Connect
Demo: SparkSession oluşturma ve ilk dağıtık iş

Modül 2

PySpark DataFrame API ile Dönüşümler

Şema tanımlama, kolon ifadeleri ve veri tipleri
Filtreleme, seçim, türetilmiş kolonlar ve koşullar
Gruplama, toplulaştırma ve pencere fonksiyonları
Birleştirme türleri ve null değer yönetimi
Karmaşık tipler: struct, array, map ve explode
Laboratuvar: Milyonlarca satırlık işlem verisi analizi

Modül 3

Spark SQL ve Veri Kaynakları

Geçici görünümler, katalog ve tablolar
Parquet, ORC, CSV ve JSON ile okuma ve yazma
Bölümlenmiş (partitioned) dosya yapıları
JDBC ile ilişkisel veritabanlarından veri çekme
Yarı yapılandırılmış veride şema çıkarımı riskleri
Laboratuvar: Ham JSON loglarının Parquet'e dönüşümü

Modül 4

Veri Hazırlama Atölyesi

Tekrarlayan kayıtların tespiti ve temizlenmesi
Tarih, saat dilimi ve metin normalizasyonu
DataFrame dönüşümlerini fonksiyonlara ayırma
chispa ve pytest ile PySpark birim testleri
Laboratuvar: Test edilen yeniden kullanılabilir dönüşüm
Günün değerlendirmesi ve performans gününe köprü

Günün hedefiSpark sorgu planlarını ve yürütme adımlarını okumak, bölümleme, birleştirme ve önbellekleme ile işleri optimize etmek ve lakehouse formatlarıyla güvenilir tablolar kurmak.

Modül 1

Yürütme Modeli ve Spark UI

İş, aşama ve görev hiyerarşisi; dar ve geniş bağımlılık
Catalyst optimizasyon aşamaları ve explain() çıktısı
Shuffle mekanizması ve disk ile ağ maliyeti
Spark UI'da aşama süreleri ve görev dağılımı
Yürütücü bellek modeli ve OutOfMemory nedenleri
Laboratuvar: Yavaş bir işin Spark UI ile teşhisi

Modül 2

Performans Optimizasyonu Teknikleri

repartition, coalesce ve doğru bölüm sayısı
Broadcast join ve sort-merge join seçimi
Uyarlanabilir sorgu yürütme (AQE) özellikleri
Veri çarpıklığı (skew) tespiti ve tuzlama tekniği
cache ve persist ne zaman kullanılmalı
Laboratuvar: Bir ETL işinin süresini optimize etme

Modül 3

Delta Lake ve Apache Iceberg ile Lakehouse

Veri gölünde ACID ihtiyacı ve tablo formatları
Delta Lake ile MERGE, zaman yolculuğu ve şema zorlama
Apache Iceberg: gizli bölümleme ve şema evrimi
Küçük dosya sorunu, sıkıştırma ve OPTIMIZE
Değişiklik verisi akışı ve artımlı işleme
Laboratuvar: Delta tablosunda upsert ve tarihçe

Modül 4

UDF'ler, Arrow ve pandas API on Spark

Python UDF maliyeti ve yerleşik fonksiyon tercihi
Apache Arrow ile vektörel pandas UDF'ler
applyInPandas ile grup bazlı dönüşümler
pandas API on Spark ile mevcut kodu ölçekleme
Python Data Source API ile özel veri kaynakları
Günün değerlendirmesi ve akış gününe hazırlık

Günün hedefiStructured Streaming ile gerçek zamanlı hatlar kurmak, Spark üzerinde makine öğrenmesi ve toplu çıkarım çalıştırmak, üretim dağıtımını tasarlamak ve projeyi sunmak.

Modül 1

Structured Streaming ile Gerçek Zamanlı İşleme

Mikro toplu işleme modeli ve tetikleyici türleri
Kafka'dan okuma ve Delta tablolarına yazma
Olay zamanı, pencereleme ve watermark kullanımı
Durum bilgili işlemler ve kontrol noktaları
Tam olarak bir kez garantisi ve hata kurtarma
Laboratuvar: Tıklama akışında dakikalık metrikler

Modül 2

Spark ile Makine Öğrenmesi ve YZ

MLlib boru hatları: dönüştürücü ve tahminci
Büyük veride özellik mühendisliği ve örnekleme
pandas UDF ile dağıtık model çıkarımı
TorchDistributor ile PyTorch eğitimini dağıtma
MLflow ile Spark modellerinin kaydı ve takibi
Laboratuvar: Milyonlarca kayda toplu skorlama

Modül 3

Üretimde Spark: Dağıtım ve İşletim

Kubernetes, YARN ve bağımsız küme yöneticileri
Databricks, Amazon EMR ve Google Dataproc seçenekleri
spark-submit, yapılandırma ve kaynak boyutlandırma
Dinamik kaynak ayırma ve maliyet optimizasyonu
Spark Connect ile istemci-sunucu mimarisi
Vaka: Gece çalışan işin bulut maliyetinin azaltılması

Modül 4

Uçtan Uca Spark Projesi ve Kapanış

Grup projesi: toplu ve akış katmanlı lakehouse hattı
Proje sunumları ve Spark UI üzerinden performans analizi
Kurumsal büyük veri platformu yol haritası
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve not defterlerinin teslimi
İleri öğrenme kaynakları ve kapanış

Eğitim Kazanımları

Spark Mimarisi — Sürücü, yürütücü ve görev yapısını anlayarak dağıtık işlerin nasıl planlanıp çalıştığını açıklayabileceksiniz.
PySpark Yetkinliği — PySpark DataFrame API ve Spark SQL ile büyük veri setlerinde karmaşık dönüşümler yazabileceksiniz.
Performans Teşhisi — Spark UI ve sorgu planlarını okuyarak shuffle, bellek ve veri çarpıklığı sorunlarını teşhis edebileceksiniz.
Optimizasyon — Bölümleme, broadcast join, AQE ve önbellekleme ile işlerin süresini ve küme maliyetini azaltabileceksiniz.
Lakehouse Tabloları — Delta Lake ve Apache Iceberg ile ACID garantili, sürümlenen ve şeması yönetilen tablolar kurabileceksiniz.
Akış İşleme — Structured Streaming ile Kafka kaynaklı, watermark ve kontrol noktası kullanan akış hatları geliştirebileceksiniz.
Ölçekli ML — MLlib ve pandas UDF ile büyük veride özellik üretimi ve milyonlarca kayda dağıtık çıkarım yapabileceksiniz.
Üretim İşletimi — Kubernetes veya yönetilen bulut platformlarında Spark işlerini boyutlandırıp maliyet etkin biçimde işleteceksiniz.

Kimler İçin Uygundur?

Veri mühendisleri
büyük veri geliştiricileri
veri platformu ve analitik mühendisleri ile büyük veri setleri üzerinde model ve özellik üreten veri bilimciler.

Sıkça Sorulan Sorular

Apache Spark Eğitimi kimler için uygundur?

Program; veri mühendisleri, büyük veri geliştiricileri, veri platformu ve analitik mühendisleri ile tek makineye sığmayan veri setleri üzerinde özellik ve model üreten veri bilimciler için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 3 tam gün ve 12 modülden oluşur. Spark mimarisi ve DataFrame API, performans optimizasyonu ve lakehouse tabloları, Structured Streaming, Spark ile makine öğrenmesi ve üretim işletimi işlenir.

Katılım için hangi ön bilgiler gerekiyor?

Python ve pandas ile veri işleme deneyimi, pencere fonksiyonlarını içeren SQL yetkinliği ve temel Linux komut satırı bilgisi beklenir. Önceden Spark veya dağıtık sistem deneyimi gerekmez.

Laboratuvarlar hangi ortamda yapılıyor?

Laboratuvarlar çok düğümlü bir eğitim kümesinde not defterleriyle yürütülür. Kurumun tercihine göre Databricks, Amazon EMR, Google Dataproc veya kurum içi Kubernetes üzerindeki Spark ortamı kullanılabilir.

Eğitimde Spark'ın hangi sürümü ele alınıyor, sertifika veriliyor mu?

İçerik Apache Spark 4 serisini esas alır; ANSI SQL modu, VARIANT tipi ve Spark Connect gibi yenilikler ile önceki sürümlerden geçişte dikkat edilecek noktalar anlatılır. Katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BÜYÜK VERİ İŞLEME: APACHE SPARK EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Büyük Veri İşleme ve Spark Mimarisi

PySpark DataFrame API ile Dönüşümler

Spark SQL ve Veri Kaynakları

Veri Hazırlama Atölyesi

Yürütme Modeli ve Spark UI

Performans Optimizasyonu Teknikleri

Delta Lake ve Apache Iceberg ile Lakehouse

UDF'ler, Arrow ve pandas API on Spark

Structured Streaming ile Gerçek Zamanlı İşleme

Spark ile Makine Öğrenmesi ve YZ

Üretimde Spark: Dağıtım ve İşletim

Uçtan Uca Spark Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi