Spark ile dağıtık veri işlemeye başlayın
Apache Spark'a giriş: driver/executor mimarisi, RDD ve transformation/action, DataFrame ve Spark SQL, veri kaynakları, önbellekleme ve Catalyst optimizer temelleri kapsayan uygulamalı eğitim.
RDD, DataFrame ve Spark SQL temelleri odaklı giriş eğitimi
Bu eğitim, Apache Spark ile dağıtık veri işlemenin temellerini sıfırdan öğretir. Spark mimarisi (driver/executor), RDD soyutlaması ve transformation/action ayrımı, lazy evaluation ve DAG, DataFrame ve Dataset API, Spark SQL ile sorgulama, veri okuma/yazma (CSV, JSON, Parquet), temel dönüşümler ve agregasyon, önbellekleme (cache/persist) ve Catalyst optimizer'a giriş gibi somut konuları kapsar. Katılımcı Spark'ın MapReduce'a göre neden daha hızlı olduğunu kavrar ve ilk dağıtık işleme uygulamalarını geliştirir.
3 Gün. Her gün dört modül; her modül anlatım ve PySpark/Scala labı içerir.
Temel Seviye — Apache Spark ile dağıtık veri işlemenin temelleri, RDD ve DataFrame API.
Spark ortamında PySpark notebook'larıyla RDD ve DataFrame işlemlerini uygulayarak öğrenme.
Spark'ın bellek içi işleme modeliyle MapReduce'a göre çok daha hızlı sonuç alırsınız.
RDD, DataFrame ve SQL'i tek motorda kullanarak farklı ihtiyaçlara yanıt verirsiniz.
Spark temeli; MLlib, Structured Streaming ve GraphFrames'e kapı açar.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Python veya Scala ile temel programlama bilgisi gerekir.
Temel SQL bilgisi Spark SQL bölümünde faydalıdır.
Dağıtık işleme kavramına ilgi avantaj sağlar.
PySpark kurulu bir ortam veya notebook erişimi önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Spark driver/executor mimarisini açıklayabilirsiniz.
RDD ile transformation ve action işlemleri yapabilirsiniz.
Lazy evaluation ve DAG mantığını kavrayabilirsiniz.
DataFrame ile yapılandırılmış veriyi işleyebilirsiniz.
Spark SQL ile sorgular yazabilirsiniz.
Parquet ve farklı formatlarla veri okuyup yazabilirsiniz.
cache/persist ile performansı artırabilirsiniz.
Veri okuma, dönüştürme ve analiz işini bütün olarak kurabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark tabanlı veri platformunda teknik liderlik: mimari kararlar, maliyet yönetişimi, kapasite planlaması, ekip standartları, CI/CD kültürü ve platform strateji
Detayları Gör →
Spark performansını en iyi uygulamalarla iyileştirin: partition stratejisi, skew giderme, broadcast/bucket join, Parquet pushdown, önbellek, Kryo ve AQE.
Detayları Gör →
Spark ile ilk programlarınızı yazın: SparkSession kurulumu, RDD dönüşüm/eylemleri, DataFrame ile okuma/filtreleme/gruplama ve Spark SQL temeli.
Detayları Gör →
İleri Spark programlama: Dataset/encoder, aggregateByKey ve özel partitioner, broadcast/accumulator, nested tipler, higher-order fonksiyonlar ve pandas UDF.
Detayları Gör →
Spark'ta akış verisine giriş: batch-stream farkı, lambda/kappa mimarileri, Structured Streaming temelleri, kaynaklar, çıkış modları ve ilk akış uygulaması.
Detayları Gör →