Spark'ı bulutun gücüyle ölçeklendirin
Nesne depolama, Delta veri gölü, elastik yönetilen kümeler, Spark on Kubernetes, dinamik tahsis ve spot node maliyet optimizasyonuyla Spark'ı bulutta çalıştırmayı öğreten eğitim.
Spark iş yüklerini bulut ortamına taşımak
Bu eğitim, Apache Spark'ı bulut ortamında çalıştırmayı öğretir. S3/ADLS/GCS gibi nesne depolamaya erişim, Parquet/Delta ile veri gölü, elastik küme (EMR/Dataproc/Databricks kavramları) ve otomatik ölçekleme işlenir. Spark on Kubernetes dağıtımı, spot/preemptible node ile maliyet optimizasyonu, nesne depolama tutarlılığı ve commit protokolleri, kimlik/erişim (IAM) ve veri güvenliği uygulamalı ele alınır. Küme boyutlandırma, dinamik tahsis ve maliyet-performans dengesi gösterilir.
3 Gün. Her gün dört modül; bulut depolama ve elastik küme üzerinde Spark işi çalıştırma lableri.
Orta Seviye — Bulut üzerinde Spark: nesne depolama, elastik küme, Spark on Kubernetes ve maliyet yönetimini kapsar.
Bulut nesne depolamaya bağlanan ve elastik kümede çalışan Spark işleri kurup ölçeklendirerek öğrenilir.
Yükle birlikte büyüyüp küçülen elastik kümelerde Spark çalıştırırsınız.
Spot node ve dinamik tahsisle performansı koruyarak maliyeti düşürürsünüz.
Nesne depolama ve Delta ile ölçeklenebilir bir bulut veri gölü kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
DataFrame API ve spark-submit deneyimi gerekir.
Bir bulut sağlayıcısı ve nesne depolama kavramlarına aşinalık beklenir.
PySpark veya Scala'da temel yetkinlik faydalıdır.
Bulut hesabı veya bulut benzeri bir küme erişimi önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Spark'ı S3/ADLS/GCS'ye bağlayıp veri gölü kurarsınız.
Delta/Parquet ve katmanlı düzenle ölçekli göl tasarlarsınız.
Yönetilen ve geçici kümelerde iş çalıştırırsınız.
Spark on Kubernetes ile pod tabanlı dağıtım yaparsınız.
Dinamik tahsisle kaynakları yüke göre ayarlarsınız.
Spot node ve boyutlandırmayla maliyeti optimize edersiniz.
IAM ve şifrelemeyle bulut iş yükünü güvenli hale getirirsiniz.
Zamanlama ve izlemeyle bulut Spark hattını üretime alırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Karmaşık Kafka iş akışlarını zamanlayın, ölçekleyin ve orkestre edin: partition/consumer ölçekleme, cooperative rebalance, KEDA, Strimzi ve dayanıklı mimari.
Detayları Gör →
Apache Spark ortamını kurun ve gezinin: bileşenler, local/standalone/YARN/K8s modları, spark-defaults yapılandırması, spark-submit ve Spark UI ile iş izleme.
Detayları Gör →
PySpark ile Python üzerinden Spark'ı öğrenin: DataFrame işleme, join ve pencere fonksiyonları, Spark SQL, pandas UDF, pyspark.pandas ve performans ayarı.
Detayları Gör →
Spark iç mimarisini derinlemesine öğrenin: Catalyst, Tungsten, DAG scheduler, job/stage/task, shuffle, unified memory modeli, skew ve AQE ile performans teşhisi
Detayları Gör →
Yazılım geliştiriciler için üretim kalitesinde Spark: modüler Dataset tasarımı, birim test (chispa), veri kalitesi, paketleme, CI/CD ve performans mühendisliği.
Detayları Gör →