İlk MapReduce uygulamanızı sıfırdan yazın
Hadoop MapReduce programlama modeliyle Mapper, Reducer ve Driver sınıfları yazarak, Writable tipleri ve Combiner kullanarak çalışan bir dağıtık veri işleme uygulaması geliştirme eğitimi.
Kod yazarak öğrenen, uygulamalı MapReduce geliştirme eğitimi
Bu eğitim, Hadoop MapReduce programlama modeliyle çalışan bir dağıtık veri işleme uygulamasını sıfırdan geliştirmeyi öğretir. Mapper, Reducer ve Driver sınıflarının yazımı, Writable ve WritableComparable tiplerinin kullanımı, InputFormat ve OutputFormat seçimi, shuffle-sort aşamasının anlaşılması, Combiner ile yerel toplama ve işin YARN üzerinde çalıştırılması gibi somut konuları kapsar. Katılımcı klasik WordCount örneğinden başlayarak kendi analiz mantığını kodlar ve HDFS üzerindeki veriyi işler.
2 Gün. Her gün dört modül; her modül kısa anlatım ve Hadoop üzerinde kod yazma laboratuvarı içerir.
Temel Seviye — Hadoop MapReduce programlama modeliyle Java tabanlı dağıtık veri işleme uygulaması geliştirme.
Tek düğümlü Hadoop ortamında Java ile Mapper/Reducer yazıp işleri komut satırından çalıştırarak uygulamalı öğrenme.
Map ve Reduce fazlarını kod düzeyinde kavrayarak dağıtık işlemenin mantığını içselleştirirsiniz.
Eğitim sonunda HDFS verisini işleyen kendi MapReduce işinizi üretmiş olursunuz.
MapReduce temeli; Hive, Pig ve Spark gibi üst katman araçlarını anlamayı kolaylaştırır.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Sınıf, metot ve generics ile temel Java programlama gerekir.
Linux kabuğunda dosya ve süreç yönetimine aşinalık faydalıdır.
Dosyaların bloklara bölünmesi kavramına giriş düzeyinde aşinalık yeterlidir.
JDK ve tek düğümlü Hadoop kurulu bir geliştirme makinesi önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Map, shuffle ve reduce fazlarının nasıl çalıştığını açıklayabilirsiniz.
Java ile Mapper ve Reducer sınıflarını yazabilirsiniz.
MapReduce işini paketleyip YARN üzerinde çalıştırabilirsiniz.
Özel Writable ve WritableComparable tipleri tanımlayabilirsiniz.
Combiner ekleyerek shuffle trafiğini azaltabilirsiniz.
Farklı InputFormat ve OutputFormat seçeneklerini kullanabilirsiniz.
Counter ve logları kullanarak işinizi hata ayıklayabilirsiniz.
HDFS üzerinde veriyi okuyup çıktıyı yazabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Spark'a başlayın: dağıtık işleme modeli, driver/executor mimarisi, RDD dönüşüm/eylemleri, DataFrame, Spark SQL ve ilk veri işleme işi.
Detayları Gör →
R'ı büyük veriyle ölçekli kullanın: data.table performansı, sparklyr/SparkR ile Spark bağlantısı, dplyr dağıtık işleme, MLlib modelleme ve spark_apply.
Detayları Gör →
Spark SQL ile büyük veriyi sorgulayın: DataFrame/SQL, JOIN türleri, pencere fonksiyonları, UDF, Catalyst plan analizi, pushdown, AQE ve performans ayarı.
Detayları Gör →
Spark Structured Streaming ve Kafka ile üretim ölçeğinde akış işleme: olay zamanı pencereleme, stateful join, exactly-once, RocksDB state store ve izleme.
Detayları Gör →
Karmaşık Kafka iş akışlarını zamanlayın, ölçekleyin ve orkestre edin: partition/consumer ölçekleme, cooperative rebalance, KEDA, Strimzi ve dayanıklı mimari.
Detayları Gör →