MapReduce'u ileri desenlerle ustalaşın
Özel partitioner/combiner, WritableComparable, secondary sort, map/reduce-side join, distributed cache ve performans ayarıyla ileri MapReduce işleme desenlerini öğreten eğitim.
MapReduce'ta ileri işleme desenleri ve optimizasyon
Bu eğitim, Hadoop MapReduce ile ileri düzey toplu işleme desenlerini öğretir. Mapper, reducer, combiner ve partitioner yaşam döngüsü; InputFormat/OutputFormat ve RecordReader özelleştirme; WritableComparable ile özel anahtar tipleri işlenir. Secondary sort, total order sort, map-side ve reduce-side join, distributed cache ile küçük tablo dağıtımı, counter ve skew yönetimi uygulamalı ele alınır. Sıkıştırma, speculative execution, kombiner optimizasyonu ve iş zincirleme (job chaining) gösterilir.
3 Gün. Her gün dört modül; Java MapReduce işleri yazma ve profilleme ağırlıklı labler.
İleri Seviye — MapReduce ile özel partitioner, combiner, join desenleri, sıralama ve performans ayarını kapsar.
Gerçek veri üzerinde özel MapReduce işleri yazıp counter ve log ile profilleyerek uygulanır.
Join, secondary sort ve custom partitioner ile karmaşık toplu işleri çözersiniz.
Combiner ve sıkıştırma ile shuffle maliyetini belirgin azaltırsınız.
InputFormat ve Writable özelleştirmesiyle işleme üzerinde tam kontrol kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Java'da sınıf ve generics ile kod yazabilmek gerekir.
HDFS ve temel MapReduce kavramları beklenir.
Komut satırı ve log inceleme deneyimi faydalıdır.
Hadoop kurulu bir küme veya sandbox gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Map, shuffle, sort ve reduce fazlarını derinlemesine açıklarsınız.
WritableComparable ile composite anahtar tipleri yazarsınız.
Özel partitioner ile veri dağıtımını kontrol edersiniz.
Map-side ve reduce-side join'leri doğru senaryoda uygularsınız.
Composite key ve comparator ile sıralı birleştirme yaparsınız.
Combiner, sıkıştırma ve ayarlarla shuffle maliyetini düşürürsünüz.
Counter ve Job History ile işleri analiz edersiniz.
Çok aşamalı iş akışlarını zincirleyip yönetirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hadoop ve MapReduce'a uygulamalı giriş: HDFS, YARN, map-reduce akışı, ilk WordCount uygulaması ve ekosistem araçları. Başlangıç seviyesi eğitim.
Detayları Gör →
Hadoop cluster yönetimi: çok düğümlü kurulum, NameNode HA, Capacity/Fair Scheduler, Kerberos, izleme, yedekleme ve sorun giderme. Uygulamalı ileri eğitim.
Detayları Gör →
Hadoop cluster mimarisi: NameNode/DataNode, blok modeli, HDFS write/read pipeline, veri yerelliği, YARN bileşenleri ve cluster boyutlandırma. Orta seviye eğitim
Detayları Gör →
Hadoop'ta veri analizi: Hive ve Impala ile SQL sorguları, Pig ile ETL, pencere fonksiyonları, veri kalitesi ve raporlama. Uygulamalı orta seviye eğitim.
Detayları Gör →
Hadoop'un tasarım ilkeleri: veri yerelliği, hataya dayanıklılık, yatay ölçekleme, write-once modeli ve ödünleşimler. Kavramsal orta seviye eğitim.
Detayları Gör →