Combiner ile MapReduce'u hızlandırın
Hadoop MapReduce'ta Combiner'ın yerel toplama rolü, güvenli kullanım koşulları, in-mapper combining deseni ve Counter ile kazanç ölçümü kapsayan performans odaklı eğitim.
Combiner odaklı MapReduce optimizasyon eğitimi
Bu eğitim, Hadoop MapReduce uygulamalarında Combiner kullanarak performansı nasıl artıracağınızı ve hangi durumlarda bunun güvenli olduğunu öğretir. Combiner'ın yerel ön-toplama rolü, map çıktısının shuffle'a girmeden azaltılması, Combiner'ın idempotent ve commutative/associative olma şartı, yanlış kullanım riskleri, in-mapper combining deseni, Counter ile kazanç ölçümü ve ortalama gibi Combiner'a uygun olmayan hesapların doğru tasarımı gibi somut konuları kapsar. Katılımcı Combiner'ı güvenli ve etkili biçimde uygular.
2 Gün. Her gün dört modül; her modül anlatım ve Hadoop üzerinde kod labı içerir.
Orta Seviye — MapReduce'ta Combiner kullanımıyla performans optimizasyonu ve doğru tasarım.
Tek düğümlü Hadoop ortamında Combiner'lı ve Combiner'sız işleri karşılaştırarak ve Counter ile ölçerek öğrenme.
Map çıktısını yerelde azaltarak ağ üzerinden taşınan veriyi ciddi biçimde düşürürsünüz.
Combiner'ın güvenli olduğu ve olmadığı durumları ayırt ederek hatalı sonuçtan kaçınırsınız.
Counter ile Combiner'ın sağladığı iyileşmeyi somut olarak gösterirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Mapper/Reducer yazabilecek düzeyde MapReduce bilgisi gerekir.
Temel Java ile kod yazabilmek beklenir.
Shuffle-sort aşamasına aşinalık faydalıdır.
JDK ve tek düğümlü Hadoop kurulu bir makine önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Combiner'ın shuffle öncesi yerel toplama rolünü açıklayabilirsiniz.
Combiner'ın güvenli olduğu koşulları ayırt edebilirsiniz.
İşinize Combiner ekleyip çalıştırabilirsiniz.
Yanlış Combiner kullanımının yol açtığı hataları önleyebilirsiniz.
Mapper içinde biriktirme desenini uygulayabilirsiniz.
Ortalama gibi hesapları Combiner'a uygun biçimde tasarlayabilirsiniz.
Counter ile Combiner kazancını ölçebilirsiniz.
Sıkıştırma ve ayarlarla işin genel performansını iyileştirebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Cloudera Manager ile Hadoop kümelerini kurun, parcel ile servis dağıtın, yapılandırın ve yaşam döngüsünü yönetin. İleri seviye DVA eğitimi.
Detayları Gör →
Cloudera Manager yönetimini öğrenin: RBAC yetkilendirme, LDAP, yapılandırma, izleme, uyarı ve BDR/snapshot ile yedekleme. İleri seviye DVA eğitimi.
Detayları Gör →
Cloudera Manager araçlarını, Chart Builder'ı, yapılandırma şablonlarını ve REST API otomasyonunu kullanarak kümeyi verimli yönetin. Orta seviye eğitim.
Detayları Gör →
Confluent Platform'da Kafka broker yönetimi, topic/partition tasarımı, replikasyon, SASL/SSL güvenlik, Schema Registry ve consumer lag izleme. İleri seviye eğit
Detayları Gör →
Kafka kümesini ölçeklendirin, partition yeniden atayın, broker/topic/istemci yapılandırmasını ve performansı ayarlayıp benchmark yapın. İleri seviye eğitim.
Detayları Gör →