Hadoop kaynaklarını YARN ile ustaca yönetin
YARN ile Hadoop küme kaynak yönetimi: ResourceManager ve konteyner mimarisi, iş yaşam döngüsü, Capacity ve Fair Scheduler kuyrukları, Spark/Tez yürütme ve izleme bir küme üzerinde uygulamalı işlenir.
YARN ile küme kaynak yönetimi ve iş yürütme
Bu eğitim, Hadoop ekosisteminin kaynak yönetim katmanı YARN (Yet Another Resource Negotiator) üzerinde veri işleme iş yüklerinin nasıl çalıştırıldığını ve yönetildiğini ele alır. YARN mimarisi (ResourceManager, NodeManager, ApplicationMaster, Container), iş gönderme yaşam döngüsü, kaynak tahsisi (vCore, bellek) işlenir. Capacity ve Fair Scheduler ile kaynak kuyrukları, kuyruk hiyerarşisi, kapasite ve esneklik ayarları, önceliklendirme ve preemption ele alınır. MapReduce, Spark ve Tez gibi işleme motorlarının YARN üzerinde yürütülmesi, HDFS ile birlikte veri yerelliği, log toplama, kaynak izleme ve sorun giderme incelenir. Örnekler bir Hadoop kümesinde YARN komutları ve yapılandırmaları üzerinde kurgulanır.
3 Gün. Her gün dört modül; kavram anlatımının ardından YARN komutları ve yapılandırmalarıyla pratik yapılır.
İleri Seviye — YARN ile veri rafinerisi: Hadoop kaynak yönetimi, iş zamanlama, kaynak kuyrukları ve dağıtık işleme ile veri işleme.
Bir Hadoop kümesi üzerinde YARN komutları, kuyruk yapılandırması ve iş gönderme senaryolarıyla uygulamalı çalışılır.
Küme CPU ve belleğini kuyruklarla verimli ve adil paylaştırırsınız.
MapReduce, Spark ve Tez iş yüklerini tek YARN katmanında çalıştırırsınız.
İş durumu, log ve metriklerle sorunları hızlı teşhis edersiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Komut satırı ve dosya işlemlerine aşinalık gerekir.
HDFS ve dağıtık depolama kavramlarına aşinalık faydalıdır.
MapReduce veya Spark mantığını bilmek örnekleri kolaylaştırır.
Erişilebilir bir Hadoop/YARN kümesi veya sanal küme ortamı.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
ResourceManager, NodeManager ve ApplicationMaster rollerini açıklarsınız.
Bir işin gönderiminden tamamlanmasına yürütme akışını izlersiniz.
Bellek ve vCore tahsisini iş ihtiyacına göre ayarlarsınız.
Kuyruk hiyerarşisi ve kapasiteyle kaynakları paylaştırırsınız.
Havuz ve ağırlıklarla adil kaynak paylaşımı kurarsınız.
Spark ve Tez iş yüklerini YARN üzerinde çalıştırırsınız.
Arayüz ve loglarla işleri izler ve sorunları teşhis edersiniz.
Kaynak ayarları ve veri yerelliğiyle küme verimini artırırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
GCP Looker'da LookML ile PDT/incremental, datagroup caching, symmetric aggregate, access_filter güvenliği ve BigQuery performans ayarını öğrenin.
Detayları Gör →
Looker'da LookML ile view/explore, join, yeniden kullanım, LookML panolar ve Git tabanlı geliştirme akışıyla veri modeli geliştirmeyi uygulamalı öğrenin.
Detayları Gör →
BI istemci ve ağ geçidi yapılandırması, ODBC/JDBC sürücüler, bağlantı dizeleri, kimlik ve yenileme ile güvenilir veri erişimi kurmayı öğrenin.
Detayları Gör →
Yöneticiler için veri stratejisi, yönetişim, veri kültürü, yapay zekâ ve ROI ile veriyle güçlenen bir organizasyon dönüşümünü öğrenin.
Detayları Gör →
Öklid, Manhattan ve kosinüs mesafe metrikleriyle kNN, K-means ve hiyerarşik kümelemeyi, ölçeklendirme ve değerlendirmeyi uygulamalı öğrenin.
Detayları Gör →