Petabaytlık veriyi Hadoop kümesiyle işle
Hadoop ekosistemini depolamadan işlemeye öğreten ileri seviye eğitim: HDFS blok ve replikasyon mimarisi, YARN kaynak yönetimi, MapReduce ve Spark işleme, Hive sorgulama, Sqoop aktarımı ve Kafka ile akan veri alımı uygulamalı olarak ele alınır.
HDFS, YARN, MapReduce, Hive ve Spark ile dağıtık veri işleme
Bu ileri seviye eğitim, büyük veriyi Hadoop ekosistemiyle depolamaktan işlemeye kadar bütünsel ele alır. HDFS'in blok ve replikasyon mimarisi, NameNode/DataNode rolleri; YARN'da ResourceManager ve NodeManager ile kaynak yönetimi; MapReduce'un map-shuffle-reduce akışı ve Spark'ın bellek içi RDD/DataFrame işleme modeli işlenir. Hive ile SQL-benzeri sorgular, Sqoop ile ilişkisel veritabanı aktarımı, Kafka ile akan veri alımı ve Oozie ile iş akışı planlaması uygulamalı yapılır. Katılımcılar çok düğümlü bir kümede veri yükleyip işleyerek performans ayarı gerçekleştirir.
4 Gün. Her gün dört modül; katılımcılar depolama, kaynak yönetimi, toplu işleme ve ekosistem araçlarını aşamalı olarak kümede uygular.
İleri Seviye — HDFS depolama, YARN kaynak yönetimi, MapReduce ve Spark işleme ile Hive/Sqoop/Kafka ekosisteminin uçtan uca ele alınması.
Katılımcılar çok düğümlü bir Hadoop kümesinde HDFS'e veri yükler, YARN üzerinde Spark ve MapReduce işleri çalıştırıp performansını ölçerek öğrenir.
HDFS'in blok, replikasyon ve rack-awareness mantığıyla petabaytlık veriyi güvenle saklarsınız.
YARN ile CPU/bellek kaynaklarını kuyruklara bölerek çok kiracılı küme yönetirsiniz.
Spark'ın bellek içi işleme modeliyle MapReduce'a göre kat kat hızlı analiz üretirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Temel Linux komutları ve dosya sistemi kavramlarına aşinalık beklenir.
SELECT, JOIN ve GROUP BY gibi SQL sorgularını yazabilmek Hive modüllerinde faydalıdır.
Java veya Python ile temel kodlama Spark ve MapReduce örneklerini kolaylaştırır.
En az 8 GB RAM'li bir bilgisayar veya bulut üzerinde çok düğümlü küme erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
HDFS blok, replikasyon ve HA mimarisini kurar ve veriyi yönetirsiniz.
YARN kuyrukları ve scheduler'larla küme kaynaklarını paylaştırırsınız.
Map-shuffle-reduce akışını kavrar ve iş yazıp ayarlarsınız.
Spark DataFrame ve SQL ile bellek içi dağıtık analiz üretirsiniz.
Partitioning ve bucketing ile Hive sorgularını hızlandırırsınız.
Sqoop ile ilişkisel veritabanı ve HDFS arasında veri taşırsınız.
Kafka ve Spark Streaming ile gerçek zamanlı veri alırsınız.
Partition, shuffle ve skew ayarıyla iş performansını iyileştirirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hadoop ve MapReduce'a uygulamalı giriş: HDFS, YARN, map-reduce akışı, ilk WordCount uygulaması ve ekosistem araçları. Başlangıç seviyesi eğitim.
Detayları Gör →
Hadoop cluster yönetimi: çok düğümlü kurulum, NameNode HA, Capacity/Fair Scheduler, Kerberos, izleme, yedekleme ve sorun giderme. Uygulamalı ileri eğitim.
Detayları Gör →
Hadoop cluster mimarisi: NameNode/DataNode, blok modeli, HDFS write/read pipeline, veri yerelliği, YARN bileşenleri ve cluster boyutlandırma. Orta seviye eğitim
Detayları Gör →
Hadoop'ta veri analizi: Hive ve Impala ile SQL sorguları, Pig ile ETL, pencere fonksiyonları, veri kalitesi ve raporlama. Uygulamalı orta seviye eğitim.
Detayları Gör →
Hadoop'un tasarım ilkeleri: veri yerelliği, hataya dayanıklılık, yatay ölçekleme, write-once modeli ve ödünleşimler. Kavramsal orta seviye eğitim.
Detayları Gör →