Hadoop ve Spark'ı üretim ölçeğinde ayarlayın
İleri HDFS/YARN ayarı, Spark bellek/shuffle/skew/AQE tuning ve Hive LLAP/Impala/Trino ile SQL-on-Hadoop sorgu optimizasyonunu uygulamalı öğreten ileri eğitim.
SQL-on-Hadoop motorlarını ileri düzeyde kullanmak
Bu eğitim, Hadoop ve Spark'ı ileri düzeyde ayarlayıp SQL-on-Hadoop motorlarıyla analitik üretmeyi öğretir. HDFS tuning, YARN scheduler ve kuyruk tasarımı; Spark bellek modeli, shuffle, skew ve AQE ile performans ayarı işlenir. Hive LLAP, Impala ve Presto/Trino karşılaştırması, kolonsal format ve istatistik kullanımı, cost-based optimizer, bölümleme ve bucketing ile sorgu hızlandırma uygulamalı ele alınır. Karmaşık JOIN'ler, window analitiği ve büyük hacimli sorgu optimizasyonu gösterilir.
4 Gün. Her gün dört modül; performans ayarı ve sorgu optimizasyonu ağırlıklı labler.
İleri Seviye — İleri HDFS/YARN ayarı, Spark tuning, Hive/Impala ve SQL-on-Hadoop motorlarını kapsar.
Gerçek bir kümede yavaş sorgu ve işleri profilleyip ayar parametreleriyle hızlandırarak uygulanır.
Shuffle, skew ve AQE ayarlarıyla Spark işlerinin süresini belirgin düşürürsünüz.
Hive, Impala ve Trino arasında doğru motoru senaryoya göre seçersiniz.
YARN kuyrukları ve bellek ayarıyla küme kaynağını verimli kullanırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
RDD/DataFrame ve spark-submit deneyimi gerekir.
JOIN ve window içeren ileri SQL yazabilmek beklenir.
HDFS ve YARN kavramlarına hakimiyet faydalıdır.
Hive/Impala kurulu çok node'lu bir küme erişimi gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Blok, cache ve erasure coding ile depolamayı optimize edersiniz.
Kuyruk ve preemption ile kaynakları adil ve verimli paylaştırırsınız.
Bellek, shuffle ve skew ayarlarıyla işleri hızlandırırsınız.
Adaptive Query Execution ile runtime optimizasyon uygularsınız.
Hive, Impala ve Trino arasında senaryoya uygun motoru seçersiniz.
Pushdown, pruning ve istatistiklerle sorguları hızlandırırsınız.
Window ve GROUPING SETS ile karmaşık analitik yazarsınız.
Eşzamanlılık ve SLA yönetimiyle üretim iş yüklerini kontrol edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hadoop üzerinde HiveQL ile SQL benzeri sorgulama ve Pig Latin ile veri akışı programlamayı uygulamalı öğrenin: partition, UDF ve uçtan uca ETL.
Detayları Gör →
Hive sorgularını partition pruning, bucketing, ORC/Parquet ve Tez ayarlarıyla hızlandırın. EXPLAIN plan okuma ve CBO ile ileri optimizasyon eğitimi.
Detayları Gör →
Veri analitiği temelleri, SQL ve Python (pandas) ile analiz ve Hadoop/Spark ile büyük veri işlemeyi uçtan uca öğrenin. Uygulamalı giriş eğitimi.
Detayları Gör →
Hive'da ARRAY, MAP, STRUCT ve JSON gibi iç içe veriyi LATERAL VIEW, explode ve get_json_object ile modelleyip sorgulamayı uygulamalı öğrenin.
Detayları Gör →
Apache Kafka temelleri: topic, partition ve offset yönetimi, producer ve consumer geliştirme, consumer group ve offset commit'i uygulamalı öğrenin.
Detayları Gör →