Hive sorgularını bölümleme ve formatla uçuşa geçir
Hive sorgularını hızlandırmayı derinlemesine öğreten ileri seviye eğitim: partition pruning ve çok seviyeli bölümleme, bucketing ve SMB join, ORC/Parquet ile predicate pushdown, Tez/vectorization ve CBO istatistikleriyle EXPLAIN planı okuyarak darboğaz giderm…
Partition pruning, bucketing, ORC ve çalıştırma motoru optimizasyonu
Bu ileri seviye eğitim, Hive sorgularının neden yavaş olduğunu ve partitioning başta olmak üzere hangi tekniklerle hızlandığını derinlemesine ele alır. Static/dynamic partition tasarımı, partition pruning, çok seviyeli partition, bucketing ve sort merge bucket join; ORC/Parquet kolon depolama, predicate pushdown, sıkıştırma; Tez/MapReduce motor seçimi, vectorization, cost-based optimizer (CBO) ve istatistikler işlenir. Katılımcı, EXPLAIN planını okuyarak darboğazı tespit edip partition ve format kararlarıyla sorgu süresini belirgin biçimde düşürebilir.
3 Gün. Her gün dört modül; katılımcılar yavaş sorgudan optimize edilmiş plana kadar ilerler.
İleri Seviye — Hive sorgularını partition, bucketing, dosya formatı ve çalıştırma motoru ayarlarıyla hızlandırmanın derinlemesine ele alınması.
Katılımcılar gerçek büyük tablolar üzerinde EXPLAIN planı okuyup partition ve format kararlarının süreye etkisini ölçerek öğrenir.
Partition pruning ile taranan veriyi dramatik biçimde azaltırsınız.
ORC/Parquet ve predicate pushdown ile I/O maliyetini düşürürsünüz.
EXPLAIN planından darboğazı teşhis etmeyi öğrenirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HiveQL ile tablo oluşturma ve sorgulama deneyimi beklenir.
Index ve join maliyeti kavramlarına aşinalık faydalıdır.
HDFS ve MapReduce/Tez'in temel çalışma mantığı yararlıdır.
Büyük tablolar barındıran bir Hive kümesi veya sandbox'a erişim.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Doğru anahtarla partition tasarlayıp pruning tetiklersiniz.
Static/dynamic partition yüklemeyi güvenle yönetirsiniz.
Bucketing ve SMB join ile birleştirmeyi hızlandırırsınız.
ORC/Parquet ve predicate pushdown ile I/O'yu azaltırsınız.
Kodek seçimiyle depolama ve okuma dengesini kurarsınız.
Tez, LLAP ve vectorization ile çalıştırmayı iyileştirirsiniz.
İstatistik ve CBO ile join sırasını optimize edersiniz.
EXPLAIN planından darboğazı bulup gerekçeyle çözersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark MLlib ile büyük veride ileri analitik: öznitelik mühendisliği, regresyon/sınıflandırma/kümeleme, model değerlendirme ve üretime alma. İleri seviye eğitim.
Detayları Gör →
Hive'da partitioning ve bucketing ile sorguları hızlandırın, ROW_NUMBER, RANK, LAG/LEAD ve kayan pencerelerle ileri analitik yapın. Orta seviye eğitim.
Detayları Gör →
Kafka ve Spark Structured Streaming ile event-time pencereleme, watermark, stateful işleme ve exactly-once akış hatları kurun. İleri seviye eğitim.
Detayları Gör →
Büyük veri setlerini SQL ve Spark ile keşfedin, agregasyon ve pencere fonksiyonlarıyla analiz edin, görselleştirip içgörüye dönüştürün. Orta seviye eğitim.
Detayları Gör →
Cloudera'da Hadoop kümesi kurun, HDFS/YARN'ı yapılandırın, Kerberos ve Ranger ile güvenliği sağlayın, izleme ve sorun giderme yapın. İleri seviye eğitim.
Detayları Gör →