HiveQL ile petabayt ölçeğinde veri ambarı kurun
Hive metastore, tablo türleri, bölümleme/bucketing, ORC/Parquet ve ileri HiveQL ile Hadoop üzerinde performanslı bir veri ambarı kurmayı öğreten uygulamalı eğitim.
Hadoop veri ambarını HiveQL ve kolonsal formatlarla yönetmek
Bu eğitim, Apache Hive ile Hadoop üzerinde ölçeklenebilir bir veri ambarı kurmayı öğretir. Hive metastore mimarisi, managed/external tablolar, PARTITION ve CLUSTERED BY (bucketing) ile bölümleme, ORC ve Parquet kolonsal formatları, Tez ve MapReduce yürütme motorları ele alınır. HiveQL ile JOIN, window fonksiyonları, CTE, dinamik bölüm ekleme, ACID tablolar ve sıkıştırma (compaction) işlenir. Vectorization, predicate pushdown ve cost-based optimizer ile sorgu performansı iyileştirme uygulamalı olarak gösterilir.
3 Gün. Her gün dört modül; HiveQL ve tablo tasarımı ağırlıklı canlı lab çalışmaları.
Orta Seviye — Hadoop üzerinde Hive ile veri ambarı tasarımı, HiveQL sorgulama, bölümleme ve kolonsal depolama formatlarını kapsar.
Beeline/CLI üzerinden gerçek bir Hadoop kümesinde tablo oluşturup sorgu çalıştırarak uygulamalı ilerlenir.
Terabayt–petabayt veriyi tek bir SQL arayüzünden sorgulanabilir ambar olarak modellemeyi öğrenirsiniz.
ORC/Parquet, bölümleme ve vectorization ile sorgu sürelerini kat kat düşürürsünüz.
Spark, Presto ve BI araçlarının ortak paylaştığı Hive metastore'u merkezde kullanırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN, GROUP BY içeren temel SQL yazabilmek gerekir.
HDFS ve YARN kavramlarına aşinalık faydalıdır.
Terminal üzerinden dosya ve komut çalıştırma deneyimi beklenir.
Hive kurulu bir Hadoop kümesine veya sandbox'a erişim sağlanmalıdır.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Hadoop üzerinde managed/external tablolarla ölçeklenebilir bir veri ambarı tasarlarsınız.
Statik ve dinamik bölümleme ile sorgulanan veri hacmini düşürürsünüz.
ORC ve Parquet formatlarını sıkıştırma ve pushdown ile verimli kullanırsınız.
Window fonksiyonları ve CTE ile karmaşık analitik sorgular yazarsınız.
Map join, SMB ve skew join stratejilerini doğru seçersiniz.
Transactional tablolarda MERGE ve compaction ile güncellenebilir veri tutarsınız.
CBO, vectorization ve istatistiklerle sorguları hızlandırırsınız.
Metastore'u Spark, Presto ve BI araçlarıyla ortak kullanırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Spark temelleri: mimari, driver/executor, DAG, RDD ve DataFrame ile ilk dağıtık veri işleme işlerini sıfırdan uygulamalı öğrenin.
Detayları Gör →
Spark yönetimi: standalone/YARN/Kubernetes dağıtım, executor/driver kaynak ayarı, dinamik tahsis, Spark UI ve History Server'ı öğrenin.
Detayları Gör →
APMG EBDP çerçevesiyle büyük veri stratejisi, veri bilimi süreci, mimari seçimi, yönetişim ve etik konularını vaka temelli öğrenin.
Detayları Gör →
HDFS, YARN, MapReduce ve Spark'tan Hive, Sqoop ve Kafka'ya Hadoop ekosistemini gerçek kümede uçtan uca öğrenin. İleri seviye büyük veri eğitimi.
Detayları Gör →
Büyük verinin 5V özelliklerinden dağıtık depolama, batch/stream işleme ve Hadoop/Spark ekosistemine temel seviye kapsamlı giriş. DVA büyük veri eğitimi.
Detayları Gör →