MPP ambarı ile Hadoop verisini birlikte sorgula
Microsoft Analytics Platform System MPP ambarını ve Hive/Hadoop entegrasyonunu öğreten orta seviye eğitim: shared-nothing mimarisi, control/compute node, data movement service, hash/replicated tablo dağıtımı, istatistik ve CTAS, PolyBase ile external table, p…
APS MPP mimarisi, dağıtım stratejileri, PolyBase ve Hive entegrasyonu
Bu eğitim, Microsoft Analytics Platform System (APS/eski PDW) ile kurumsal ölçekli MPP veri ambarını ve bunun Hadoop/Hive ile entegrasyonunu öğretir. Katılımcılar massively parallel processing (MPP) mimarisini, control/compute node yapısını ve shared-nothing ilkesini kavrar; hash ve replicated tablo dağıtım stratejilerini, veri taşıma (data movement) maliyetini ve istatistikleri uygular. PolyBase ile HDFS ve Hive tablolarına T-SQL üzerinden external table olarak erişim, dış veri kaynağı/format tanımı ve pushdown işlenir. Ardından ambar ile Hadoop arasında veri aktarımı, hibrit sorgular ve yük stratejileri (CTAS) ele alınır. Eğitim, dağıtım ve sorgu optimizasyonu kararlarıyla tamamlanır.
3 Gün. Her gün dört modül; APS MPP mimarisinden tablo dağıtımına ve PolyBase ile Hive entegrasyonuna ilerlenir.
Orta Seviye — Microsoft Analytics Platform System (APS) ile MPP veri ambarı ve PolyBase üzerinden Hive/Hadoop verisine erişim.
Katılımcılar APS üzerinde dağıtılmış tablolar tasarlar, PolyBase ile external Hive tablolarını sorgular ve veri taşıma maliyetini plan üzerinden analiz eder.
Control/compute node ve shared-nothing modeliyle ölçekli ambarı kavrarsınız.
Hash ve replicated dağıtımla veri taşıma maliyetini minimize edersiniz.
T-SQL ile HDFS/Hive verisine external table üzerinden erişirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN ve DDL gibi T-SQL sorgularına aşinalık güçlü biçimde faydalıdır.
Boyut/olgu tablo ve yıldız şema kavramlarına aşinalık faydalıdır.
HDFS ve Hive tabloları hakkında temel bilgi faydalıdır.
APS/PolyBase yapılandırılmış bir ortam veya laboratuvar erişimi.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Shared-nothing, control/compute node ve DMS'i açıklarsınız.
Hash ve replicated stratejileriyle veri taşımayı azaltırsınız.
Dağıtım-uyumlu join ile sorgu maliyetini düşürürsünüz.
İstatistik yönetimiyle maliyet tabanlı planı iyileştirirsiniz.
CTAS ile paralel ve hızlı veri yüklemesi yaparsınız.
External data source/format/table ile Hive verisine erişirsiniz.
Predicate pushdown ile Hadoop tarafında filtreleme sağlarsınız.
APS ile Hadoop verisini tek sorguda birleştirirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Microsoft Fabric'te Spark yapılandırması ve Delta Lake tablolarını öğrenin: pool/oturum ayarı, ACID, MERGE, time travel, OPTIMIZE, V-Order ve VACUUM bakımı.
Detayları Gör →
Hive sorgularını kök nedenden hızlandırın: EXPLAIN plan analizi, Tez/LLAP, map-side/SMB/skew join, ORC pushdown, bloom filter, partition pruning ve CBO.
Detayları Gör →
Veri işleme bağlamında Apache Kafka'ya başlayın: temel kavramlar, Docker kurulumu, CLI ve Python ile ilk veri akışı, consumer group ve ekosisteme bakış.
Detayları Gör →
Spark Structured Streaming ile Kafka entegrasyonunu öğrenin: Kafka source/sink, from_json ayrıştırma, offset yönetimi, pencereleme, checkpoint ve exactly-once.
Detayları Gör →
Apache Spark'a başlayın: dağıtık işleme modeli, driver/executor mimarisi, RDD dönüşüm/eylemleri, DataFrame, Spark SQL ve ilk veri işleme işi.
Detayları Gör →