Büyük veriyi sorgulayın ve değer çıkarın
Hive/Spark SQL ve DataFrame ile büyük veride filtreleme, JOIN, window analitiği, profilleme, örnekleme, optimizasyon ve sonuç dışa aktarımını öğreten uygulamalı eğitim.
Büyük veriyi sorgulayıp anlamlı çıktıya dönüştürmek
Bu eğitim, büyük veri kümelerini sorgulayıp anlamlı sonuçlar çıkarmayı öğretir. Hive ve Spark SQL ile filtreleme, JOIN, GROUP BY ve window fonksiyonları; DataFrame API ile dönüşümler; kolonsal format ve bölümlemeden yararlanarak hızlı sorgu işlenir. Veri profilleme, örnekleme, toplulaştırma ve özet istatistik üretimi, sonuçların CSV/Parquet ve BI araçlarına dışa aktarımı uygulamalı ele alınır. Sorgu optimizasyonu, pushdown ve büyük sonuç kümesi yönetimi gösterilir.
3 Gün. Her gün dört modül; SQL ve DataFrame sorguları yazma ağırlıklı labler.
Orta Seviye — Büyük veriyi SQL ve Spark ile sorgulama, çıkarım, toplulaştırma ve dışa aktarmayı kapsar.
Gerçek büyük veri setleri üzerinde sorgular yazıp sonuçları dışa aktararak uygulanır.
Kolonsal format ve pushdown ile terabaytlık veriyi saniyeler içinde sorgularsınız.
Toplulaştırma ve window fonksiyonlarıyla ham veriden analitik içgörü çıkarırsınız.
Sonuçları Parquet ve BI araçlarına sorunsuz aktarırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
SELECT, JOIN, GROUP BY içeren SQL yazabilmek gerekir.
Tablo, satır ve kolon kavramlarına aşinalık beklenir.
DataFrame örnekleri için temel Python faydalıdır.
Hive/Spark erişimi olan bir küme veya sandbox gerekir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Büyük veride JOIN ve GROUP BY ile doğru sorgular yazarsınız.
Window fonksiyonlarıyla sıralama ve trend analizi yaparsınız.
Veri dağılımı ve kalitesini hızla profilleyip anlarsınız.
TABLESAMPLE ile büyük veride hızlı keşif yaparsınız.
Pruning ve pushdown ile sorguları hızlandırırsınız.
SQL ile DataFrame API arasında akıcı geçiş yaparsınız.
Sonuçları Parquet, JDBC ve BI araçlarına aktarırsınız.
KPI ve özet tablolarla yenilenebilir raporlar üretirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
HDFS üzerinde dosya yönetimi: hdfs dfs komutları, blok ve replikasyon, dosya formatları, sıkıştırma ve fsck ile sağlık kontrolünü uygulamalı öğrenin.
Detayları Gör →
Spark'ın çekirdeği RDD'yi öğrenin: map/filter/reduceByKey dönüşümleri, lineage ve DAG, shuffle, partition ve persist ile performans yönetimi.
Detayları Gör →
Azure HDInsight'ta Spark kümesi sağlama, PySpark ve Spark SQL ile iş çalıştırma, YARN, autoscale, Ambari izleme ve maliyet yönetimini öğrenin.
Detayları Gör →
Yöneticiler için Kafka: olay akışının iş değeri, sade kavramlar, kullanım senaryoları, yönetilen/self-managed platform kararı ve maliyet değerlendirmesi.
Detayları Gör →
Apache Hive ile Hadoop veri ambarı: metastore, bölümleme, bucketing, ORC/Parquet ve ileri HiveQL sorgularını uygulamalı öğrenin.
Detayları Gör →