Hadoop verisini analiste dönüştürün
Hadoop ekosisteminde Hive ve Impala ile SQL analizi, Pig ile ETL, pencere fonksiyonları, veri kalitesi kontrolü ve raporlama bağlantısı kapsayan veri analisti eğitimi.
Analist perspektifiyle Hadoop sorgulama ve analiz eğitimi
Bu eğitim, Hadoop ekosisteminde bir veri analistinin günlük işlerini yapmasını öğretir. HDFS'teki veriye Hive ve Impala ile SQL sorguları yazma, Pig Latin ile veri akışı dönüşümleri, tablolar arası birleştirme ve agregasyon, pencere fonksiyonları, veri formatları (ORC/Parquet) ile performans, örnekleme ve veri kalitesi kontrolü ile sonuçları raporlama araçlarına bağlama gibi somut konuları kapsar. Katılımcı büyük veri üzerinde keşif ve analiz yaparak iş sorularını yanıtlar.
4 Gün. Her gün dört modül; her modül anlatım ve Hive/Impala/Pig labı içerir.
Orta Seviye — Hadoop ekosisteminde Hive, Pig ve Impala ile veri analizi ve raporlama.
Hadoop ortamında gerçek veri setleri üzerinde Hive, Impala ve Pig ile analiz sorguları yazarak uygulamalı öğrenme.
Belleğe sığmayan veri setlerinde SQL yaklaşımıyla keşif ve analiz yaparsınız.
Impala ile düşük gecikmeli etkileşimli sorgular çalıştırırsınız.
Pig ile karmaşık ETL akışlarını okunabilir adımlarla kurarsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
JOIN ve GROUP BY içeren orta düzey SQL bilgisi gerekir.
HDFS ve Hive kavramlarına giriş düzeyinde aşinalık faydalıdır.
İş sorusunu sorguya çevirme becerisi avantaj sağlar.
Hive, Impala ve Pig kurulu bir ortam veya sandbox önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Hive ile birleştirme, agregasyon ve pencere fonksiyonları yazabilirsiniz.
Impala ile düşük gecikmeli analitik sorgular çalıştırabilirsiniz.
Pig Latin ile çok adımlı ETL akışları kurabilirsiniz.
Parquet, partition ve istatistiklerle sorguları hızlandırabilirsiniz.
Eksik/aykırı değer ve tutarlılık denetimi yapabilirsiniz.
LAG/LEAD ve hareketli ortalama ile trend analizi yapabilirsiniz.
Sonuçları JDBC/ODBC ile BI araçlarına bağlayabilirsiniz.
İş sorusundan sonuca uçtan uca analiz yürütebilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Apache Kafka'yı uçtan uca öğrenin: topic/partition mimarisi, producer/consumer API'leri, teslim garantileri, Schema Registry, Kafka Connect ve Streams.
Detayları Gör →
Apache Kafka'ya sıfırdan başlayın: topic/partition kavramları, Docker kurulumu, CLI ile mesaj üretme/tüketme, consumer group ve ilk producer/consumer uygulaması
Detayları Gör →
ksqlDB ile SQL tabanlı akış işleme ve Kafka Connect ile CDC/JDBC/S3 entegrasyonunu birleştirin; uçtan uca gerçek zamanlı veri hattı tasarlayın.
Detayları Gör →
Apache Hive ile managed/external tablolar kurun, HDFS'ten veri yükleyin, partitioning ve bucketing uygulayın, HiveQL ile JOIN ve pencere fonksiyonları yazın.
Detayları Gör →
Büyük veri platformlarını işletin: YARN kaynak yönetimi, Airflow/Oozie orkestrasyon, veri yönetişimi, Kerberos/Ranger güvenlik, izleme ve maliyet optimizasyonu.
Detayları Gör →