Hadoop üzerinde içgörü mimarisi tasarla
Hadoop üzerinde içgörü üreten katmanlı bir bilgi mimarisi kurmayı öğreten ileri seviye eğitim: referans mimari katmanları, boyutsal modelleme ve Data Vault, veri alımı ve entegrasyon desenleri, MDM ve kalite katmanı, Hive/Impala servisi, BI, metadata ve güven…
Katmanlı mimari, veri modelleme ve Hadoop ile içgörü tasarımı
Bu ileri seviye eğitim, Hadoop ekosistemi üzerinde içgörü üreten bir bilgi mimarisinin (information architecture) tasarımına odaklanır. Ham (landing), standartlaştırılmış, entegre ve servis katmanlarından oluşan referans mimari; veri modelleme yaklaşımları (yıldız şema, Data Vault, denormalizasyon) ve HDFS/Hive üzerinde fiziksel tasarım işlenir. Veri alımı (batch/stream), entegrasyon desenleri, MDM ve veri kalitesi katmanları, Hive/Impala ile sorgu servisi ve BI entegrasyonu ele alınır. Yönetişim, metadata, soy kütüğü ve güvenlik mimariye gömülür. Katılımcılar bir kurumsal içgörü senaryosu için uçtan uca bir Hadoop bilgi mimarisi tasarlar.
4 Gün. Her gün dört modül; katılımcılar ham veriden içgörüye katmanlı mimariyi aşamalı olarak inşa eder.
İleri Seviye — Hadoop üzerinde içgörü üreten bir bilgi mimarisinin katmanlar, veri modelleme, entegrasyon ve yönetişimle tasarlanması.
Katılımcılar örnek bir kurumsal senaryo üzerinden katman katman mimari diyagramları ve veri modelleri çıkararak öğrenir.
Ham veriden içgörüye uzanan katmanlı mimariyi tasarlarsınız.
Yıldız şema ve Data Vault ile Hadoop'ta modelleme yaparsınız.
Kaynakları MDM ve kalite katmanlarıyla tutarlı hale getirirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
HDFS, Hive ve Spark temeline aşinalık beklenir.
Boyut/olgu ve yıldız şema kavramları faydalıdır.
Karmaşık SQL ve JOIN yazımına aşinalık yararlıdır.
Sistem mimarisi ve diyagram okuma deneyimi faydalıdır.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Landing'den servise katmanlı bir içgörü mimarisi tasarlarsınız.
HDFS/Hive dizin, bölümleme ve format tasarımı yaparsınız.
Yıldız şema ve SCD ile Hadoop'ta modelleme yaparsınız.
Hub/link/satellite ile esnek model kurarsınız.
MDM ve varlık çözümleme ile kaynakları tutarlı hale getirirsiniz.
Kalite katmanını mimariye gömersiniz.
Hive/Impala ve BI ile içgörüyü sunarsınız.
Metadata, soy kütüğü ve güvenliği mimariye entegre edersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Hive performansı: map/bucket/SMB join, partition pruning, bucketing, veri çarpıklığı, EXPLAIN plan okuma ve sorun giderme. Uygulamalı ileri seviye eğitim.
Detayları Gör →
Kamu kurumları için büyük veri ve iş zekası: açık veri, gösterge panoları, hizmet metrikleri, usulsüzlük analitiği, KVKK ve veri yönetişimi. Orta seviye eğitim.
Detayları Gör →
Apache Kafka ile Spark Structured Streaming entegrasyonu: Kafka kaynağı, event-time pencereleme, watermark, stateful agregasyon, join ve checkpoint. İleri eğiti
Detayları Gör →
Apache Flink'e giriş: DataStream API, event-time, watermark, keyed state, pencereleme, checkpoint ve Kafka entegrasyonu. Uygulamalı temel seviye eğitim.
Detayları Gör →
Apache Spark'a giriş: driver/executor mimarisi, RDD, transformation/action, DataFrame, Spark SQL, Parquet ve önbellekleme. Uygulamalı temel seviye eğitim.
Detayları Gör →