Terabaytlık veriyi ölçeklenebilir tekniklerle analize çevir
Veri tek makineyi aştığında kullanılan analitik tekniklerini öğreten ileri seviye eğitim: Spark DAG ve shuffle maliyeti, örnekleme, HyperLogLog ve Count-Min sketch, PCA ile boyut indirgeme ve MLlib ile ölçeklenebilir model eğitimi.
Dağıtık işleme, yaklaşık algoritmalar ve ölçeklenebilir analitik
Bu ileri seviye eğitim, veri boyutu tek makineyi aştığında kullanılan analitik tekniklerini uygulamalı öğretir. MapReduce ve Spark DAG işleme modeli, veri bölümleme (partitioning) ve shuffle maliyeti, örnekleme (sampling) ve stratifikasyon, yaklaşık (approximate) algoritmalar (HyperLogLog, Count-Min Sketch, Bloom filter) işlenir. Ardından boyut indirgeme (PCA), özellik hashing, dağıtık kümeleme (k-means), Spark MLlib ile ölçeklenebilir model eğitimi, akan veri (streaming) üzerinde pencereli analitik ve sonuçların doğrulanması ele alınır. Katılımcı, büyük hacimli veriyi doğru teknikle özetleyip modelleyebilir.
4 Gün. Her gün dört modül; katılımcılar dağıtık işleme temelinden ölçeklenebilir modellemeye kadar ilerler.
İleri Seviye — Büyük veri üzerinde dağıtık işleme, örnekleme, boyut indirgeme ve ölçeklenebilir analitik tekniklerinin uçtan uca ele alınması.
Katılımcılar Spark üzerinde gerçek veri kümeleriyle örnekleme, sketch ve MLlib teknikerini uygulayarak sonuçları doğrular.
Veri tek makineye sığmadığında doğru işleme paradigmasını seçersiniz.
Sketch ve örnekleme ile devasa veride hızlı ve yeterli yanıt üretirsiniz.
Spark MLlib ile büyük veride ölçeklenebilir model eğitirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
Python veya Scala ile temel programlama deneyimi beklenir.
Olasılık, dağılım ve örnekleme kavramlarına aşinalık faydalıdır.
Spark/Hadoop ile temel tanışıklık avantaj sağlar.
Spark erişimi olan bir ortam (yerel, küme veya bulut) ve Python/notebook.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
MapReduce ve Spark paradigmalarını maliyetleriyle karşılaştırırsınız.
Bölümleme ve skew'i yöneterek dağıtık işleri hızlandırırsınız.
Stratified ve reservoir örneklemeyle veriyi temsil edersiniz.
HyperLogLog ve Count-Min ile yaklaşık ama hızlı yanıt üretirsiniz.
PCA ve özellik hashing ile yüksek boyutu yönetirsiniz.
Spark MLlib ile ölçeklenebilir model eğitir ve ayarlarsınız.
Structured Streaming ile pencereli ve durumlu analiz yaparsınız.
Yaklaşık sonuçların doğruluğunu ve drift'i izlersiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
Büyük veri dönüşümünü vizyondan uygulamaya aşamalı bir yol haritasına dökün: dalga planı, kilometre taşları, bağımlılık, bütçe, risk ve KPI. Orta seviye eğitim.
Detayları Gör →
Büyük veri çözümlerini satış perspektifinden konumlandırın: değer önerisi, kullanım senaryoları, keşif, ROI ve itiraz yönetimi. Temel seviye DVA eğitimi.
Detayları Gör →
Cassandra ring mimarisi, sorgu odaklı veri modelleme, partition/clustering tasarımı, CQL sorguları ve DDL ile şema oluşturmayı öğrenin. İleri seviye eğitim.
Detayları Gör →
Spark MLlib ile büyük veride ileri analitik: öznitelik mühendisliği, regresyon/sınıflandırma/kümeleme, model değerlendirme ve üretime alma. İleri seviye eğitim.
Detayları Gör →
Hive'da partitioning ve bucketing ile sorguları hızlandırın, ROW_NUMBER, RANK, LAG/LEAD ve kayan pencerelerle ileri analitik yapın. Orta seviye eğitim.
Detayları Gör →