Spark MLlib ile ölçeklenen makine öğrenmesi
Apache Spark ve MLlib ile DataFrame, öznitelik mühendisliği, Pipeline, sınıflandırma/regresyon, kümeleme, öneri ve hiperparametre ayarı kapsayan dağıtık makine öğrenmesi eğitimi.
Spark üzerinde dağıtık veri bilimi ve MLlib ile model geliştirme eğitimi
Bu eğitim, Apache Spark ve MLlib kullanarak büyük veri üzerinde dağıtık veri bilimi ve makine öğrenmesi yapmayı ele alır. Spark DataFrame ve Spark SQL ile veri hazırlama, VectorAssembler ve StringIndexer ile öznitelik mühendisliği, MLlib Pipeline ve Transformer/Estimator kavramı, lojistik regresyon, karar ağaçları, random forest ve k-means algoritmaları, CrossValidator ile hiperparametre ayarı ve model değerlendirme metrikleri gibi somut konuları kapsar. Katılımcı uçtan uca ölçeklenebilir bir ML pipeline'ı kurar.
4 Gün. Her gün dört modül; her modül anlatım ve Spark üzerinde PySpark/Scala laboratuvarı içerir.
İleri Seviye — Apache Spark ve MLlib ile dağıtık veri bilimi ve makine öğrenmesi pipeline'ları geliştirme.
Spark cluster veya tek düğüm üzerinde PySpark notebook'larıyla gerçek veri setlerinde model kurarak uygulamalı öğrenme.
Belleğe sığmayan veri setlerinde bile dağıtık model eğitimi yapabilirsiniz.
MLlib Pipeline ile veri hazırlama ve modeli yeniden üretilebilir hale getirirsiniz.
Veri işleme, SQL ve ML'i tek Spark motorunda birleştirirsiniz.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
PySpark örnekleri için temel Python bilgisi gerekir.
Sınıflandırma, regresyon ve overfitting kavramlarına aşinalık faydalıdır.
RDD/DataFrame kavramına giriş düzeyinde aşinalık avantaj sağlar.
PySpark kurulu bir ortam veya notebook erişimi önerilir.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
Spark DataFrame ve SQL ile büyük veriyi hazırlayabilirsiniz.
VectorAssembler ve transformer'larla öznitelik üretebilirsiniz.
MLlib Pipeline ile yeniden üretilebilir akışlar kurabilirsiniz.
Sınıflandırma, regresyon ve ağaç modelleri eğitebilirsiniz.
AUC, F1 ve RMSE gibi metriklerle modeli değerlendirebilirsiniz.
CrossValidator ile hiperparametre ayarı yapabilirsiniz.
k-means ve ALS ile kümeleme ve öneri modelleri kurabilirsiniz.
Modeli kaydedip performans ayarıyla üretime hazırlayabilirsiniz.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
ksqlDB ile SQL tabanlı akış işleme ve Kafka Connect ile CDC/JDBC/S3 entegrasyonunu birleştirin; uçtan uca gerçek zamanlı veri hattı tasarlayın.
Detayları Gör →
Apache Hive ile managed/external tablolar kurun, HDFS'ten veri yükleyin, partitioning ve bucketing uygulayın, HiveQL ile JOIN ve pencere fonksiyonları yazın.
Detayları Gör →
Büyük veri platformlarını işletin: YARN kaynak yönetimi, Airflow/Oozie orkestrasyon, veri yönetişimi, Kerberos/Ranger güvenlik, izleme ve maliyet optimizasyonu.
Detayları Gör →
Azure HDInsight ile yönetilen Hadoop/Spark/Hive kümeleri kurun: ADLS Gen2 entegrasyonu, iş çalıştırma, Ambari yönetimi, autoscale ve güvenlik.
Detayları Gör →
Apache Flink işlerini üretimde yönetin: durum yönetimi, RocksDB backend, checkpoint/savepoint, exactly-once, Kubernetes/YARN dağıtım, backpressure ve rescaling.
Detayları Gör →