Hiperparametreyi Hyperopt ile akıllı arayın
Hyperopt ile arama uzayı tasarımı, TPE tabanlı fmin, SparkTrials ile dağıtık paralel deneme ve MLflow izlemeyle Databricks üzerinde ölçekli hiperparametre optimizasyonu eğitimi.
Hyperopt ve SparkTrials ile ölçekli hiperparametre optimizasyonu
Bu eğitim, Hyperopt kütüphanesiyle hiperparametre optimizasyonunu Databricks üzerinde ölçekli biçimde öğretir. Arama uzayı tanımı (hp.choice, hp.uniform, hp.loguniform, hp.quniform), amaç fonksiyonu (objective) yazımı ve loss döndürme işlenir. fmin ile TPE (Tree-structured Parzen Estimator) ve rand algoritmaları, Trials ile tek makine ve SparkTrials ile cluster üzerinde dağıtık paralel deneme ele alınır. MLflow autolog ile her denemenin izlenmesi, en iyi parametrenin seçimi, erken durdurma, nested run ve arama uzayı tasarım stratejileri uygulamalı gösterilir.
2 Gün. Her gün dört modül; Databricks notebook'ta Hyperopt arama uzayı ve SparkTrials lableri.
İleri Seviye — Hyperopt ile Bayesyen hiperparametre optimizasyonunu Databricks üzerinde SparkTrials ve MLflow ile ölçekli kapsar.
Bir ML modelinin hiperparametrelerini Hyperopt ve SparkTrials ile optimize edip MLflow'da izleyerek uygulanır.
Grid/random yerine TPE ile daha az denemede iyi parametreye yakınsarsınız.
SparkTrials ile denemeleri cluster'a yayıp arama süresini kısaltırsınız.
MLflow ile her denemenin metrik ve parametresini kayıt altına alırsınız.
Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri
scikit-learn ile model eğitimi deneyimi gerekir.
Notebook ve cluster kullanımına aşinalık beklenir.
Çapraz doğrulama ve metrik kavramlarına aşinalık faydalıdır.
Temel MLflow kaydı bilgisi faydalıdır.
Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.
Program sonunda katılımcılar:
hp.* ile etkili hiperparametre uzayları tasarlarsınız.
loss döndüren sağlam objective fonksiyonları yazarsınız.
fmin ve tpe.suggest ile Bayesyen arama çalıştırırsınız.
Denemeleri cluster'a dağıtıp arama süresini kısaltırsınız.
Her denemeyi nested run ile izler ve karşılaştırırsınız.
max_evals bütçesi ve uzay daraltmayı doğru yönetirsiniz.
Kayıp eğrisi ve parametre ilişkisini yorumlarsınız.
En iyi modeli Model Registry ile üretime taşırsınız.
Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.
Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.
ETL testine giriş: test stratejisi, STTM, source-to-target reconciliation, MINUS/EXCEPT karşılaştırma, veri kalitesi ve defect yönetimini öğrenin.
Detayları Gör →
ETL testini yalnızca SQL ile: reconciliation, MINUS/EXCEPT fark tespiti, checksum, dönüşüm doğrulama, veri kalitesi ve SCD Tip 2 testini uygulamalı öğrenin.
Detayları Gör →
Databricks Lakehouse ile finansal veri analizi: Delta Lake, PySpark getiri/volatilite/drawdown, zaman serisi, Unity Catalog ve dashboard öğrenin.
Detayları Gör →
Apache Airflow temelleri: mimari, scheduler/executor, DAG, operatörler, schedule_interval, catchup, Jinja şablon ve XCom'u uygulamalı öğrenin.
Detayları Gör →
Veri mühendisliği yaşam döngüsü: ingest (batch/stream/CDC), depolama, Parquet/Avro, boyutsal modelleme, ETL/ELT, orkestrasyon ve veri kalitesini öğrenin.
Detayları Gör →