Model İzleme ve Sapma Tespiti Eğitimi

Eğitim Hakkında

Bu eğitim, canlıdaki makine öğrenmesi ve dil modeli sistemlerinin performans kaybını erken fark etmek, nedenini bulmak ve doğru müdahaleyi planlamak isteyen ekipler için hazırlanmış ileri düzey bir programdır. Katılımcılar istatistiksel sapma testlerini, etiketsiz performans tahminini, akış tabanlı tespit yöntemlerini ve üretim izleme mimarisini Python ile uygular.

Neden Bu Eğitim?

Sessiz Hataları Yakalayın. Hata vermeden yanlış tahmin üreten modelleri, iş sonuçları bozulmadan önce istatistiksel sinyallerle tespit edin.

Etiket Beklemeden Ölçün. Gerçek sonuçların haftalar sonra geldiği durumlarda bile performansı tahmin eden yöntemlerle kör noktaları kapatın.

Anlamlı Uyarılar. Her küçük dalgalanmada alarm üreten panolar yerine iş etkisine göre önceliklendirilen, aksiyon odaklı uyarılar tasarlayın.

“Canlıya alınan her model bir başlangıçtır; onu değerli kılan, değişen dünyayı sürekli ölçen ve zamanında müdahale eden ekiptir.”

Ön Koşullar

Model Geliştirme — scikit-learn veya gradyan artırma kütüphaneleriyle model eğitmiş ve değerlendirmiş olmak.
İstatistik Temelleri — Dağılım, hipotez testi, p-değeri ve güven aralığı kavramlarına hakim olmak.
MLOps Aşinalığı — Model servisleme, model kaydı veya boru hattı kavramlarını temel düzeyde bilmek.
Çalışma Ortamı — Python 3, Jupyter ve Docker kurulabilen, en az 16 GB belleğe sahip bir bilgisayar.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiÜretimde modellerin neden ve nasıl bozulduğunu kavramak, sapma türlerini ayırt etmek ve tek değişkenli istatistiksel testlerle veri ve tahmin kaymasını ölçmek.

Modül 1

Üretimde Model Bozulması ve İzleme Stratejisi

Sessiz model hataları ve iş etkisi örnekleri
İzleme katmanları: altyapı, veri, model, iş metriği
Etiket gecikmesi ve geri bildirim döngüsü sorunları
Referans pencere ve analiz penceresi seçimi
Model risk seviyesine göre izleme sıklığı
Vaka: Kampanya sonrası bozulan talep tahmin modeli

Modül 2

Sapma Türleri ve Kaynakları

Kovaryat kayması, önsel olasılık kayması ve kavram kayması
Ani, kademeli, artımlı ve tekrarlayan sapma desenleri
Kaynak sistem değişikliği kaynaklı yapay sapmalar
Mevsimsellik ile gerçek sapmanın ayrıştırılması
Geri besleme döngüsü: modelin kendi verisini etkilemesi
Atölye: Sapma senaryolarının türlerine göre sınıflanması

Modül 3

Tek Değişkenli Sapma İstatistikleri

Kolmogorov-Smirnov ve ki-kare testleri
Popülasyon kararlılık indeksi (PSI) ve eşik seçimi
Jensen-Shannon mesafesi ve Wasserstein mesafesi
Büyük örneklemde p-değeri yanılgısı ve etki büyüklüğü
Kategorik, sayısal ve metin özellikler için test seçimi
Laboratuvar: SciPy ile sapma testlerinin karşılaştırılması

Modül 4

Evidently ile Sapma Raporları

Evidently rapor ve test takımı yapısı
Veri sapması, hedef sapması ve tahmin sapması ön ayarları
Özellik bazında test ve eşik özelleştirme
Raporların boru hattında otomatik üretilmesi
Laboratuvar: Simüle kayma üzerinde sapma raporu
Günün değerlendirmesi ve ileri teknikler gününe köprü

Günün hedefiÇok değişkenli sapmayı yakalamak, etiketler gelmeden model performansını tahmin etmek, akış verisinde değişimi anlık fark etmek ve segment düzeyinde bozulmayı analiz etmek.

Modül 1

Çok Değişkenli Sapma ve Performans Tahmini

Tek değişkenli testlerin kaçırdığı ilişki değişimleri
Alan sınıflandırıcısı ile referans-güncel veri ayrımı
PCA yeniden yapılandırma hatasıyla sapma tespiti
NannyML ile güven tabanlı performans tahmini (CBPE)
Regresyonda doğrudan kayıp tahmini (DLE) yaklaşımı
Laboratuvar: Etiketsiz dönemde performans tahmini

Modül 2

Akış Verisinde Sapma Tespiti

Toplu ve çevrim içi sapma tespitinin farkları
DDM ve EDDM ile hata oranı tabanlı tespit
ADWIN uyarlanabilir pencere algoritması
Page-Hinkley testi ve değişim noktası tespiti
River kütüphanesi ile çevrim içi öğrenme ve tespit
Laboratuvar: Olay akışında ani kaymanın yakalanması

Modül 3

Veri Kalitesi ve Özellik İzleme

Şema, eksik değer, aralık ve kardinalite kontrolleri
whylogs ile hafif veri profilleri çıkarma
Eğitim-sunum sapmasının canlıda tespiti
Yukarı akış veri hattı değişikliklerinin izlenmesi
Gömme (embedding) vektörlerinde dağılım kayması
Uygulama: Özellik bazlı kalite ve sapma panosu

Modül 4

Segment, Adillik ve Açıklama Kayması

Genel metriğin gizlediği segment düzeyi bozulmalar
Dilim (slice) keşfi ile sorunlu alt grupların bulunması
Alt gruplarda adillik metriklerinin zamanla izlenmesi
SHAP değerleriyle özellik katkısı kaymasının analizi
Kalibrasyon kayması ve eşik kararlarına etkisi
Laboratuvar: Bölge bazlı performans düşüşü analizi

Günün hedefiÖlçeklenebilir izleme mimarisi ve uyarı politikası tasarlamak, kök neden analizi ile müdahale planlamak, LLM ve RAG sistemlerini izlemek ve uçtan uca projeyi sunmak.

Modül 1

İzleme Mimarisi ve Uyarı Tasarımı

Tahmin ve özellik loglama: şema, örnekleme, saklama
Toplu analiz ile gerçek zamanlı izleme mimarileri
Prometheus metrikleri ve Grafana panoları
Uyarı yorgunluğu, eşik ayarı ve önem seviyeleri
Müdahale kılavuzları (runbook) ve nöbet süreçleri
Laboratuvar: Sapma metriklerinin Grafana'ya aktarımı

Modül 2

Kök Neden Analizi ve Müdahale

Sapma alarmından iş etkisi değerlendirmesine
Veri hatası mı gerçek değişim mi? Teşhis akışı
Yeniden eğitim stratejileri: periyodik, tetiklemeli
Pencere seçimi, örnek ağırlıklandırma ve unutma
Geri alma, şampiyon-rakip ve gölge dağıtım
Tatbikat: Canlı model olayına ekip müdahalesi

Modül 3

LLM ve RAG Uygulamalarının İzlenmesi

LLM izlemede kalite, güvenlik, maliyet ve gecikme
OpenTelemetry ile iz sürme ve oturum analizi
Arize Phoenix ve Langfuse ile değerlendirme akışı
Bağlama dayanaklılık, alaka ve halüsinasyon ölçümü
Sorgu dağılımı ve konu kaymasının gömmelerle takibi
Laboratuvar: RAG asistanı için kalite izleme panosu

Modül 4

Uçtan Uca İzleme Projesi ve Kapanış

Grup projesi: izleme planı, pano, uyarı ve müdahale
EU AI Act piyasa sonrası izleme ve kayıt beklentileri
Proje sunumları ve olay senaryosu değerlendirmesi
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış

Eğitim Kazanımları

İzleme Stratejisi — Model riskine ve etiket gecikmesine uygun katmanlı bir izleme stratejisi ve metrik seti belirleyebileceksiniz.
Sapma Türleri — Kovaryat, önsel olasılık ve kavram kaymasını ayırt ederek her biri için doğru tespit yöntemini seçebileceksiniz.
İstatistiksel Testler — PSI, KS, Jensen-Shannon ve Wasserstein ölçütlerini etki büyüklüğüyle birlikte doğru yorumlayabileceksiniz.
Etiketsiz Performans — NannyML yöntemleriyle gerçek etiketler gelmeden model performansındaki düşüşü tahmin edebileceksiniz.
Akış Tespiti — ADWIN, DDM ve Page-Hinkley gibi algoritmalarla akış verisinde değişimi gerçek zamanlı yakalayabileceksiniz.
Segment Analizi — Dilim keşfi, adillik metrikleri ve SHAP kaymasıyla genel metriğin gizlediği bozulmaları ortaya çıkarabileceksiniz.
Uyarı ve Müdahale — Prometheus ve Grafana ile aksiyon odaklı uyarılar kurup yeniden eğitim ve geri alma kararları verebileceksiniz.
LLM İzleme — Phoenix ve Langfuse ile RAG ve LLM uygulamalarında kalite, halüsinasyon ve maliyeti sürekli izleyeceksiniz.

Kimler İçin Uygundur?

Makine öğrenmesi mühendisleri
veri bilimciler
MLOps ve platform mühendisleri
model risk ve doğrulama ekipleri ile canlı modellerden sorumlu analitik ekip liderleri.

Sıkça Sorulan Sorular

Model İzleme ve Sapma Tespiti Eğitimi kimler için uygundur?

Program; makine öğrenmesi mühendisleri, veri bilimciler, MLOps ve platform mühendisleri, model risk ve doğrulama ekipleri ile canlıdaki modellerden sorumlu analitik ekip liderleri için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl ilerler?

Eğitim 3 tam gün ve 12 modülden oluşur. İlk gün izleme stratejisi ve sapma istatistikleri, ikinci gün çok değişkenli ve akış tabanlı tespit ile performans tahmini, üçüncü gün izleme mimarisi, müdahale ve LLM izleme işlenir.

Katılım için hangi bilgiler gerekiyor?

Model geliştirme ve değerlendirme deneyimi, hipotez testi ve dağılım kavramlarını içeren istatistik bilgisi ve temel MLOps aşinalığı beklenir. Laboratuvarlar Python ve Docker ile yürütülür.

Etiketler geç geldiğinde model performansı nasıl izlenir?

Eğitimde girdi ve tahmin dağılımı izlemenin yanında NannyML'in güven tabanlı performans tahmini (CBPE) ve doğrudan kayıp tahmini (DLE) yöntemleri uygulanır; böylece etiket gelmeden olası performans düşüşü tahmin edilebilir.

Hangi araçlar kullanılıyor, sertifika veriliyor mu?

Evidently, NannyML, whylogs, River, SciPy, SHAP, Prometheus, Grafana, Arize Phoenix ve Langfuse kullanılır. Programı başarıyla tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

MODEL İZLEME VE SAPMA TESPİTİ EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Üretimde Model Bozulması ve İzleme Stratejisi

Sapma Türleri ve Kaynakları

Tek Değişkenli Sapma İstatistikleri

Evidently ile Sapma Raporları

Çok Değişkenli Sapma ve Performans Tahmini

Akış Verisinde Sapma Tespiti

Veri Kalitesi ve Özellik İzleme

Segment, Adillik ve Açıklama Kayması

İzleme Mimarisi ve Uyarı Tasarımı

Kök Neden Analizi ve Müdahale

LLM ve RAG Uygulamalarının İzlenmesi

Uçtan Uca İzleme Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi