Pekiştirmeli Öğrenme Eğitimi | Digital Vizyon Akademi

Eğitim Hakkında

Bu eğitim, sıralı karar problemlerini pekiştirmeli öğrenme (reinforcement learning) ile modellemek ve çözmek isteyen teknik ekipler için tasarlanmış ileri düzey bir programdır. Katılımcılar Markov karar süreçlerinden derin Q ağlarına, PPO ve SAC gibi aktör-kritik algoritmalara ve çevrimdışı öğrenmeye kadar yöntemleri Python ile ortam üzerinde uygular.

Neden Bu Eğitim?

Karar Odaklı Yapay Zeka. Tahminin ötesine geçip fiyatlama, envanter ve kontrol gibi sıralı karar problemlerini doğrudan optimize edin.

Teoriden Koda. Bellman denklemlerinden PPO'ya kadar her algoritmayı önce sezgisiyle kavrayın, sonra PyTorch ile kendiniz kodlayın.

Gerçek Dünyaya Uyarlama. Ödül tasarımı, simülasyondan gerçeğe aktarım ve çevrimdışı öğrenme ile laboratuvarı iş problemine taşıyın.

“İyi bir pekiştirmeli öğrenme sistemi doğru cevabı ezberlemez; her denemeden ders çıkararak zamanla daha iyi kararlar vermeyi öğrenir.”

Ön Koşullar

Python ve NumPy — Python ile nesne yönelimli kod yazabilmek, NumPy dizileriyle vektörel işlem yapabilmek.
Derin Öğrenme Temeli — PyTorch ile basit bir sinir ağı tanımlayıp gradyan inişiyle eğitmiş olmak.
Olasılık ve Matematik — Beklenen değer, koşullu olasılık, türev ve temel doğrusal cebir kavramlarına hakimiyet.
GPU Erişimli Ortam — Python 3, Jupyter ve paket kurulum yetkisi olan bilgisayar veya GPU'lu bulut not defteri.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiEtmen-ortam etkileşimini Markov karar süreci olarak modellemek, değer fonksiyonlarını ve Bellman denklemlerini kavramak ve tablo tabanlı algoritmaları kodlamak.

Modül 1

Pekiştirmeli Öğrenmeye Giriş

Etmen, ortam, durum, eylem ve ödül kavramları
Denetimli öğrenme ile pekiştirmeli öğrenmenin farkları
Keşif-sömürü ikilemi ve çok kollu haydut problemi
ε-greedy, UCB ve Thompson örnekleme stratejileri
Uygulama alanları: robotik, fiyatlama, enerji, öneri
Laboratuvar: Çok kollu haydut stratejilerini karşılaştırma

Modül 2

Markov Karar Süreçleri ve Bellman

Markov özelliği, geçiş olasılıkları ve indirim faktörü
Politika, durum değeri ve eylem değeri fonksiyonları
Bellman beklenti ve optimallik denklemleri
Sonlu ve sonsuz ufuklu görevler, bölüm yapısı
Gymnasium API: reset, step, gözlem ve eylem uzayları
Laboratuvar: FrozenLake ortamının MDP olarak incelenmesi

Modül 3

Dinamik Programlama ve Monte Carlo

Politika değerlendirme ve politika iyileştirme döngüsü
Değer iterasyonu ve politika iterasyonu algoritmaları
Model gerektirmeyen öğrenme: Monte Carlo yöntemleri
İlk ziyaret ve her ziyaret Monte Carlo tahmini
Önem örneklemesi ile politika dışı değerlendirme
Laboratuvar: Değer iterasyonunu NumPy ile kodlama

Modül 4

Zamansal Fark Öğrenmesi

TD(0) güncellemesi ve önyükleme (bootstrapping) fikri
SARSA ile politika üzerinde kontrol
Q-öğrenmesi ile politika dışı kontrol
n-adımlı dönüşler ve uygunluk izleri (eligibility traces)
Laboratuvar: CliffWalking'de SARSA ve Q-öğrenmesi
Günün değerlendirmesi ve derin değer yöntemlerine köprü

Günün hedefiFonksiyon yaklaşımıyla büyük ve sürekli durum uzaylarına ölçeklenmek, DQN ailesini sıfırdan kodlamak ve eğitim kararsızlığını teşhis edip gidermek.

Modül 1

Fonksiyon Yaklaşımı ve Derin RL

Tablo yöntemlerinin ölçeklenme sınırları
Doğrusal ve sinir ağı tabanlı değer yaklaşımı
Ölümcül üçlü: yaklaşım, önyükleme, politika dışılık
Gözlem ön işleme, kare yığma ve normalizasyon
Görüntü girdileri için evrişimli ağ gövdesi
Laboratuvar: CartPole için yarı gradyanlı Q-öğrenmesi

Modül 2

Derin Q Ağı (DQN) Mimarisi

Deneyim tekrarı (experience replay) arabelleği
Hedef ağ ve kararlı öğrenme hedefleri
Huber kaybı, gradyan kırpma ve öğrenme oranı
ε değerinin zamanla azaltılması ve keşif takvimi
Atari ortamları ve ALE ile görüntüden kontrol
Laboratuvar: PyTorch ile DQN'i sıfırdan kodlama

Modül 3

DQN İyileştirmeleri

Double DQN ile aşırı değer tahmininin azaltılması
Dueling mimari: durum değeri ve avantaj ayrımı
Öncelikli deneyim tekrarı (prioritized replay)
Dağılımsal RL ve Rainbow bileşenlerine genel bakış
Ayrık eylem uzayının sınırları ve çözüm yolları
Laboratuvar: DQN varyantlarının performans karşılaştırması

Modül 4

Deney Yönetimi ve Hata Ayıklama

Tohum, varyans ve çoklu çalıştırma ile güvenilir sonuç
TensorBoard ve Weights & Biases ile eğitim takibi
Ödül eğrisi, Q değeri ve kayıp sinyallerinin okunması
Stable-Baselines3 ve CleanRL referans uygulamaları
Laboratuvar: Bozuk bir DQN eğitiminin teşhisi
Günün özeti ve politika gradyanı gününe hazırlık

Günün hedefiPolitikayı doğrudan optimize eden yöntemleri kavramak, PPO ve SAC gibi güncel aktör-kritik algoritmaları uygulamak ve sürekli kontrol görevlerinde ayarlamak.

Modül 1

Politika Gradyanı Temelleri

Politika gradyanı teoremi ve log-olasılık hilesi
REINFORCE algoritması ve yüksek varyans problemi
Taban çizgisi (baseline) ile varyans azaltma
Ayrık ve sürekli politikalar: kategorik ve Gauss
Entropi düzenlileştirmesi ile keşfin korunması
Laboratuvar: REINFORCE'u PyTorch ile kodlama

Modül 2

Aktör-Kritik ve PPO

Aktör-kritik mimarisi ve avantaj fonksiyonu
Genelleştirilmiş avantaj tahmini (GAE)
A2C ile vektörize ortamlarda senkron eğitim
PPO kırpılmış amaç fonksiyonu ve güven bölgesi fikri
PPO hiperparametreleri ve uygulama detayları
Laboratuvar: PPO ile LunarLander görevinin çözümü

Modül 3

Sürekli Kontrol: DDPG, TD3 ve SAC

Deterministik politika gradyanı ve DDPG
TD3: ikiz kritik, gecikmeli güncelleme, hedef gürültü
SAC: maksimum entropi çerçevesi ve otomatik sıcaklık
MuJoCo tabanlı sürekli kontrol ortamları
Örnek verimliliği ve kararlılık açısından karşılaştırma
Laboratuvar: SAC ile robot kolu kontrol görevi

Modül 4

Ödül Tasarımı ve Özel Ortam Geliştirme

Ödül biçimlendirme (reward shaping) ve istenmeyen davranış
Seyrek ödüller ve hindsight experience replay
Gymnasium ile özel iş ortamı tanımlama
Optuna ile RL hiperparametre optimizasyonu
Laboratuvar: Envanter yönetimi için özel ortam ve PPO
Günün değerlendirmesi ve ileri konular gününe köprü

Günün hedefiModel tabanlı, çevrimdışı ve çoklu etmenli yaklaşımları değerlendirmek, güvenlik ve ölçekleme gereksinimlerini ele almak ve uçtan uca proje sunmak.

Modül 1

Model Tabanlı ve Çevrimdışı RL

Model tabanlı RL: Dyna yaklaşımı ve dünya modelleri
AlphaZero ve MuZero'da planlama ile öğrenmenin birleşimi
Çevrimdışı RL: kayıtlı veriden politika öğrenme
Dağılım kayması, CQL ve IQL algoritmaları
Minari veri setleri ve politika dışı değerlendirme
Laboratuvar: Kayıtlı veriyle çevrimdışı politika eğitimi

Modül 2

Çoklu Etmen ve Ölçeklenebilir Eğitim

Çoklu etmenli RL: işbirliği, rekabet ve durağan olmama
PettingZoo ortamları ve merkezi eğitim yaklaşımı
Ray RLlib ile dağıtık ve ölçeklenebilir eğitim
Simülasyondan gerçeğe aktarım ve alan rastgeleleştirme
Güvenli RL: kısıtlar, güvenlik kalkanları ve izleme
Demo: RLlib ile paralel ortamlarda PPO eğitimi

Modül 3

Dil Modelleri ve Karar Sistemlerinde RL

İnsan geri bildirimiyle pekiştirmeli öğrenme (RLHF)
Ödül modeli eğitimi ve PPO ile hizalama süreci
DPO ve GRPO gibi güncel tercih optimizasyonu yöntemleri
Hugging Face TRL kütüphanesine genel bakış
Vaka: Dinamik fiyatlama ve enerji yönetiminde RL
Üretimde RL: izleme, geri dönüş ve insan denetimi

Modül 4

Uçtan Uca Proje ve Kapanış

Grup projesi: problem, ortam, ödül, algoritma seçimi
Proje sunumları, eğitim eğrileri ve kod incelemesi
Kurumsal RL kullanım senaryoları için yol haritası
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

Problem Modelleme — İş problemlerini durum, eylem, ödül ve geçiş yapısıyla Markov karar süreci olarak formüle edebileceksiniz.
Algoritmik Temel — Bellman denklemleri, dinamik programlama ve zamansal fark öğrenmesinin mantığını açıklayıp kodlayabileceksiniz.
Derin Q Ağları — DQN ve Double, Dueling, öncelikli tekrar gibi iyileştirmelerini PyTorch ile sıfırdan uygulayabileceksiniz.
Aktör-Kritik Ustalığı — PPO, SAC ve TD3 algoritmalarını sürekli ve ayrık kontrol görevlerinde eğitip ayarlayabileceksiniz.
Özel Ortam Tasarımı — Gymnasium ile kendi iş simülasyonunuzu kurup etkili ve istismara dayanıklı ödül fonksiyonları tasarlayacaksınız.
Deney Disiplini — Çoklu tohum, eğitim eğrisi analizi ve izleme araçlarıyla RL deneylerini güvenilir biçimde yürütebileceksiniz.
Çevrimdışı Öğrenme — Kayıtlı operasyon verisinden CQL ve IQL gibi yöntemlerle güvenli biçimde politika öğrenebileceksiniz.
Üretime Taşıma — Ölçekleme, güvenlik kısıtları ve insan denetimini gözeten gerçekçi bir RL uygulama planı hazırlayacaksınız.

Kimler İçin Uygundur?

Makine öğrenmesi mühendisleri
veri bilimciler
robotik ve otonom sistem geliştiricileri
yöneylem araştırması uzmanları ile optimizasyon ve simülasyon ekipleri.

Sıkça Sorulan Sorular

Pekiştirmeli Öğrenme Eğitimi kimler için uygundur?

Program; makine öğrenmesi mühendisleri, veri bilimciler, robotik ve otonom sistem geliştiricileri, yöneylem araştırması uzmanları ile fiyatlama, envanter veya kontrol problemlerinde optimizasyon yapan teknik ekipler için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 4 tam gün ve 16 modülden oluşur. Sırasıyla temel kavramlar ve tablo yöntemleri, derin değer tabanlı yöntemler, politika gradyanı ve aktör-kritik algoritmalar, ileri konular ile uçtan uca proje işlenir.

Katılım için hangi ön bilgiler gerekiyor?

Python ve NumPy ile rahat kod yazabilmek, PyTorch ile basit bir sinir ağı eğitmiş olmak ve olasılık, türev ile doğrusal cebir temellerine hakim olmak beklenir. GPU erişimli bir not defteri ortamı önerilir.

Eğitimde hangi kütüphane ve ortamlar kullanılıyor?

Laboratuvarlarda Gymnasium, PyTorch, Stable-Baselines3, CleanRL, MuJoCo tabanlı ortamlar, Minari, PettingZoo, Ray RLlib, Optuna ve TensorBoard kullanılır; dil modeli hizalaması için Hugging Face TRL tanıtılır.

Uygulamalar kurumun kendi problemine uyarlanabilir mi, sertifika veriliyor mu?

Evet. Kapalı kurum gruplarında proje çalışması envanter, fiyatlama veya kaynak planlama gibi kuruma özgü bir karar problemine göre kurgulanabilir. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PEKİŞTİRMELİ ÖĞRENME EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Pekiştirmeli Öğrenmeye Giriş

Markov Karar Süreçleri ve Bellman

Dinamik Programlama ve Monte Carlo

Zamansal Fark Öğrenmesi

Fonksiyon Yaklaşımı ve Derin RL

Derin Q Ağı (DQN) Mimarisi

DQN İyileştirmeleri

Deney Yönetimi ve Hata Ayıklama

Politika Gradyanı Temelleri

Aktör-Kritik ve PPO

Sürekli Kontrol: DDPG, TD3 ve SAC

Ödül Tasarımı ve Özel Ortam Geliştirme

Model Tabanlı ve Çevrimdışı RL

Çoklu Etmen ve Ölçeklenebilir Eğitim

Dil Modelleri ve Karar Sistemlerinde RL

Uçtan Uca Proje ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi