İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme (RLHF)

Eğitim Hakkında

Bu eğitim, büyük dil modellerini insan tercihleri ve doğrulanabilir ödüllerle hizalamak için kullanılan insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) ve ilgili yöntemleri derinlemesine ele alan ileri düzey bir programdır. Katılımcılar tercih verisi toplama, ödül modeli eğitimi, PPO, DPO ve GRPO uygulamalarını TRL ile yürütür ve ödül istismarı gibi riskleri analiz eder.

Neden Bu Eğitim?

Matematikten Koda. Politika gradyanı, Bradley-Terry modeli ve DPO türetmesini adım adım kurup doğrudan çalışan koda dönüştürün.

Yöntemleri Kıyaslayın. PPO, DPO, KTO ve GRPO'yu aynı model ve veriyle deneyerek maliyet, kararlılık ve başarım farklarını görün.

Başarısızlık Modları. Ödül istismarı, uzunluk yanlılığı ve yağcılık gibi hizalama sorunlarını teşhis edip azaltmayı öğrenin.

“Bir modeli güçlü kılan ön eğitimdir; onu güvenilir ve yararlı kılan ise insan değerleriyle dikkatle kurulmuş hizalama sürecidir.”

Ön Koşullar

Dil Modeli Deneyimi — Hugging Face Transformers ile bir dil modelini yüklemiş ve ince ayar yapmış olmak.
PyTorch Bilgisi — PyTorch ile özel kayıp fonksiyonu yazma, eğitim döngüsü ve GPU bellek yönetimi deneyimi.
Olasılık ve Optimizasyon — Log-olabilirlik, KL ıraksaması, beklenen değer ve gradyan tabanlı optimizasyon bilgisi.
GPU Ortamı — Eğitimde sağlanan GPU'lu bulut ortamına SSH erişimi ve Linux komut satırı bilgisi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiPekiştirmeli öğrenme kavramlarını ve politika gradyanı yöntemlerini matematiksel olarak kavramak, PPO'yu anlamak ve dil üretimini bir karar problemi olarak modellemek.

Modül 1

Hizalama Problemi ve RLHF'nin Yeri

Ön eğitimli modelin yardımcı asistana dönüşüm süreci
Yardımseverlik, dürüstlük ve zararsızlık hedefleri
InstructGPT hattı: SFT, ödül modeli ve PPO
Denetimli ince ayarın tek başına yetersiz kaldığı noktalar
Açık modellerin sonradan eğitim raporlarından örnekler
Tartışma: Hangi davranışlar tercih verisiyle öğretilir?

Modül 2

Pekiştirmeli Öğrenmenin Temelleri

Markov karar süreci: durum, eylem, ödül ve getiri
Politika, değer fonksiyonu ve avantaj kavramları
Keşif ve sömürü dengesi ile iskonto faktörü
Model tabanlı ve modelden bağımsız yöntemler
Gymnasium ortamlarıyla temel ajan döngüsü
Laboratuvar: Basit ortamda politika değerlendirmesi

Modül 3

Politika Gradyanı ve PPO

REINFORCE türetmesi ve yüksek varyans sorunu
Temel çizgi (baseline) ve genelleştirilmiş avantaj kestirimi
Güven bölgesi fikri ve PPO kırpma amacı
Değer başı (critic) eğitimi ve entropi düzenlemesi
PPO hiperparametrelerinin kararlılığa etkisi
Laboratuvar: PyTorch ile sıfırdan PPO uygulaması

Modül 4

Dil Üretimini Politika Olarak Modellemek

Belirteç düzeyinde eylem, dizi düzeyinde ödül yapısı
Referans modele KL cezası ve dağılım kayması
Ödülün belirteçlere dağıtılması ve kredi atama
Basit ödülle küçük dil modeli üzerinde RL denemesi
Laboratuvar: Duygu sınıflandırıcı ödülüyle metin üretimi
Günün değerlendirmesi ve ödül modelleme gününe köprü

Günün hedefiKaliteli tercih verisi toplama süreçleri tasarlamak, Bradley-Terry temelli ödül modelleri eğitmek, değerlendirmek ve aşırı optimizasyon risklerini analiz etmek.

Modül 1

Tercih Verisi Toplama Tasarımı

İkili karşılaştırma, sıralama ve puanlama formatları
İstem havuzu çeşitliliği ve görev dağılımı tasarımı
Etiketleyici yönergeleri ve zor durum örnekleri
Argilla ve Label Studio ile tercih etiketleme akışı
UltraFeedback ve HelpSteer gibi açık tercih veri setleri
Atölye: Kurumsal asistan için etiketleme yönergesi

Modül 2

Etiketleme Kalitesi ve Veri Analizi

Etiketleyiciler arası uyum ve anlaşmazlık analizi
Gürültülü tercihler, beraberlik ve güven puanları
Etiketleyici demografisi ve değer yanlılığı
Tercih verisinde uzunluk ve üslup yanlılığı tespiti
Veri miktarı ile ödül modeli başarımı ilişkisi
Laboratuvar: Açık tercih veri setinin kalite analizi

Modül 3

Ödül Modeli Eğitimi

Bradley-Terry modeli ve ikili tercih kayıp fonksiyonu
SFT modelinden skaler çıktı başlı ödül modeli kurma
TRL RewardTrainer ile ödül modeli eğitimi
Tercih doğruluğu ve RewardBench ile değerlendirme
Süreç ve sonuç ödül modelleri arasındaki fark
Laboratuvar: Küçük modelle ödül modeli eğitimi

Modül 4

Ödül İstismarı ve Aşırı Optimizasyon

Goodhart yasası ve ödül modeli aşırı optimizasyonu
Ödül istismarı örnekleri: uzunluk, biçim ve yağcılık
Ödül modeli toplulukları ve belirsizlik cezası
Ödül normalizasyonu ve uzunluk düzeltmesi
Altın ödül ile vekil ödül karşılaştırma deneyleri
Günün özeti ve politika optimizasyonu gününe hazırlık

Günün hedefiDil modellerinde PPO tabanlı RLHF hattını kurmak, DPO ve türevlerini türetip uygulamak ve çevrim içi ile çevrim dışı yöntemleri maliyet ve başarım açısından kıyaslamak.

Modül 1

PPO ile Uçtan Uca RLHF

Aktör, eleştirmen, referans ve ödül modellerinin rolü
Üretim, skorlama ve güncelleme adımlarının akışı
KL katsayısı, uyarlanabilir KL ve kırpma ayarları
Bellek yükü: LoRA ve model paylaşımıyla azaltma
Eğitim takibi: ödül, KL, entropi ve yanıt uzunluğu
Laboratuvar: TRL ile küçük modelde PPO tabanlı RLHF

Modül 2

Ölçekte RLHF Altyapısı

Üretim darboğazı ve vLLM ile hızlandırılmış örnekleme
OpenRLHF ve veRL gibi dağıtık RLHF çatıları
Aktör ve üretim motorunun GPU'lara yerleştirilmesi
Asenkron ve çevrim dışı politika güncellemeleri
Maliyet analizi: GPU saat ve örnek verimliliği
Uygulama: Kurum için RLHF altyapı mimarisi çizimi

Modül 3

Doğrudan Tercih Optimizasyonu (DPO)

KL kısıtlı ödül maksimizasyonundan DPO türetmesi
Örtük ödül ve beta parametresinin yorumu
IPO, KTO, ORPO ve SimPO türevlerinin farkları
DPO'da aşırı öğrenme ve olabilirlik düşüşü sorunu
TRL DPOTrainer ile uygulama ve hiperparametreler
Laboratuvar: UltraFeedback ile DPO eğitimi

Modül 4

Çevrim İçi Tercih Öğrenimi ve Kıyas

Çevrim dışı ve çevrim içi tercih verisinin farkı
Yinelemeli DPO ve kendi kendine oyun yaklaşımları
Hakem olarak LLM ile çevrim içi tercih etiketleme
PPO ve DPO sonuçlarının aynı değerlendirmeyle kıyası
Yöntem seçimi karar ağacı: veri, bütçe ve hedef
Günün değerlendirmesi ve güncel yönelimler gününe köprü

Günün hedefiYapay zeka geri bildirimi ve doğrulanabilir ödüllerle ölçeklenen hizalama yöntemlerini uygulamak, modeli güvenlik açısından değerlendirmek ve deney projesini sunmak.

Modül 1

YZ Geri Bildirimi ve Anayasal YZ

YZ geri bildirimiyle pekiştirmeli öğrenme (RLAIF)
Anayasal YZ (Constitutional AI): ilkeler ve öz eleştiri
Sentetik tercih verisi üretimi ve kalite kontrolü
Hakem modelin yanlılıkları: konum, uzunluk, öz tercih
İnsan ve YZ geri bildirimini birleştiren hibrit hatlar
Uygulama: Kurumsal ilke seti ile sentetik tercih üretimi

Modül 2

Doğrulanabilir Ödüller ve GRPO

Doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR)
GRPO: eleştirmensiz grup göreli avantaj kestirimi
Matematik ve kod görevlerinde kural tabanlı ödüller
Uzun düşünce zinciri ve akıl yürütme davranışlarının ortaya çıkışı
Biçim ödülleri, ödül istismarı ve eğitim kararlılığı
Laboratuvar: TRL GRPOTrainer ile GSM8K üzerinde eğitim

Modül 3

Değerlendirme ve Güvenlik

AlpacaEval, MT-Bench ve arena tarzı insan değerlendirmesi
Yağcılık, spesifikasyon oyunları ve aldatıcı uyum riskleri
Güvenlik değerlendirmesi ve kırmızı takım testleri
Hizalama sonrası yetenek kaybının ölçülmesi
Model kartında hizalama sürecinin raporlanması
Laboratuvar: Hizalanmış modellerin karşılaştırmalı analizi

Modül 4

Hizalama Deney Projesi ve Kapanış

Grup projesi: veri, yöntem seçimi ve ablasyon planı
Deney sonuçlarının sunumu ve teknik tartışma
Kurumsal hizalama hattı için yol haritası
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
Temel makale listesi, kaynaklar ve kapanış

Eğitim Kazanımları

RL Temelleri — Politika gradyanı, avantaj kestirimi ve PPO'yu türetip dil modeli politikalarına uyarlayabileceksiniz.
Tercih Verisi — Etiketleme yönergeleri, uyum analizi ve yanlılık kontrolleriyle kaliteli tercih veri setleri tasarlayabileceksiniz.
Ödül Modelleme — Bradley-Terry temelli ödül modelleri eğitip RewardBench ve tercih doğruluğuyla değerlendirebileceksiniz.
PPO ile RLHF — Aktör, eleştirmen, referans ve ödül modelleriyle uçtan uca PPO tabanlı RLHF hattı kurup izleyebileceksiniz.
Doğrudan Tercih — DPO, KTO ve SimPO gibi yöntemleri uygulayıp PPO ile maliyet ve başarım açısından karşılaştırabileceksiniz.
GRPO ve RLVR — Doğrulanabilir ödüller ve GRPO ile matematik ve kod görevlerinde akıl yürütme becerisini güçlendirebileceksiniz.
Hizalama Riskleri — Ödül istismarı, uzunluk yanlılığı ve yağcılık gibi sorunları teşhis edip azaltıcı önlemler uygulayabileceksiniz.
Deney Projesi — Yöntem seçimi, ablasyon ve güvenlik değerlendirmesi içeren kapsamlı bir hizalama deneyi tasarlayıp yürüteceksiniz.

Kimler İçin Uygundur?

Dil modeli mühendisleri
makine öğrenmesi araştırmacıları
hizalama ve yapay zeka güvenliği araştırmacıları ile kurum içi modelleri ince ayarlayan Ar-Ge ekipleri.

Sıkça Sorulan Sorular

İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme Eğitimi kimler için uygundur?

Program; dil modeli mühendisleri, makine öğrenmesi araştırmacıları, hizalama ve yapay zeka güvenliği araştırmacıları ile kurum içi dil modellerini ince ayarlayan Ar-Ge ekipleri için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 4 tam gün ve 16 modülden oluşur. Pekiştirmeli öğrenme temelleri, tercih verisi ve ödül modelleme, PPO ve DPO ile politika optimizasyonu, RLAIF, GRPO ve güvenlik değerlendirmesi günleri işlenir; son gün deney projesi sunulur.

Katılım için hangi ön bilgiler gerekiyor?

Hugging Face Transformers ile ince ayar deneyimi, PyTorch ile özel kayıp fonksiyonu yazabilme, log-olabilirlik ve KL ıraksaması gibi olasılık kavramları ile Linux bilgisi beklenir. GPU ortamı eğitim kapsamında sağlanır.

PPO mu DPO mu kullanmalıyım?

Yanıt veri, bütçe ve hedefe bağlıdır. DPO çevrim dışı tercih verisiyle daha basit ve ucuzdur; PPO ve GRPO gibi çevrim içi yöntemler ödül sinyali güçlü olduğunda daha esnektir. Eğitimde yöntemler aynı model ve veriyle karşılaştırılarak bir seçim çerçevesi oluşturulur.

Hangi araç ve veri setleri kullanılıyor, sertifika veriliyor mu?

PyTorch, Hugging Face TRL, PEFT, vLLM ve Argilla kullanılır; OpenRLHF ve veRL mimarileri incelenir. UltraFeedback ve GSM8K gibi açık veri setleri işlenir. Programı tamamlayanlar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

İNSAN GERİ BİLDİRİMİYLE PEKİŞTİRMELİ ÖĞRENME EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Hizalama Problemi ve RLHF'nin Yeri

Pekiştirmeli Öğrenmenin Temelleri

Politika Gradyanı ve PPO

Dil Üretimini Politika Olarak Modellemek

Tercih Verisi Toplama Tasarımı

Etiketleme Kalitesi ve Veri Analizi

Ödül Modeli Eğitimi

Ödül İstismarı ve Aşırı Optimizasyon

PPO ile Uçtan Uca RLHF

Ölçekte RLHF Altyapısı

Doğrudan Tercih Optimizasyonu (DPO)

Çevrim İçi Tercih Öğrenimi ve Kıyas

YZ Geri Bildirimi ve Anayasal YZ

Doğrulanabilir Ödüller ve GRPO

Değerlendirme ve Güvenlik

Hizalama Deney Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi