Büyük Dil Modelleri: Mimari ve Eğitim Süreçleri

Eğitim Hakkında

Bu eğitim, büyük dil modellerinin mimarisini, ön eğitim verisi hazırlığını, dağıtık eğitim tekniklerini, sonradan eğitim ve verimli çıkarım süreçlerini derinlemesine ele alan ileri düzey ve laboratuvar ağırlıklı bir programdır. Katılımcılar PyTorch ile sıfırdan küçük bir dil modeli yazar, çok GPU'lu eğitim yapar, LoRA ile ince ayar ve değerlendirme süreçlerini uygular.

Neden Bu Eğitim?

Kara Kutuyu Açın. Dikkat mekanizmasından RoPE ve SwiGLU'ya kadar modern modellerin her bileşenini kod satırı düzeyinde anlayın.

Ölçekte Eğitim. FSDP, tensör ve boru hattı paralelliği ile karışık hassasiyetin gerçek eğitim maliyetine etkisini deneyimleyin.

Uçtan Uca Hat. Veri temizlemeden ön eğitime, ince ayardan nicemlemeye ve vLLM ile servislemeye tüm yaşam döngüsünü kurun.

“Bir dil modelini gerçekten anlamanın yolu, onu bir kez de olsa belirteçten servislemeye kadar kendi ellerinizle inşa etmekten geçer.”

Ön Koşullar

PyTorch Deneyimi — PyTorch ile özel model tanımlama, eğitim döngüsü yazma ve GPU üzerinde çalıştırma deneyimi.
Matematik Temeli — Doğrusal cebir, olasılık ve gradyan tabanlı optimizasyon kavramlarına hâkim olmak.
NLP Temelleri — Belirteçleme, kelime gömmeleri ve dil modelleme kavramlarına aşinalık.
GPU ve Linux — Linux komut satırı bilgisi ve eğitimde sağlanan çok GPU'lu bulut ortamına SSH erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiBelirteçlemeden çıktı katmanına kadar yalnızca kod çözücülü dönüştürücü mimarisinin tüm bileşenlerini matematiksel olarak kavramak ve PyTorch ile sıfırdan uygulamak.

Modül 1

Dil Modellemesi ve Belirteçleme

Otoregresif dil modellemesi ve sonraki belirteç tahmini
BPE, WordPiece ve Unigram belirteçleme algoritmaları
SentencePiece ve tiktoken ile belirteçleyici eğitimi
Türkçe gibi eklemeli dillerde belirteç verimliliği
Kelime dağarcığı boyutunun maliyet ve başarıma etkisi
Laboratuvar: Türkçe metin için BPE belirteçleyici eğitimi

Modül 2

Öz Dikkat Mekanizması

Sorgu, anahtar ve değer projeksiyonlarının sezgisi
Ölçekli nokta çarpım dikkati ve nedensel maske
Çok başlı dikkat ve başların uzmanlaşması
Dikkatin hesaplama ve bellek karmaşıklığı
Dikkat haritalarının yorumlanması ve sınırları
Laboratuvar: Çok başlı nedensel dikkatin sıfırdan kodu

Modül 3

Konum Bilgisi, Normalizasyon ve FFN

Sinüzoidal, öğrenilen ve göreli konum kodlamaları
Döner konum gömmesi (RoPE) ve ALiBi yaklaşımları
Pre-LN ve RMSNorm ile eğitim kararlılığı
SwiGLU aktivasyonlu ileri beslemeli katmanlar
Artık bağlantılar ve ağırlık başlatma stratejileri
Uygulama: GPT-2 ile modern Llama blok yapısının kıyası

Modül 4

Sıfırdan Küçük GPT Modeli

Tam model: gömme, bloklar, çıktı başı ve ağırlık paylaşımı
Çapraz entropi kaybı, şaşkınlık (perplexity) ölçütü
Açgözlü, sıcaklık, top-k ve top-p örnekleme
Eğitim döngüsü, öğrenme oranı ısınması ve kırpma
Laboratuvar: Türkçe derlem üzerinde mini GPT eğitimi
Günün değerlendirmesi ve mimari varyasyonlara köprü

Günün hedefiVerimli dikkat, uzun bağlam ve uzman karışımı mimarilerini incelemek, ölçekleme yasalarıyla hesaplama bütçesi planlamak ve yüksek kaliteli ön eğitim verisi hazırlamak.

Modül 1

Verimli Dikkat ve Uzun Bağlam

Çok sorgulu (MQA) ve gruplanmış sorgu dikkati (GQA)
FlashAttention ile belleğe duyarlı dikkat hesaplaması
Kayan pencere ve seyrek dikkat yaklaşımları
RoPE ölçekleme ve YaRN ile bağlam penceresini genişletme
Uzun bağlamda bilgi erişimi ve samanlıkta iğne testleri
Laboratuvar: GQA ve FlashAttention hız ve bellek ölçümü

Modül 2

Uzman Karışımı ve Alternatif Mimariler

Uzman karışımı (MoE): yönlendirici ve seyrek aktivasyon
Yük dengeleme kayıpları ve uzman kapasitesi
Mixtral ve DeepSeek MoE tasarımlarının incelenmesi
Durum uzayı modelleri: Mamba ve hibrit mimariler
Görüntü kodlayıcılarla çok kipli dil modellerine geçiş
Laboratuvar: Mini GPT'ye basit MoE katmanı ekleme

Modül 3

Ölçekleme Yasaları ve Hesaplama Bütçesi

Kaplan ve Chinchilla ölçekleme yasalarının bulguları
Parametre, veri ve hesaplama arasındaki optimum denge
Çıkarım maliyetini gözeten aşırı eğitim stratejisi
FLOPs hesabı ve GPU saat bütçelemesi
Küçük ölçekli deneylerden büyük modele tahmin yapma
Uygulama: Kurum içi model için hesaplama bütçesi planı

Modül 4

Ön Eğitim Verisi Hazırlığı

Common Crawl tabanlı derlemler ve FineWeb yaklaşımı
MinHash ile yakın kopya ayıklama ve tekilleştirme
Sınıflandırıcı tabanlı kalite filtreleme
Kod, kitap, akademik ve çok dilli veri karışımları
Kişisel veri temizleme, telif ve test seti kirlenmesi
Laboratuvar: Türkçe web verisinde temizleme hattı

Günün hedefiBüyük ölçekli eğitimde optimizasyon ve kararlılık tekniklerini uygulamak, veri, tensör ve boru hattı paralelliğini kurgulamak ve eğitim altyapısını verimli işletmek.

Modül 1

Büyük Ölçekte Optimizasyon

AdamW, ağırlık azaltma ve optimizer durum belleği
Isınma, kosinüs ve WSD öğrenme oranı çizelgeleri
Karışık hassasiyet: bfloat16 ve FP8 eğitimi
Gradyan biriktirme ve aktivasyon yeniden hesaplama
Kayıp sıçramaları, sapma tespiti ve kurtarma
Laboratuvar: Hassasiyet ve bellek tekniklerinin kıyası

Modül 2

Veri Paralelliği ve FSDP

PyTorch DDP ve tüm-toplama (all-reduce) iletişimi
ZeRO aşamaları ve DeepSpeed ile durum parçalama
PyTorch FSDP2 ile tam parçalı veri paralelliği
Kontrol noktası kaydetme ve kaldığı yerden devam
İletişim darboğazları ve NCCL performans ayarı
Laboratuvar: Çok GPU'da FSDP ile model eğitimi

Modül 3

Model Paralelliği Stratejileri

Megatron-LM tarzı tensör paralelliği
Boru hattı paralelliği ve mikro yığın zamanlaması
Dizi ve bağlam paralelliği ile uzun bağlam eğitimi
3B paralellik: kombinasyon seçimi ve MFU ölçümü
TorchTitan ve Nanotron gibi referans eğitim çatıları
Uygulama: 70 milyar parametre için paralellik planı

Modül 4

Altyapı ve Sürekli Ön Eğitim

GPU kümeleri, InfiniBand ve depolama gereksinimleri
Donanım arızaları, izleme ve eğitim operasyonu
Açık modeli alana veya dile uyarlayan sürekli ön eğitim
Felaketvari unutma ve veri tekrarı stratejileri
Bulut ile şirket içi GPU yatırımının maliyet analizi
Günün değerlendirmesi ve sonradan eğitim gününe köprü

Günün hedefiTemel modeli talimat ayarı ve parametre verimli yöntemlerle uyarlamak, dil modellerini güvenilir biçimde değerlendirmek ve nicemleme ile verimli servisleme uygulamak.

Modül 1

Talimat Ayarı ve Parametre Verimli İnce Ayar

Denetimli ince ayar (SFT) verisi ve sohbet şablonları
TRL SFTTrainer ile talimat ayarı uygulaması
LoRA ve QLoRA ile düşük maliyetli ince ayar
Tam ince ayar ile PEFT yöntemlerinin karşılaştırılması
Bilgi damıtma ile küçük model eğitimi
Laboratuvar: QLoRA ile Türkçe talimat modeli eğitimi

Modül 2

Hizalama ve Akıl Yürütme Eğitimine Bakış

Tercih verisi ve insan geri bildirimiyle hizalamanın rolü
RLHF ve DPO yaklaşımlarının üst düzey karşılaştırması
Doğrulanabilir ödüllerle akıl yürütme eğitimi eğilimi
Güvenlik ince ayarı ve reddetme davranışı
Hizalama vergisi ve yetenek kaybı tartışması
Tartışma: Açık ağırlıklı modellerin eğitim raporları

Modül 3

Dil Modellerinin Değerlendirilmesi

lm-evaluation-harness ile standart kıyas testleri
MMLU, GSM8K ve kod testlerinin ölçtükleri ve sınırları
Test seti kirlenmesi ve ezber tespiti yöntemleri
Hakem olarak LLM ve ikili karşılaştırma değerlendirmesi
Türkçe ve alana özgü değerlendirme setleri oluşturma
Laboratuvar: Eğitilen modelin çok boyutlu değerlendirmesi

Modül 4

Verimli Çıkarım, Proje ve Kapanış

KV önbellek, GPTQ, AWQ ve GGUF ile nicemleme
vLLM PagedAttention ve spekülatif kod çözme
Proje: Küçük modelin eğitimi, ölçümü ve servislemesi
Proje sunumları ve teknik geri bildirim
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi, kaynaklar ve kapanış

Eğitim Kazanımları

Mimari Hakimiyet — Öz dikkat, RoPE, RMSNorm ve SwiGLU içeren modern bir dönüştürücü modeli PyTorch ile sıfırdan yazabileceksiniz.
Belirteçleme — Türkçe gibi eklemeli diller için verimli BPE belirteçleyiciler eğitip model maliyetine etkisini ölçebileceksiniz.
Verimli Mimariler — GQA, FlashAttention, uzun bağlam ve uzman karışımı tasarımlarının ödünleşimlerini değerlendirebileceksiniz.
Ölçekleme Planı — Chinchilla ölçekleme yasalarıyla parametre, veri ve GPU bütçesi arasında gerçekçi bir eğitim planı yapabileceksiniz.
Veri Hattı — Tekilleştirme, kalite filtreleme ve kirlenme kontrolü içeren ön eğitim veri hattı kurabileceksiniz.
Dağıtık Eğitim — FSDP, ZeRO, tensör ve boru hattı paralelliğiyle çok GPU'lu eğitimleri kararlı biçimde yürütebileceksiniz.
İnce Ayar ve Ölçüm — QLoRA ile talimat modeli eğitip lm-evaluation-harness ve LLM hakemle çok boyutlu değerlendirebileceksiniz.
Verimli Servisleme — Nicemleme, KV önbellek ve vLLM ile eğittiğiniz modeli düşük gecikmeli ve maliyet etkin biçimde sunacaksınız.

Kimler İçin Uygundur?

Makine öğrenmesi mühendisleri
araştırma bilimcileri
doğal dil işleme mühendisleri
Ar-Ge ekipleri ile kurum içi dil modeli geliştirmeyi planlayan yapay zeka altyapı ekipleri.

Sıkça Sorulan Sorular

Büyük Dil Modelleri: Mimari ve Eğitim Süreçleri Eğitimi kimler için uygundur?

Program; makine öğrenmesi mühendisleri, araştırma bilimcileri, doğal dil işleme mühendisleri, Ar-Ge ekipleri ve kurum içi dil modeli geliştirmeyi planlayan yapay zeka altyapı ekipleri için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 4 tam gün ve 16 modülden oluşur. Dönüştürücü yapı taşları, modern mimariler ve ön eğitim verisi, dağıtık eğitim altyapısı ile sonradan eğitim, değerlendirme ve çıkarım günleri işlenir; son gün proje sunulur.

Katılım için hangi ön bilgi ve donanım gerekiyor?

PyTorch ile özel model ve eğitim döngüsü yazma deneyimi, doğrusal cebir ve optimizasyon bilgisi ile Linux komut satırı bilgisi beklenir. Çok GPU'lu laboratuvarlar için bulut ortamı eğitim kapsamında sağlanır.

Bu eğitim RLHF eğitiminden nasıl ayrışıyor?

Bu program mimari, ön eğitim, dağıtık eğitim, ince ayar ve çıkarıma odaklanır; hizalama yalnızca genel çerçevede ele alınır. Ödül modelleme, PPO, DPO ve GRPO gibi yöntemler İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme Eğitimi'nde derinlemesine işlenir.

Hangi araçlar kullanılıyor, sertifika veriliyor mu?

PyTorch, FSDP2, DeepSpeed, Hugging Face Transformers, TRL, PEFT, lm-evaluation-harness ve vLLM kullanılır. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BÜYÜK DİL MODELLERİ: MİMARİ VE EĞİTİM SÜREÇLERİ EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Dil Modellemesi ve Belirteçleme

Öz Dikkat Mekanizması

Konum Bilgisi, Normalizasyon ve FFN

Sıfırdan Küçük GPT Modeli

Verimli Dikkat ve Uzun Bağlam

Uzman Karışımı ve Alternatif Mimariler

Ölçekleme Yasaları ve Hesaplama Bütçesi

Ön Eğitim Verisi Hazırlığı

Büyük Ölçekte Optimizasyon

Veri Paralelliği ve FSDP

Model Paralelliği Stratejileri

Altyapı ve Sürekli Ön Eğitim

Talimat Ayarı ve Parametre Verimli İnce Ayar

Hizalama ve Akıl Yürütme Eğitimine Bakış

Dil Modellerinin Değerlendirilmesi

Verimli Çıkarım, Proje ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi