BERT ve GPT Modelleri Eğitimi | Digital Vizyon Akademi

Eğitim Hakkında

Bu eğitim, modern dil modellerinin temelini oluşturan transformer mimarisini, BERT gibi kodlayıcı ve GPT gibi kod çözücü modellerin çalışma prensiplerini derinlemesine anlamak isteyen teknik ekipler için tasarlanmıştır. Katılımcılar dikkat mekanizmasını kodlar, BERT modellerine ince ayar yapar ve küçük bir GPT modelini sıfırdan eğitir.

Neden Bu Eğitim?

Mimariyi İçeriden Görün. Dikkat mekanizması, konum kodlaması ve katman yapısını kodlayarak dil modellerinin nasıl çalıştığını gerçekten anlayın.

Doğru Model Seçimi. Sınıflandırma ve arama için kodlayıcı, üretim için kod çözücü modellerin ne zaman tercih edileceğini netleştirin.

Uygulamalı Deneyim. BERT ile görev modeli eğitin, küçük bir GPT'yi sıfırdan kurun ve açık modelleri Hugging Face ile kullanın.

“Bir dil modelinin içini gördüğünüzde onu sihir olarak değil, doğru kullanıldığında güçlü bir mühendislik aracı olarak görürsünüz.”

Ön Koşullar

Python Programlama — Python ile fonksiyon ve sınıf yazabilmek, NumPy dizileriyle rahatça çalışabilmek.
Sinir Ağı Temelleri — Katman, aktivasyon fonksiyonu, kayıp ve geri yayılım kavramlarını biliyor olmak.
PyTorch Aşinalığı — PyTorch tensörleri, nn.Module yapısı ve basit bir eğitim döngüsünü okuyabilmek.
Çalışma Ortamı — Python 3 ve Jupyter kurulu bilgisayar ya da GPU destekli bulut not defteri erişimi.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiDil modellemenin tarihsel gelişimini kavramak, öz-dikkat mekanizmasını ve transformer blok yapısını anlamak ve temel bileşenleri PyTorch ile kodlamak.

Modül 1

Dil Modellemenin Evrimi

N-gram modellerinden sinir ağı tabanlı dil modellerine
Word2Vec, RNN ve LSTM'nin güçlü ve zayıf yönleri
Seq2seq ve dikkat mekanizmasının doğuşu
"Attention Is All You Need" makalesi ve temel fikirleri
Kodlayıcı, kod çözücü ve kodlayıcı-kod çözücü aileleri
Tartışma: BERT, GPT ve T5 hangi problemi çözer?

Modül 2

Tokenizasyon ve Gömme Katmanları

BPE ve WordPiece algoritmalarının çalışma mantığı
Özel tokenlar: [CLS], [SEP], [MASK] ve dizi sonu
Token gömmeleri ve kelime dağarcığı boyutu etkisi
Mutlak konum kodlaması ve RoPE yaklaşımı
Türkçe metinlerde token sayısı ve maliyet ilişkisi
Laboratuvar: Hugging Face tokenizer'larının incelenmesi

Modül 3

Öz-Dikkat Mekanizması

Sorgu, anahtar ve değer (Q, K, V) vektörleri
Ölçekli nokta çarpımı dikkati ve softmax
Çok başlı dikkat ve temsil alt uzayları
Maskeleme: dolgu maskesi ve nedensel maske
Dikkatin karesel maliyeti ve bağlam uzunluğu
Laboratuvar: Çok başlı dikkati PyTorch ile kodlama

Modül 4

Transformer Bloğu ve Ön Eğitim

İleri beslemeli katman, artık bağlantı ve LayerNorm
Pre-norm ve post-norm yerleşimlerinin farkı
Maskeli dil modelleme ve nedensel dil modelleme hedefleri
Ön eğitim verisi, ölçekleme yasaları ve hesaplama maliyeti
Laboratuvar: Dikkat haritalarının görselleştirilmesi
Günün değerlendirmesi ve BERT gününe köprü

Günün hedefiBERT'in ön eğitim yaklaşımını ve türevlerini tanımak, sınıflandırma, varlık tanıma ve soru yanıtlama görevlerinde ince ayar yapmak ve cümle gömmeleri üretmek.

Modül 1

BERT Mimarisi ve Türevleri

BERT ön eğitimi: MLM ve sonraki cümle tahmini
RoBERTa, ALBERT ve DeBERTa'nın getirdiği yenilikler
DistilBERT ile bilgi damıtma ve hızlı modeller
ModernBERT ve uzun bağlamlı kodlayıcı yaklaşımları
BERTurk ve XLM-RoBERTa ile Türkçe destek
Demo: Maskeli token tahminiyle modelin sorgulanması

Modül 2

Metin Sınıflandırma için İnce Ayar

[CLS] temsili ve sınıflandırma başlığı ekleme
Hugging Face Trainer API ve eğitim argümanları
Öğrenme oranı, ısınma adımları ve katman dondurma
Accuracy, F1 ve karışıklık matrisi ile değerlendirme
Aşırı öğrenme belirtileri ve erken durdurma
Laboratuvar: Türkçe duygu analizi modeline ince ayar

Modül 3

Token Görevleri ve Soru Yanıtlama

Token sınıflandırma ile varlık tanıma kurgusu
Alt kelime ve etiket hizalama problemi
Çıkarımsal soru yanıtlama: başlangıç ve bitiş tahmini
SQuAD formatı ve uzun bağlam için kaydırmalı pencere
Pipeline API ile hızlı çıkarım ve prototipleme
Laboratuvar: Kurum dokümanlarında soru yanıtlama

Modül 4

Cümle Gömmeleri ve Anlamsal Benzerlik

Ortalama havuzlama ile cümle temsili üretme
Sentence-BERT ve siyam ağı eğitim yaklaşımı
Kosinüs benzerliği ile anlamsal eşleştirme
Gömmelerin arama ve kümelemede kullanımı
Laboratuvar: Benzer talep kayıtlarını bulma uygulaması
Günün özeti ve GPT modelleri gününe hazırlık

Günün hedefiGPT tarzı modellerin üretim mantığını kavramak, küçük bir GPT'yi sıfırdan eğitmek, çözümleme stratejilerini karşılaştırmak ve açık model ekosistemini değerlendirmek.

Modül 1

GPT Mimarisi ve Gelişimi

Nedensel maskeli kod çözücü mimarisinin yapısı
GPT-2'den GPT-3'e ölçek ve bağlam içi öğrenme
Talimat takibi: InstructGPT ve RLHF yaklaşımı
Llama, Mistral, Qwen ve Gemma gibi açık modeller
GQA, RoPE ve KV önbelleği gibi verimlilik bileşenleri
Tartışma: Kodlayıcı mı kod çözücü mü? Seçim ölçütleri

Modül 2

Sıfırdan Mini GPT Eğitimi

Karakter düzeyinde veri hazırlığı ve eğitim dizileri
Gömme, dikkat blokları ve dil modeli başlığının kurulumu
Çapraz entropi kaybı ve perplexity ile değerlendirme
Eğitim döngüsü, AdamW ve öğrenme oranı takvimi
Model boyutu ve veri miktarının çıktı kalitesine etkisi
Laboratuvar: Türkçe metinle küçük GPT modeli eğitme

Modül 3

Metin Üretimi ve Çözümleme Stratejileri

Açgözlü arama ve ışın araması (beam search)
Sıcaklık, top-k ve top-p (nucleus) örnekleme
Tekrar cezası, durdurma ölçütleri ve uzunluk kontrolü
GPT-2 ve açık bir modele Hugging Face ile ince ayar
Halüsinasyon, yanlılık ve üretim kalitesi değerlendirmesi
Laboratuvar: Çözümleme parametrelerinin karşılaştırılması

Modül 4

Model Seçimi, Mini Proje ve Kapanış

Görev, gecikme, maliyet ve veri gizliliğine göre model seçimi
Mini proje: BERT sınıflandırıcı ile GPT üretimini birleştirme
Proje sunumları ve grup geri bildirimleri
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış oturumu

Eğitim Kazanımları

Mimari Kavrayış — Transformer mimarisinin dikkat, konum kodlaması ve katman bileşenlerini açıklayıp kodlayabileceksiniz.
Öz-Dikkat Hakimiyeti — Çok başlı öz-dikkat ve nedensel maskeleme mekanizmalarını PyTorch ile sıfırdan uygulayabileceksiniz.
BERT İnce Ayarı — BERT tabanlı modellere sınıflandırma, varlık tanıma ve soru yanıtlama görevleri için ince ayar yapabileceksiniz.
Anlamsal Benzerlik — Cümle gömmeleriyle benzer kayıt eşleştirme ve anlamsal arama uygulamaları geliştirebileceksiniz.
GPT ile Üretim — Küçük bir GPT modelini sıfırdan eğitip çözümleme stratejileriyle üretim kalitesini kontrol edebileceksiniz.
Açık Model Ekosistemi — Llama, Mistral, Qwen ve Gemma gibi açık modelleri Hugging Face üzerinden bilinçli biçimde kullanabileceksiniz.
Model Seçimi — Görev, gecikme, maliyet ve gizlilik ölçütlerine göre kodlayıcı ve kod çözücü modeller arasında seçim yapacaksınız.
Eleştirel Değerlendirme — Perplexity, F1 ve insan değerlendirmesiyle dil modeli çıktılarının kalitesini ve sınırlarını ölçebileceksiniz.

Kimler İçin Uygundur?

Yazılım geliştiriciler
veri bilimciler
makine öğrenmesi mühendisleri ve dil modellerini kara kutu olarak değil
mimari düzeyde anlamak isteyen teknik uzmanlar.

Sıkça Sorulan Sorular

BERT ve GPT Modelleri Eğitimi kimler için uygundur?

Program; dil modellerini yalnızca API üzerinden kullanmanın ötesine geçip mimari düzeyde anlamak isteyen yazılım geliştiriciler, veri bilimciler, makine öğrenmesi mühendisleri ve araştırmacılar için tasarlanmıştır.

BERT ile GPT arasındaki temel fark nedir?

BERT, metni iki yönlü bağlamla okuyan bir kodlayıcı modeldir ve sınıflandırma, varlık tanıma ve anlamsal arama gibi anlama görevlerinde güçlüdür. GPT ise soldan sağa tahmin yapan bir kod çözücü modeldir ve metin üretimi için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl ilerler?

Eğitim 3 tam gün ve 12 modülden oluşur. İlk gün transformer mimarisi ve öz-dikkat, ikinci gün BERT ailesi ve ince ayar, üçüncü gün GPT ailesi, metin üretimi, açık modeller ve mini proje işlenir.

Katılım için hangi ön bilgiler gerekiyor?

Python ile rahat kod yazabilmek, temel sinir ağı kavramlarını bilmek ve PyTorch kodunu okuyabilecek düzeyde aşinalık yeterlidir. İleri matematik gerekmez; gerekli kavramlar görsel anlatımla açıklanır.

Hangi araçlar kullanılıyor ve sertifika veriliyor mu?

Laboratuvarlarda PyTorch, Hugging Face Transformers, Datasets, Tokenizers ve sentence-transformers kullanılır; BERTurk ve açık kod çözücü modellerle çalışılır. Programı tamamlayan katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

BERT VE GPT MODELLERİ EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Dil Modellemenin Evrimi

Tokenizasyon ve Gömme Katmanları

Öz-Dikkat Mekanizması

Transformer Bloğu ve Ön Eğitim

BERT Mimarisi ve Türevleri

Metin Sınıflandırma için İnce Ayar

Token Görevleri ve Soru Yanıtlama

Cümle Gömmeleri ve Anlamsal Benzerlik

GPT Mimarisi ve Gelişimi

Sıfırdan Mini GPT Eğitimi

Metin Üretimi ve Çözümleme Stratejileri

Model Seçimi, Mini Proje ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi