Dağıtık Eğitim: Büyük Modelleri Ölçeklendirme Eğitimi

Eğitim Hakkında

Bu eğitim, tek bir GPU belleğine ya da makul eğitim süresine sığmayan derin öğrenme ve büyük dil modellerini çok GPU'lu ve çok düğümlü kümelerde verimli biçimde eğitmek isteyen mühendisler için uzmanlık düzeyinde bir programdır. Katılımcılar veri, tensör, boru hattı ve uzman paralelliğini PyTorch ekosistemiyle uygular, performansı profiller ve hataya dayanıklı eğitim kurar.

Neden Bu Eğitim?

Paralelliğin Tamamı. Veri, tensör, boru hattı, dizi ve uzman paralelliğini ne zaman ve nasıl birleştireceğinizi uygulamalı olarak öğrenin.

Gerçek Verimlilik. GPU sayısını artırmanın hızı neden doğrusal artırmadığını ölçün; iletişim ve bellek darboğazlarını sistematik giderin.

Dayanıklı Eğitim. Günler süren işlerde düğüm arızası, takılma ve kayıp sıçramalarına karşı kontrol noktası ve elastik eğitim kurgulayın.

“Büyük modelleri eğitmek yalnızca daha fazla GPU eklemek değildir; hesaplamayı, belleği ve iletişimi birlikte tasarlama sanatıdır.”

Ön Koşullar

PyTorch Deneyimi — PyTorch ile model, eğitim döngüsü, optimizer ve DataLoader yazmış olmak.
Transformer Bilgisi — Transformer mimarisi, dikkat mekanizması ve dil modeli eğitim sürecine hakimiyet.
Linux ve GPU — Linux terminali, SSH, ortam değişkenleri ve CUDA ile GPU üzerinde çalışma deneyimi.
Küme Erişimi — Eğitim kümesine SSH ile bağlanabilen bir bilgisayar; kurum kümesi de kullanılabilir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiBüyük model eğitiminde hesaplama ve bellek sınırlarını kavramak, tek GPU verimliliğini en üst düzeye çıkarmak ve kolektif iletişim ile ilk çoklu GPU işini çalıştırmak.

Modül 1

Dağıtık Eğitimin Gerekçesi ve Metrikleri

Bellek duvarı ve hesaplama süresi sınırları
Ölçekleme yasaları ve hesaplama-optimal eğitim
Güçlü ve zayıf ölçekleme; ölçekleme verimliliği
Saniye başı token ve model FLOPs kullanımı (MFU)
Paralellik türlerine genel bakış ve karar ağacı
Vaka: 70 milyar parametreli model için ön hesap

Modül 2

Tek GPU'da Eğitim Verimliliği

bf16 ve fp16 karma hassasiyet; kayıp ölçekleme
torch.compile ile çekirdek birleştirme ve hızlanma
SDPA ve FlashAttention ile verimli dikkat hesabı
Gradyan biriktirme ile etkin batch büyütme
Aktivasyon kontrol noktası ile bellek-hız ödünleşimi
Laboratuvar: Tek GPU'da adım süresini yarıya indirme

Modül 3

Dağıtık Hesaplamanın Temelleri

Süreç, rank, world size ve süreç grupları
torch.distributed arka uçları: NCCL ve Gloo
Kolektifler: all-reduce, all-gather, reduce-scatter
Halka ve ağaç algoritmaları ile iletişim maliyeti
Hesaplama ile iletişimin örtüştürülmesi
Demo: all-reduce bant genişliği ve gecikme ölçümü

Modül 4

torchrun ile İlk Çoklu GPU Laboratuvarı

torchrun parametreleri ve rendezvous mekanizması
Rank bazlı loglama, tohum ve tekrarlanabilirlik
nccl-tests ile düğüm içi iletişim doğrulaması
Basit kolektif işlemlerle dağıtık hata ayıklama
Laboratuvar: Dört GPU'da kolektif iletişim deneyi
Günün değerlendirmesi ve veri paralelliğine köprü

Günün hedefiVeri paralelliğini doğru yapılandırmak, büyük batch eğitiminin optimizasyon etkilerini yönetmek ve ZeRO ile FSDP kullanarak model durumlarını GPU'lar arasında paylaştırmak.

Modül 1

Dağıtık Veri Paralelliği (DDP)

DDP çalışma prensibi: kova ve gradyan senkronizasyonu
DistributedSampler ile veri bölüştürme
Büyük batch ile öğrenme oranı ölçekleme ve ısınma
LAMB ve LARS gibi büyük batch optimizasyonları
DDP'nin bellek sınırı ve ölçekleme darboğazları
Laboratuvar: DDP ile görüntü modeli ölçekleme

Modül 2

DeepSpeed ZeRO ile Bellek Optimizasyonu

ZeRO-1, ZeRO-2 ve ZeRO-3 aşamalarının farkları
Optimizasyon durumu, gradyan ve parametre paylaştırma
CPU ve NVMe'ye boşaltma (offload) seçenekleri
DeepSpeed yapılandırma dosyası ve başlatma
İletişim hacmi ile bellek tasarrufu dengesi
Laboratuvar: ZeRO-3 ile tek GPU'ya sığmayan model

Modül 3

PyTorch FSDP2 ile Tam Paylaştırma

fully_shard API'si ve DTensor tabanlı yapı
Katman bazlı sarmalama stratejileri
Karma hassasiyet politikası ve CPU boşaltma
İleri geçişte önceden toplama ve bellek zirvesi
Paylaştırılmış model durumunun kaydedilmesi
Laboratuvar: FSDP2 ile dil modeli ön eğitimi

Modül 4

Karşılaştırmalı Veri Paralelliği Atölyesi

Aynı modelde DDP, ZeRO-2, ZeRO-3 ve FSDP2 kıyası
Bellek zirvesi, token hızı ve iletişim oranı ölçümü
GPU sayısı arttıkça ölçekleme verimliliği analizi
Doğru stratejiyi seçmek için karar kriterleri
Laboratuvar: Sonuçların ölçekleme grafiğine dökülmesi
Günün değerlendirmesi ve model paralelliğine hazırlık

Günün hedefiTensör, boru hattı, dizi ve uzman paralelliğinin mekanizmalarını kavramak, iletişim desenlerini topolojiye eşlemek ve çok boyutlu paralellik yapılandırmasını seçmek.

Modül 1

Tensör Paralelliği

Sütun ve satır paralel doğrusal katmanlar
Dikkat ve MLP bloklarında Megatron-LM bölme deseni
Katman içi all-reduce ve NVLink bağımlılığı
PyTorch DTensor ile tensör paralel uygulama
Tensör paralel derecesinin düğüm içinde tutulması
Laboratuvar: Transformer bloğunda tensör paralelliği

Modül 2

Boru Hattı Paralelliği

Modeli aşamalara bölme ve mikro batch akışı
GPipe ve 1F1B zamanlamaları; boru hattı boşluğu
Aralıklı (interleaved) zamanlama ile boşluğu azaltma
Aşamalar arası bellek ve hesaplama dengesi
Boru hattı paralelliğinde hata ayıklama güçlükleri
Demo: Mikro batch sayısının verime etkisi

Modül 3

Dizi, Bağlam ve Uzman Paralelliği

Dizi paralelliği ile aktivasyon belleğini bölme
Uzun bağlam için halka dikkat ve bağlam paralelliği
Uzmanlar karışımı (MoE) mimarisi ve yönlendirme
Uzman paralelliği ve all-to-all iletişim maliyeti
Yük dengeleme kaybı ve uzman kapasite faktörü
Laboratuvar: Küçük bir MoE modelinin dağıtılması

Modül 4

Çok Boyutlu Paralellik Yapılandırması

Veri, tensör ve boru hattı paralelliğinin birleşimi
Paralellik boyutlarını ağ topolojisine eşleme
TorchTitan, Megatron-LM ve NeMo çerçeveleri
Bellek ve verim tahmini ile yapılandırma araması
Laboratuvar: TorchTitan ile çok boyutlu yapılandırma
Günün değerlendirmesi ve ölçekte işletime hazırlık

Günün hedefiÇok düğümlü eğitimi Slurm ve Kubernetes'te çalıştırmak, ölçekli veri hattı kurmak, hataya dayanıklı kontrol noktası uygulamak ve performans sorunlarını profilleyerek çözmek.

Modül 1

Çok Düğümlü Eğitim ve Küme Entegrasyonu

Slurm ile srun ve torchrun birlikte kullanımı
Kubernetes üzerinde Kubeflow Trainer ile dağıtık iş
InfiniBand, RoCE ve NCCL ortam değişkenleri
Düğümler arası topoloji ve rank yerleşimi
Konteyner imajlarında CUDA ve NCCL uyumu
Laboratuvar: İki düğüm üzerinde FSDP2 eğitimi

Modül 2

Büyük Ölçekte Veri Hattı

Önceden tokenleştirilmiş ve parçalanmış veri setleri
Akışlı veri yükleme ve nesne depolamadan okuma
Deterministik veri sırası ve kaldığı yerden devam
Veri karışımı oranları ve kalite filtreleri
Veri yüklemenin GPU'yu bekletmesini önleme
Laboratuvar: Yeniden başlatılabilir akışlı veri hattı

Modül 3

Hata Toleransı ve Dağıtık Kontrol Noktası

torch.distributed.checkpoint ile paylaştırılmış kayıt
Asenkron kontrol noktası ve depolama verimi
torchrun elastik eğitim ve düğüm değişimi
Takılan işler, yavaş düğümler ve sağlık kontrolleri
Kayıp sıçramaları, NaN ve sayısal kararlılık
Tatbikat: Düğüm arızası sonrası eğitime devam

Modül 4

Performans Profilleme ve Hata Ayıklama

PyTorch Profiler ile hesaplama-iletişim zaman çizelgesi
NVIDIA Nsight Systems ile düşük seviye analiz
NCCL_DEBUG ile iletişim hatalarının teşhisi
Transformer Engine ile FP8 eğitim ve kararlılık
Laboratuvar: MFU değerini artırma yarışması
Günün değerlendirmesi ve proje gününe hazırlık

Günün hedefiYüksek seviye dağıtık eğitim çerçevelerini karşılaştırmak, büyük dil modeli ince ayarını ölçeklendirmek, maliyet ve deney planı yapmak ve uçtan uca ölçekleme projesini sunmak.

Modül 1

Yüksek Seviye Dağıtık Eğitim Çerçeveleri

Hugging Face Accelerate ile arka uçtan bağımsız kod
Ray Train ile küme yönetimi ve hata toleransı
Lightning Fabric ile esnek eğitim döngüsü
DeepSpeed ve FSDP entegrasyonlarının karşılaştırılması
Soyutlama seviyesi ile kontrol arasındaki denge
Laboratuvar: Aynı eğitimi Accelerate ile ölçekleme

Modül 2

Büyük Dil Modeli İnce Ayarının Ölçeklenmesi

Çok düğümlü denetimli ince ayar (SFT) kurgusu
FSDP ile LoRA ve QLoRA yöntemlerinin birleşimi
TRL ile DPO gibi tercih optimizasyonunun ölçeği
Pekiştirmeli öğrenmede üretim ve eğitim ayrımı
Değerlendirme işlerinin eğitim sırasında dağıtılması
Laboratuvar: 8B modelin çok GPU'da ince ayarı

Modül 3

Maliyet, Kararlılık ve Deney Planlaması

Küçük ölçekte ablasyon ve büyük ölçeğe aktarım
μP ile hiperparametrelerin model boyutları arasında aktarımı
GPU-saat bütçesi, kuyruk süresi ve bulut maliyeti
Eğitim kararlılığı: öğrenme oranı ve gradyan kırpma
Deney takibi ve sonuçların tekrarlanabilirliği
Vaka: Bütçe sınırında ön eğitim planı hazırlama

Modül 4

Ölçekleme Projesi ve Kapanış

Grup projesi: model için paralellik stratejisi ve eğitim
Ölçekleme verimliliği ve MFU sonuçlarının sunumu
Uzman geri bildirimi ve kod incelemesi
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve laboratuvar kodlarının teslimi
İleri öğrenme kaynakları ve kapanış

Eğitim Kazanımları

Ölçekleme Analizi — Model boyutu, bellek ve hesaplama ihtiyacını hesaplayıp ölçekleme verimliliğini ve MFU değerini ölçebileceksiniz.
GPU Verimliliği — Karma hassasiyet, torch.compile ve FlashAttention ile tek GPU eğitim hızını en üst düzeye çıkarabileceksiniz.
Veri Paralelliği — DDP, DeepSpeed ZeRO ve PyTorch FSDP2 arasında iş yüküne uygun stratejiyi seçip uygulayabileceksiniz.
Model Paralelliği — Tensör, boru hattı, bağlam ve uzman paralelliğini ağ topolojisine uygun biçimde yapılandırabileceksiniz.
Çok Düğümlü Eğitim — Slurm veya Kubernetes üzerinde NCCL ayarları optimize edilmiş çok düğümlü eğitim işleri çalıştırabileceksiniz.
Hata Toleransı — Dağıtık kontrol noktası ve elastik eğitimle düğüm arızalarından en az kayıpla kurtulabileceksiniz.
Performans Teşhisi — PyTorch Profiler ve Nsight Systems ile iletişim, bellek ve veri yükleme darboğazlarını çözebileceksiniz.
Ölçekli LLM Eğitimi — Büyük dil modellerinin ön eğitim ve ince ayarını bütçe ve kararlılık gözeterek uçtan uca planlayacaksınız.

Kimler İçin Uygundur?

Makine öğrenmesi araştırma mühendisleri
LLM ve derin öğrenme mühendisleri
HPC ve GPU platform mühendisleri ile büyük model eğitimi yürüten Ar-Ge ekipleri.

Sıkça Sorulan Sorular

Dağıtık Eğitim: Büyük Modelleri Ölçeklendirme Eğitimi kimler için uygundur?

Program; makine öğrenmesi araştırma mühendisleri, LLM ve derin öğrenme mühendisleri, HPC ve GPU platform mühendisleri ile büyük model ön eğitimi veya ince ayarı yürüten Ar-Ge ekipleri için tasarlanmıştır.

Eğitim ne kadar sürer ve nasıl yapılandırılmıştır?

Eğitim 5 tam gün ve 20 modülden oluşur. Ölçekleme temelleri, veri paralelliği ve bellek paylaştırma, model paralelliği, çok düğümlü işletim ile performans ve son gün çerçeveler, LLM ince ayarı ve ölçekleme projesi işlenir.

Katılım için hangi ön bilgiler gerekiyor?

PyTorch ile eğitim döngüsü yazmış olmak, transformer mimarisine hakimiyet ve Linux ile CUDA ortamında çalışma deneyimi beklenir. Dağıtık eğitim konusunda önceden deneyim gerekmez.

Laboratuvarlar hangi donanımda yapılıyor?

Laboratuvarlar çok GPU'lu ve çok düğümlü bir eğitim kümesinde yürütülür. Kurumun kendi GPU kümesi veya bulut GPU kaynakları varsa laboratuvarlar bu ortama uyarlanabilir; paralellik denemeleri küçük modellerle ölçeklenerek yapılır.

Hangi kütüphaneler kullanılıyor, sertifika veriliyor mu?

PyTorch Distributed, FSDP2, DeepSpeed, Megatron-LM, TorchTitan, Hugging Face Accelerate, TRL, Ray Train, Transformer Engine, PyTorch Profiler ve Nsight Systems kullanılır. Katılımcılar Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

DAĞITIK EĞİTİM: BÜYÜK MODELLERİ ÖLÇEKLENDİRME EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Dağıtık Eğitimin Gerekçesi ve Metrikleri

Tek GPU'da Eğitim Verimliliği

Dağıtık Hesaplamanın Temelleri

torchrun ile İlk Çoklu GPU Laboratuvarı

Dağıtık Veri Paralelliği (DDP)

DeepSpeed ZeRO ile Bellek Optimizasyonu

PyTorch FSDP2 ile Tam Paylaştırma

Karşılaştırmalı Veri Paralelliği Atölyesi

Tensör Paralelliği

Boru Hattı Paralelliği

Dizi, Bağlam ve Uzman Paralelliği

Çok Boyutlu Paralellik Yapılandırması

Çok Düğümlü Eğitim ve Küme Entegrasyonu

Büyük Ölçekte Veri Hattı

Hata Toleransı ve Dağıtık Kontrol Noktası

Performans Profilleme ve Hata Ayıklama

Yüksek Seviye Dağıtık Eğitim Çerçeveleri

Büyük Dil Modeli İnce Ayarının Ölçeklenmesi

Maliyet, Kararlılık ve Deney Planlaması

Ölçekleme Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi