Yapay Zeka Eğitim Altyapısı Tasarımı Eğitimi

Eğitim Hakkında

Bu eğitim, model eğitimi ve ince ayar iş yükleri için hesaplama, ağ, depolama ve orkestrasyon katmanlarından oluşan yapay zeka altyapısını ihtiyaca göre tasarlamak isteyen teknik ekipler için ileri düzey bir programdır. Katılımcılar iş yükü profilinden kapasite hesabına, GPU kümesi mimarisinden maliyet ve işletim modeline kadar gerekçeli bir altyapı tasarımı hazırlar.

Neden Bu Eğitim?

Hesaba Dayalı Tasarım. GPU sayısı, bellek, ağ bant genişliği ve depolama hızını tahmine değil model boyutu ve veri hacmine göre hesaplayın.

Darboğazları Önleyin. Pahalı hızlandırıcıların ağ, depolama veya veri yükleme yüzünden boşta beklemesine yol açan tasarım hatalarından kaçının.

Yatırım Kararı. Kurum içi, bulut ve hibrit seçenekleri toplam sahip olma maliyeti, kullanım oranı ve veri egemenliği açısından kıyaslayın.

“En güçlü hızlandırıcı bile onu besleyen ağ, depolama ve zamanlama katmanı kadar hızlı çalışır; mimari bütün olarak düşünülmelidir.”

Ön Koşullar

Linux Yönetimi — Linux sunucularda paket, servis, depolama ve kullanıcı yönetimi konusunda deneyim.
Ağ Temelleri — TCP/IP, VLAN, bant genişliği ve gecikme kavramlarına temel düzeyde hakimiyet.
Konteyner Bilgisi — Docker kullanımı ve Kubernetes temel kavramlarına aşinalık; Slurm bilgisi zorunlu değildir.
Derin Öğrenme Kavramları — Model eğitimi, parametre, batch ve epoch kavramlarını temel düzeyde bilmek yeterlidir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiYZ iş yüklerinin kaynak ihtiyacını kavramak, model boyutundan bellek ve GPU-saat ihtiyacını hesaplamak ve hızlandırıcı seçeneklerini teknik ölçütlerle karşılaştırmak.

Modül 1

Yapay Zeka İş Yüklerinin Karakteristiği

Ön eğitim, ince ayar, çıkarım ve deney iş yükleri
Hesaplama, bellek ve iletişim sınırlı iş yükleri
Bilgisayarlı görü, dil modeli ve tablo verisi farkları
Tek düğüm, çok düğüm ve paylaşımlı küme ihtiyaçları
Kurum içi iş yükü envanteri ve talep tahmini
Vaka: Ar-Ge ekibinin GPU talebinin analizi

Modül 2

Bellek ve Hesaplama Kapasitesi Hesabı

Ağırlık, gradyan ve optimizasyon durumu belleği
Karma hassasiyet ve Adam ile parametre başı bellek
Aktivasyon belleği ve aktivasyon kontrol noktası
6×N×D kuralıyla eğitim FLOPs ve GPU-saat tahmini
LoRA ve QLoRA ile ince ayarda kaynak tasarrufu
Atölye: 8 milyar parametreli model için hesap

Modül 3

Hızlandırıcı Seçimi

GPU mimarisi: bellek bant genişliği ve hesaplama gücü
NVIDIA H100, H200 ve Blackwell nesli karşılaştırması
AMD Instinct serisi ve ROCm yazılım ekosistemi
Google TPU ve AWS Trainium gibi özel hızlandırıcılar
FP8 desteği, bellek kapasitesi ve yazılım olgunluğu
Uygulama: İş yüküne göre hızlandırıcı karar matrisi

Modül 4

İş Yükü Profilleme Atölyesi

nvidia-smi ve DCGM ile GPU kullanım metrikleri
PyTorch Profiler ile adım süresi dağılımı
GPU kullanım oranı ile model FLOPs kullanımı (MFU)
Hesaplama, veri yükleme ve iletişim süresi ayrımı
Laboratuvar: Eğitim işinin darboğaz profili
Günün değerlendirmesi ve ağ-depolama gününe köprü

Günün hedefiSunucu içi ve sunucular arası GPU iletişimini tasarlamak, InfiniBand ile Ethernet'i kıyaslamak ve eğitim verisi ile kontrol noktaları için depolama katmanı kurgulamak.

Modül 1

Sunucu İçi GPU Bağlantısı

PCIe nesilleri, şeritler ve CPU-GPU veri yolu
NVLink ve NVSwitch ile GPU'lar arası yüksek hızlı bağlantı
NUMA topolojisi ve GPU-NIC yerleşimi
GPUDirect RDMA ile CPU'yu atlayan veri transferi
nvidia-smi topo ile sunucu topolojisi okuma
Laboratuvar: Sunucu içi bant genişliği ölçümü

Modül 2

GPU Küme Ağı Tasarımı

Kolektif iletişim: all-reduce, all-gather ve NCCL
InfiniBand ve RoCE v2 Ethernet karşılaştırması
Rail-optimize fat-tree ve bloklamasız topoloji
Kayıpsız Ethernet: PFC, ECN ve tıkanıklık kontrolü
Hesaplama, depolama ve yönetim ağlarının ayrımı
Laboratuvar: nccl-tests ile çok düğümlü performans

Modül 3

Eğitim Depolama Mimarisi

Eğitim verisi, kontrol noktası ve model deposu ihtiyaçları
Lustre, IBM Storage Scale ve WEKA paralel dosya sistemleri
Nesne depolama ve S3 uyumlu katmanların rolü
NVMe önbellek ve katmanlı depolama tasarımı
GPUDirect Storage ve kontrol noktası yazma hızı
Uygulama: 1 TB kontrol noktası için verim hesabı

Modül 4

Veri Yükleme Hattı ve Darboğaz Analizi

Çok sayıda küçük dosya sorunu ve meta veri yükü
WebDataset ve parça (shard) tabanlı veri formatları
PyTorch DataLoader işçi sayısı ve önbellekleme
NVIDIA DALI ile GPU üzerinde ön işleme
Laboratuvar: Veri yükleme darboğazının giderilmesi
Günün değerlendirmesi ve orkestrasyon gününe hazırlık

Günün hedefiSlurm ve Kubernetes ile GPU kaynaklarını zamanlamak, çok kiracılı kota ve önceliklendirme politikaları kurmak ve araştırmacılara self servis ML platformu sunmak.

Modül 1

Slurm ile HPC Tarzı Zamanlama

Slurm bileşenleri: denetleyici, düğüm ve bölümler
sbatch, srun ile çok düğümlü GPU işleri
Gang zamanlama ve topoloji farkındalıklı yerleşim
Adil paylaşım (fair-share) ve QoS politikaları
Kontrol noktasından yeniden başlayan iş kalıpları
Laboratuvar: Slurm ile iki düğümlü eğitim işi

Modül 2

Kubernetes ile GPU Yönetimi

NVIDIA GPU Operator ve cihaz eklentisi kurulumu
MIG ile GPU bölümleme ve zaman paylaşımı
Kueue ile iş kuyruğu ve toplu iş kabulü
Volcano ile gang zamanlama ve iş bağımlılıkları
Dinamik Kaynak Ayırma (DRA) yaklaşımına giriş
Laboratuvar: Kueue ile ekip bazlı GPU kuyruğu

Modül 3

Çok Kiracılı Kaynak Yönetimi

Ekip, proje ve öncelik bazlı kota modelleri
Önleme (preemption) ve ödünç kapasite politikaları
Kullanım ölçümü, geri yansıtma ve maliyet raporu
Etkileşimli not defteri ile toplu iş dengesi
Boşta bekleyen GPU'ları geri kazanma kuralları
Vaka: Üç ekip arasında GPU çatışmasının çözümü

Modül 4

Self Servis ML Platform Katmanı

JupyterHub ile güvenli geliştirme ortamları
KubeRay ile Ray kümelerinin isteğe bağlı kurulumu
Konteyner kayıt defteri ve onaylı temel imajlar
Deney takibi ve model kaydı entegrasyonu
Platform mühendisliği ve geliştirici deneyimi
Günün değerlendirmesi ve işletim gününe hazırlık

Günün hedefiGPU kümesinin güvenilirliğini ve izlenmesini sağlamak, tesis gereksinimlerini planlamak, maliyet ve güvenlik kararlarını vermek ve kurumsal altyapı tasarımını sunmak.

Modül 1

Güvenilirlik ve Küme İşletimi

GPU, bellek ve bağlantı arızaları; XID hata kodları
DCGM Exporter, Prometheus ve Grafana ile izleme
Düğüm sağlık kontrolleri ve otomatik izolasyon
Kontrol noktası sıklığı ile kayıp iş süresi dengesi
Sürücü, CUDA ve firmware yaşam döngüsü yönetimi
Laboratuvar: GPU kümesi izleme ve uyarı panosu

Modül 2

Güç, Soğutma ve Tesis Gereksinimleri

Raf başına güç yoğunluğu ve elektrik altyapısı
Hava soğutmanın sınırları ve sıvı soğutma seçenekleri
Doğrudan çipe soğutma ve arka kapı ısı eşanjörleri
Güç kullanım etkinliği (PUE) ve enerji maliyeti
Mevcut veri merkezine GPU kümesi yerleştirme
Vaka: Sınırlı güçteki odaya küme yerleşim planı

Modül 3

Maliyet, Dağıtım Modeli ve Güvenlik

Kurum içi, bulut ve hibrit için TCO modellemesi
Kullanım oranının birim maliyete etkisi
Rezerve, isteğe bağlı ve spot kapasite stratejileri
Veri egemenliği, KVKK ve hava boşluklu ortamlar
Çok kiracılı kümede yalıtım ve erişim kontrolü
Uygulama: Üç yıllık altyapı maliyet karşılaştırması

Modül 4

Kurumsal Altyapı Tasarım Projesi ve Kapanış

Grup projesi: iş yükünden küme mimarisine tasarım
Mimari karar kayıtları ve aşamalı yatırım planı
Proje sunumları ve uzman geri bildirimi
Eğitim değerlendirmesi ve interaktif Soru-Cevap
Sertifika takdimi ve hesap şablonlarının teslimi
İleri öğrenme kaynakları ve kapanış

Eğitim Kazanımları

Kapasite Hesabı — Model boyutu ve veri hacminden bellek, GPU sayısı ve GPU-saat ihtiyacını gerekçeli olarak hesaplayabileceksiniz.
Hızlandırıcı Seçimi — GPU ve özel hızlandırıcıları bellek, bant genişliği, FP8 desteği ve yazılım ekosistemine göre kıyaslayabileceksiniz.
Küme Ağı Tasarımı — NVLink, InfiniBand ve RoCE v2 seçenekleriyle kolektif iletişimi darboğazsız bir küme ağı tasarlayabileceksiniz.
Depolama Tasarımı — Paralel dosya sistemi, nesne depolama ve NVMe katmanlarıyla veri ve kontrol noktası akışını planlayabileceksiniz.
GPU Zamanlama — Slurm, Kueue, Volcano ve MIG ile GPU kaynaklarını ekipler arasında adil ve verimli paylaştırabileceksiniz.
Küme İşletimi — DCGM ve Prometheus ile arızaları erken fark eden, sağlık kontrolleri otomatik bir küme işletebileceksiniz.
Maliyet Analizi — Kurum içi, bulut ve hibrit seçenekleri TCO, kullanım oranı ve veri egemenliği açısından karşılaştırabileceksiniz.
Uçtan Uca Tasarım — Mimari karar kayıtlarıyla desteklenen, aşamalı yatırım planı içeren bir yapay zeka altyapısı tasarlayacaksınız.

Kimler İçin Uygundur?

Altyapı ve çözüm mimarları
platform ve HPC mühendisleri
MLOps liderleri
sistem ve ağ yöneticileri ile GPU yatırımı planlayan BT ve Ar-Ge yöneticileri.

Sıkça Sorulan Sorular

Yapay Zeka Eğitim Altyapısı Tasarımı Eğitimi kimler için uygundur?

Program; altyapı ve çözüm mimarları, platform ve HPC mühendisleri, MLOps liderleri, sistem ve ağ yöneticileri ile GPU kümesi yatırımı planlayan BT ve Ar-Ge yöneticileri için tasarlanmıştır.

Eğitim ne kadar sürer ve hangi konuları kapsar?

Eğitim 4 tam gün ve 16 modülden oluşur. İş yükü analizi ve hızlandırıcı seçimi, ağ ve depolama mimarisi, Slurm ve Kubernetes ile orkestrasyon, işletim, maliyet, güvenlik ve tasarım projesi işlenir.

Katılım için hangi teknik bilgiler gerekiyor?

Linux sunucu yönetimi, temel ağ kavramları ve konteyner teknolojilerine aşinalık beklenir. Derin öğrenme konusunda uzmanlık gerekmez; model eğitiminin temel kavramlarını bilmek yeterlidir.

Belirli bir donanım üreticisine bağlı mı?

Hayır. NVIDIA, AMD ve özel hızlandırıcılar ile InfiniBand ve Ethernet tabanlı ağ seçenekleri tarafsız ölçütlerle karşılaştırılır. Laboratuvarlar eğitim kümesinde veya kurumun tercih ettiği bulut GPU ortamında yürütülür.

Eğitim sonunda somut bir çıktı elde ediliyor mu?

Evet. Katılımcılar kendi kurum senaryoları için kapasite hesabı, küme mimarisi, mimari karar kayıtları ve üç yıllık maliyet karşılaştırmasını içeren bir tasarım dokümanı hazırlar ve Digital Vizyon Akademi sertifikası alır.

Sertifikalandırma

Bu eğitim Katılım Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

YAPAY ZEKA EĞİTİM ALTYAPISI TASARIMI EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Ön Koşullar

Eğitim İçeriği

Yapay Zeka İş Yüklerinin Karakteristiği

Bellek ve Hesaplama Kapasitesi Hesabı

Hızlandırıcı Seçimi

İş Yükü Profilleme Atölyesi

Sunucu İçi GPU Bağlantısı

GPU Küme Ağı Tasarımı

Eğitim Depolama Mimarisi

Veri Yükleme Hattı ve Darboğaz Analizi

Slurm ile HPC Tarzı Zamanlama

Kubernetes ile GPU Yönetimi

Çok Kiracılı Kaynak Yönetimi

Self Servis ML Platform Katmanı

Güvenilirlik ve Küme İşletimi

Güç, Soğutma ve Tesis Gereksinimleri

Maliyet, Dağıtım Modeli ve Güvenlik

Kurumsal Altyapı Tasarım Projesi ve Kapanış

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Benzer Programlar

Yapay Zeka Güvenliğine Giriş Eğitimi

Yapay Zeka Kurumsal Strateji Yönetimi Eğitimi

Yapay Zeka Küresel Yönetişim Çerçeveleri Eğitimi