AWS Inferentia ve EC2 Inf Instances Eğitimi

Eğitim Hakkında

AWS yapımı çıkarım hızlandırıcıları ile ML model dağıtımı

Eğitim, AWS Inferentia hızlandırıcıları ve Amazon EC2 Inf1/Inf2 instance'larıyla makine öğrenmesi çıkarımının optimizasyonunu anlatır. Inferentia mimarisi ve NeuronCore, Inf1 ile Inf2 farkları, Neuron SDK ve DLAMI, PyTorch ve TensorFlow modellerinin derlenmesi (torch-neuronx, neuron-cc), dinamik/statik şekil, batch ve yükleme ayarları, neuron-top ile izleme, SageMaker, ECS ve EKS ile dağıtım ve GPU karşılaştırması işlenir.

Süre ve Format

2 Gün. Her gün dört modül; Inferentia mimarisi, Neuron SDK ile model derleme, benchmark ve dağıtım uygulamalı olarak işlenir.

Seviye

Temel Seviye — AWS Inferentia çipleri, EC2 Inf1/Inf2 instance'ları, Neuron SDK ve model derleme ile dağıtımı kapsayan giriş düzeyi yelpaze.

Öğrenme Metodu

Katılımcılar bir Inf instance'ında örnek PyTorch modelini Neuron ile derler, gecikme ve verim ölçümlerini GPU ve CPU ile karşılaştırır.

Neden Bu Eğitim?

🧠Çıkarım hızlandırma

Çıkarım için özel tasarlanmış çiplerle gecikmeyi düşürür, verimi artırırsınız.

💲Maliyet etkinliği

Fiyat/performans karşılaştırmasıyla uygun donanımı seçersiniz.

🧰Neuron SDK

Mevcut PyTorch ve TensorFlow modellerini az değişiklikle derlersiniz.

Anahtar Konular

aws inferentiaec2 inf1 inf2neuron sdktorch-neuronxmakine öğrenmesi çıkarımıml inferenceneuroncoreaws ml çipimodel derlemesagemaker inferentia

“Çıkarım maliyetini düşüren şey daha fazla donanım değil, doğru donanımdır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel bulut bilgisi

Python, PyTorch veya TensorFlow ile temel model çıkarımı bilgisi ve EC2 temelleri beklenir.

2

AWS hesabı

Uygulamalı laboratuvarlarda AWS Inferentia ve Amazon EC2 Inf Instances kaynakları oluşturabileceğiniz, bütçe uyarısı tanımlanmış bir AWS hesabı veya eğitmenin sağladığı lab hesabı gerekir.

3

Bilgisayar ortamı

Güncel bir tarayıcı, internet erişimi ve AWS CLI v2 kurabileceğiniz bir dizüstü bilgisayar yeterlidir.

4

Ek hazırlık

Temel makine öğrenmesi kavramları (model, çıkarım, batch) ve Linux komut satırı bilgisi faydalıdır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı Inf instance'ını başlatır ve Neuron araç zincirini kurar.

Modül 1

Inferentia Donanımı

Inferentia1 ve Inferentia2 çipleri
NeuronCore mimarisi ve bellek
Inf1 ve Inf2 instance aileleri
NeuronLink ve çoklu çip
Trainium ile ilişki
Bölgesel erişilebilirlik ve kota

Modül 2

Neuron SDK ve Ortam

Neuron DLAMI ve Deep Learning Containers
neuron-ls ve neuron-top
Neuron sürücü ve runtime
torch-neuronx / tensorflow-neuron paketleri
Neuron compiler (neuronx-cc)
Sürüm uyumluluğu

Modül 3

Desteklenen Modeller

Transformer ve BERT modelleri
Görüntü sınıflama (ResNet)
Büyük dil modeli çıkarımı (Inf2)
Operatör desteği ve fallback
Veri tipleri: BF16, FP16, FP32
Model boyutu ve bellek planı

Modül 4

Fiyat/Performans

Inf1/Inf2 ve GPU instance karşılaştırması
Birim çıkarım maliyeti
Spot ve Savings Plans
Verimlilik metrikleri
Kullanım senaryosu seçimi
Benchmark yaklaşımı

Günün hedefiKatılımcı modeli derler, performansı ölçer ve konteyner veya SageMaker ile dağıtır.

Modül 1

Model Derleme

torch_neuronx.trace kullanımı
Ahead-of-time compile ve cache
Statik şekil ve padding
Dynamic batching ve bucketing
Derleme hataları ve operatör uyumsuzluğu
Derlenmiş modeli kaydetme ve yükleme

Modül 2

Performans Optimizasyonu

Batch size ve gecikme/verim dengesi
NeuronCore gruplama (data parallel)
Pipeline ve tensor parallelism
Bellek kullanımı
Profil çıkarma (neuron-profile)
Benchmark scriptleri

Modül 3

Dağıtım

SageMaker endpoint ve Inf instance
ECS ve EKS üzerinde Neuron device plugin
Neuron container imajı
TorchServe / Triton ile servis
Autoscaling
Canlıya alma kontrol listesi

Modül 4

İzleme ve Sorun Giderme

neuron-monitor ve CloudWatch
Çekirdek kullanımı
Yaygın hatalar: sürüm, bellek
Kaynak temizliği ve maliyet
Güncelleme stratejisi
En iyi uygulamalar

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Çip mimarisi

Inferentia ve NeuronCore mimarisini açıklayabilirsiniz.

🔧

Instance seçimi

Inf1/Inf2 ve GPU seçenekleri arasında fiyat/performans karşılaştırması yapabilirsiniz.

☁️

Neuron kurulumu

Neuron SDK ve DLAMI ortamını kurabilirsiniz.

🔐

Model derleme

PyTorch modelini torch-neuronx ile derleyebilirsiniz.

📊

Batch ayarı

Batch ve şekil ayarlarıyla gecikme/verim dengesini yönetebilirsiniz.

🚀

Çoklu çekirdek

NeuronCore'ları data parallel ile kullanabilirsiniz.

🧩

Dağıtım

SageMaker, ECS veya EKS üzerinde çıkarım servisi dağıtabilirsiniz.

🛠️

İzleme

neuron-top ve neuron-monitor ile performansı izleyebilirsiniz.

Kimler İçin Uygundur?

Makine öğrenmesi mühendisleri
MLOps ekipleri
çıkarım maliyetini düşürmek isteyen veri bilimciler için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Makine öğrenmesi mühendisleri, MLOps ekipleri ve çıkarım maliyetini düşürmek isteyen veri bilimciler için uygundur.

Inferentia ile GPU farkı nedir?

Inferentia çıkarım için tasarlanmış özel bir hızlandırıcıdır; belirli modellerde daha düşük maliyetle yüksek verim sunar, eğitimde bu fark benchmark ile gösterilir.

Mevcut modelim uyumlu mu?

PyTorch ve TensorFlow modelleri çoğunlukla Neuron compiler ile derlenebilir; operatör desteği ve fallback durumları eğitimde incelenir.

Eğitim (training) de işleniyor mu?

Odak çıkarımdır; eğitim için Trainium yalnızca karşılaştırma amacıyla kısaca anılır.

Eğitim sonunda hangi belge verilir?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir. AWS'nin resmî sınavları için sınav başvurusu ve ücreti ilgili kuruma aittir; bu eğitim AWS Inferentia ve Amazon EC2 Inf Instances uygulama becerisine odaklanır ve sınav sonucu vaat etmez.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

INTRODUCTION TO AWS INFERENTIA AND AMAZON EC INF INSTANCES EĞİTİMİ