Amazon Elastic Inference Eğitimi

Eğitim Hakkında

Derin öğrenme çıkarımı için kısmi GPU hızlandırma ve maliyet optimizasyonu

Bu eğitim, derin öğrenme modellerinin çıkarım (inference) aşamasında Amazon Elastic Inference ile GPU hızlandırmanın nasıl ekleneceğini anlatır. Accelerator boyutları (eia2), EC2 ve SageMaker uç noktalarına ekleme, TensorFlow ve MXNet entegrasyonu, VPC endpoint ve IAM yapılandırması, CloudWatch ile kullanım izleme ve Inferentia, GPU örnekleriyle maliyet karşılaştırması işlenir; servis yeni projelerde artık önerilmeyen bir yaklaşım olarak değerlendirilir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı konu başlığı, canlı gösterim ve uygulamalı laboratuvar.

Seviye

Temel Seviye — GPU hızlandırma, accelerator ekleme, maliyet ve inference mimarisi konularını kapsayan uygulamalı eğitim

Öğrenme Metodu

Bulut hesabında konsol ve CLI ile adım adım laboratuvarlar yapılır, ardından kısa senaryo çalışmalarıyla pekiştirilir.

Neden Bu Eğitim?

🎯Doğru Hızlandırma

Çıkarım yükü için tam GPU yerine boyutlandırılmış accelerator kullanımını değerlendirirsiniz.

🛠️Maliyet Karşılaştırma

CPU, GPU, Elastic Inference ve Inferentia seçeneklerini maliyet ve gecikme açısından kıyaslarsınız.

🔍Geçiş Planı

Mevcut Elastic Inference kullanımını güncel çıkarım seçeneklerine taşıma yaklaşımını öğrenirsiniz.

Anahtar Konular

Amazon Elastic Inference eğitimiAWS çıkarım hızlandırmaEI acceleratorSageMaker inferenceAWS Inferentiaderin öğrenme çıkarımGPU maliyet optimizasyonuTensorFlow ServingAWS makine öğrenmesi

“Çıkarım maliyeti, modelin eğitiminden çok daha uzun süre faturaya yansır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Bulut Bilgisi

Bulut hizmet modelleri, bölge ve erişilebilirlik bölgesi kavramlarına genel aşinalık yeterlidir.

2

Makine Öğrenmesi Temeli

Eğitim ve çıkarım aşamaları ile temel derin öğrenme çerçevelerine aşinalık faydalıdır.

3

Çalışma Ortamı

Güncel tarayıcı ve kararlı internet bağlantısı olan bir bilgisayar gerekir; laboratuvarlar için bir bulut hesabı veya kum havuzu ortamı kullanılır.

4

Komut Satırı

Terminalde temel gezinme ve JSON çıktısı okuma alışkanlığı laboratuvarları hızlandırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı çıkarım yükünü analiz eder ve Elastic Inference accelerator'ı bir uç noktaya ekler.

Modül 1

Çıkarım ve Hızlandırma Kavramları

Eğitim ve çıkarım aşamalarının kaynak profili farkı
Çıkarımda GPU kullanım oranı düşüklüğü sorunu
Elastic Inference'ın kısmi GPU hızlandırma mantığı
Accelerator türleri: eia2.medium, large, xlarge
FP16 ve FP32 performans özellikleri
Servis duyurusu ve yaşam döngüsü bilgisi

Modül 2

Mimari ve Ağ

Accelerator'ın EC2 örneğine ağ üzerinden eklenmesi
Elastic Inference VPC endpoint (PrivateLink) gerekliliği
Erişilebilirlik bölgesi ve güvenlik grubu ayarları
IAM rolünde elastic-inference:Connect izni
Örnek ve accelerator birlikte boyutlandırma
Desteklenen bölgeler ve çerçeve sürümleri

Modül 3

EC2 Üzerinde Kurulum

Deep Learning AMI ve EI destekli çerçeve paketleri
TensorFlow Serving için EI sürümü
Accelerator'lı EC2 başlatma (CLI elastic-inference-accelerators)
Modeli EI uyumlu biçime (SavedModel) hazırlama
Bağlantı doğrulama ve ilk istek testi
Sorun giderme: endpoint ve izin hataları

Modül 4

SageMaker Entegrasyonu

SageMaker uç noktası oluşturma ve accelerator_type parametresi
Python SDK ile deploy(accelerator_type='ml.eia2.medium')
Model sunumu için PyTorch ve MXNet seçenekleri
Çoklu model ve otomatik ölçekleme etkisi
Uç nokta mimarisi: gerçek zamanlı ve toplu çıkarım
Yapılandırmayı sürümleme ve güncelleme

Günün hedefiKatılımcı gecikme ve maliyeti ölçer, alternatif çıkarım seçeneklerine geçiş planı hazırlar.

Modül 1

Performans Ölçümü

Gecikme (p50/p99) ve verim (throughput) ölçümü
CloudWatch metrikleri: AcceleratorUtilization, AcceleratorMemoryUsage
Yük testi ile CPU-only ve EI karşılaştırması
Toplu istek (batching) etkisi
Model boyutu ve accelerator bellek sınırı
Darboğaz analizi: ön işleme ve ağ süresi

Modül 2

Maliyet Analizi

Saatlik accelerator maliyeti ve örnek maliyeti
GPU örneği (G4) ile EI maliyet karşılaştırması
Savings Plans etkisi
Boşta kalan accelerator maliyetini yakalama
Birim tahmin başına maliyet hesaplama tablosu
Doğru boyutlandırma ile tasarruf senaryoları

Modül 3

Alternatifler ve Geçiş

AWS Inferentia ve Inf1/Inf2 örnekleri, Neuron SDK
Graviton CPU ile çıkarım ve ONNX Runtime
SageMaker Inference Recommender ve Serverless Inference
Elastic Inference'tan güncel seçeneklere geçiş adımları
Model derleme ve yeniden doğrulama
Geçiş sırasında A/B ve kademeli yönlendirme

Modül 4

Güvenlik ve İşletim

Model ve veri için KMS şifreleme
Uç nokta erişimini VPC ve IAM ile sınırlama
Logging ve model izleme
Ölçekleme politikaları ve sıcak kapasite
Sürüm yönetimi ve geri alma
Üretim kontrol listesi

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Hızlandırma Mantığı

Çıkarım yükü için kısmi GPU hızlandırma yaklaşımını açıklayabilirsiniz.

🔧

Accelerator Seçimi

Model boyutu ve gecikme hedefine göre eia2 boyutu seçebilirsiniz.

📊

Ağ Kurulumu

VPC endpoint ve IAM izinleriyle EI bağlantısını yapılandırabilirsiniz.

🔐

EC2 Dağıtımı

EI destekli çerçeveyle EC2 üzerinde model sunabilirsiniz.

🚀

SageMaker Uç Noktası

accelerator_type ile SageMaker uç noktası dağıtabilirsiniz.

🧩

Performans Ölçümü

CloudWatch metrikleriyle accelerator kullanımını ve gecikmeyi izleyebilirsiniz.

📈

Maliyet Kıyas

CPU, GPU ve EI seçeneklerinin tahmin başına maliyetini hesaplayabilirsiniz.

🛡️

Geçiş Planı

Inferentia ve güncel çıkarım seçeneklerine geçiş planı hazırlayabilirsiniz.

Kimler İçin Uygundur?

Makine öğrenmesi modellerini bulutta sunan ML mühendisleri
veri bilimciler
altyapı mimarları için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Makine öğrenmesi modellerini bulutta sunan ML mühendisleri, veri bilimciler ve altyapı mimarları için uygundur.

Elastic Inference hâlâ kullanılıyor mu?

AWS yeni müşterilere kapatıp Inferentia ve diğer seçenekleri önermektedir; eğitim mevcut sistemleri anlama ve geçiş planı açısından işlenir.

Derin öğrenme bilgisi şart mı?

Modeli sıfırdan eğitmek gerekmez, ancak çıkarım ve temel çerçeve kavramlarına aşinalık yararlıdır.

Hangi çerçeveler işlenir?

TensorFlow Serving, MXNet ve PyTorch ile SageMaker uç noktası örnekleri üzerinde çalışılır.

Sertifika veriliyor mu?

Katılımcılara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

INTRODUCTION TO AMAZON ELASTIC INFERENCE EĞİTİMİ