Amazon FSx for Lustre Eğitimi

Eğitim Hakkında

FSx for Lustre dosya sistemi, S3 veri deposu ve HPC performans ayarları

Bu eğitim, Amazon FSx for Lustre ile yüksek performanslı paylaşımlı dosya sistemi kurmayı anlatır. Scratch ve persistent dağıtım türleri, throughput per TiB seçimleri, S3 veri deposu ilişkisi ve lazy loading, Lustre istemcisi kurulumu ve mount, striping, yedekleme, VPC güvenlik grubu, CloudWatch metrikleri, makine öğrenmesi, HPC ve medya iş yükleri için performans ayarı laboratuvarlarla işlenir.

Süre ve Format

2 Gün. Her gün dört modül; her modülde altı konu başlığı, canlı gösterim ve uygulamalı laboratuvar.

Seviye

Temel Seviye — S3 entegrasyonu, dağıtım türleri, striping ve HPC performansı konularını kapsayan uygulamalı eğitim

Öğrenme Metodu

Bulut hesabında konsol ve CLI ile adım adım laboratuvarlar yapılır, ardından kısa senaryo çalışmalarıyla pekiştirilir.

Neden Bu Eğitim?

🎯Yüksek Verim

Yüzlerce GB/s toplam throughput hedefleyen paylaşımlı dosya sistemi tasarlarsınız.

🛠️S3 Entegrasyonu

S3 veri gölünü hızlı bir dosya sistemi olarak sunmayı öğrenirsiniz.

🔍Maliyet Dengesi

Scratch, persistent ve veri sıkıştırma seçenekleriyle maliyeti yönetirsiniz.

Anahtar Konular

Amazon FSx for Lustre eğitimiAWS LustreFSx Lustre S3HPC dosya sistemiLustre stripingAWS yüksek performanslı depolamaML eğitim depolamaFSx scratch persistentparalel dosya sistemi

“Hız yalnızca disk ile değil, veriyi paralel besleyen mimari ile gelir.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

Temel Bulut Bilgisi

Bulut hizmet modelleri, bölge ve erişilebilirlik bölgesi kavramlarına genel aşinalık yeterlidir.

2

Linux Bilgisi

Linux mount, kernel modülü ve temel dosya sistemi komutlarına aşinalık gerekir.

3

Çalışma Ortamı

Güncel tarayıcı ve kararlı internet bağlantısı olan bir bilgisayar gerekir; laboratuvarlar için bir bulut hesabı veya kum havuzu ortamı kullanılır.

4

Komut Satırı

Terminalde temel gezinme ve JSON çıktısı okuma alışkanlığı laboratuvarları hızlandırır.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı dosya sistemi oluşturur, S3 ile ilişkilendirir ve istemcilere bağlar.

Modül 1

Lustre Mimarisi

MDS, OSS ve OST bileşenleri ve istemci akışı
Paralel dosya sistemi mantığı ve veri striping
HPC, ML eğitim ve medya render kullanım alanları
FSx for Lustre ile EFS, FSx ONTAP karşılaştırması
Tek bir erişilebilirlik bölgesine bağlı yapı
Kapasite artışı (1.2 TiB adımları) ve sınırlar

Modül 2

Dağıtım Türleri

Scratch 1/2: geçici veri, düşük maliyet, veri çoğaltma yok
Persistent 1/2: dayanıklı depolama ve ana makine değişimi
Throughput per TiB seçenekleri (125 – 1000 MB/s/TiB)
SSD, HDD ve ek SSD okuma önbelleği
Sıkıştırma (LZ4) ile verimli depolama
Seçim kriterleri: süre, dayanıklılık ve maliyet

Modül 3

S3 Entegrasyonu

Data repository association ile S3 yol eşleme
Lazy loading: ilk erişimde dosyanın S3'ten getirilmesi
Hsm_restore ile verinin önceden yüklenmesi
Otomatik içe/dışa aktarım ve export task
S3 ile metaverinin senkronizasyonu
Kova politikası ve servis bağlı rol

Modül 4

İstemci Kurulumu ve Mount

Amazon Linux ve Ubuntu için Lustre istemcisi (lustre-client)
mount -t lustre fs-id.fsx.region.amazonaws.com@tcp:/mountname
fstab ile kalıcı bağlama ve _netdev
Güvenlik grubu portları: 988 ve 1018-1023
Aynı VPC ve eşlenmiş VPC erişimi
Bağlantı ve izin sorunlarında tanı adımları

Günün hedefiKatılımcı performansı ayarlar, yedekleri yönetir ve ölçüm yapar.

Modül 1

Performans Ayarı

lfs setstripe ile stripe sayısı ve boyutu
Büyük ve küçük dosya iş yükü için strateji
İstemci tarafı önbellek ve metaveri işlemleri
EC2 ağ bant genişliği ve EFA kullanımı
Throughput kapasitesini artırma
Paralel G/Ç ile ölçeklenen uygulama modeli

Modül 2

Benchmark ve Analiz

fio ve IOR ile okuma/yazma testi
Metaveri yoğun iş yükleri (mdtest)
CloudWatch metrikleri: DataReadBytes, FreeDataStorageCapacity
Darboğaz belirleme: istemci, ağ, sunucu
Çok istemcili yük testi
Sonuçların hedef performansla karşılaştırması

Modül 3

Yedekleme ve Dayanıklılık

Otomatik günlük yedek ve manuel yedek
Yedekten yeni dosya sistemi geri yükleme
S3'e dışa aktarım ile kalıcı arşiv
Persistent dağıtımda donanım hatası davranışı
Bakım penceresi ve güncelleme
Kurtarma hedefleri (RPO/RTO) tartışması

Modül 4

Güvenlik ve Maliyet

KMS ile dinlenmede, aktarımda şifreleme
Güvenlik grubu ve VPC kontrolleri
POSIX izinleri ve kullanıcı yönetimi
Kapasite, throughput ve yedek maliyet kalemleri
Veri sıkıştırma ve silme politikası ile tasarruf
ML eğitimi, genom analizi ve render örnek mimarileri

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Tür Seçimi

Scratch ve persistent dağıtımlar arasında iş yüküne göre seçim yapabilirsiniz.

🔧

Dosya Sistemi

FSx for Lustre dosya sistemi oluşturup boyutlandırabilirsiniz.

📊

S3 Bağlantısı

S3 veri deposu ilişkisi ve lazy loading ayarlarını yapabilirsiniz.

🔐

İstemci Bağlama

Lustre istemcisini kurup dosya sistemini kalıcı olarak bağlayabilirsiniz.

🚀

Striping

lfs setstripe ile iş yüküne uygun stripe ayarı yapabilirsiniz.

🧩

Performans Testi

fio ve IOR ile throughput ve IOPS ölçümü yapabilirsiniz.

📈

Yedek Yönetimi

Yedek ve S3 dışa aktarım stratejilerini planlayabilirsiniz.

🛡️

Maliyet Tasarımı

Sıkıştırma ve throughput seçimiyle maliyeti dengeleyebilirsiniz.

Kimler İçin Uygundur?

HPC
makine öğrenmesi ve medya işleme yapan sistem yöneticileri
mühendisler
veri bilimci ekipleri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

HPC, makine öğrenmesi ve medya işleme yapan sistem yöneticileri, mühendisler ve veri bilimci ekipleri için uygundur.

Lustre bilgisi gerekli mi?

Gerekmez; MDS, OST ve striping kavramları eğitimde sıfırdan anlatılır.

Windows istemciler bağlanabilir mi?

FSx for Lustre Linux istemciler içindir; Windows paylaşımı için FSx for Windows File Server eğitimi önerilir.

S3 verisi kopyalanıyor mu?

Veri lazy loading ile ilk erişimde getirilir, isteğe bağlı olarak önceden yüklenir ve geri S3'e aktarılır.

Sertifika veriliyor mu?

Katılım ve başarı koşulunu sağlayanlara Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

INTRODUCTION TO AMAZON FSX FOR LUSTRE EĞİTİMİ