Ascend, Biren, Cambricon Performans Optimizasyonu

Eğitim Hakkında

DaVinci AI Core, Biren BR100 ve Cambricon BANG üzerinde çekirdek seviyesinde ayar

Bu uzman eğitimi, Huawei Ascend (910/310), Biren BR100 ve Cambricon MLU370 yapay zeka hızlandırıcılarında model ve operatör performansını sistematik biçimde artırmayı öğretir. CANN/AscendCL, BIRENSUPA ve Cambricon Neuware yazılım yığınlarını karşılaştırmalı ele alır; msprof, CNPerf ve roofline analiziyle darboğaz tespiti, TBE/BANG operatör geliştirme, Unified Buffer tiling, double buffering, FP16/BF16/INT8 karma hassasiyet ve operatör füzyonu tekniklerini uygulamalı işler. Eğitim sonunda katılımcı, matris çarpımı ve evrişim çekirdeklerini donanıma özgü olarak optimize edebilir.

Süre ve Format

4 Gün. Her gün dört modül; teori sonrası msprof/CNPerf profil çıkarma ve operatör optimizasyonu laboratuvarı yapılır.

Seviye

Uzman Seviye — Huawei Ascend, Biren ve Cambricon yapay zeka hızlandırıcılarında operatör, bellek ve çekirdek düzeyinde performans optimizasyonu.

Öğrenme Metodu

Gerçek Ascend/Cambricon örnek kodları üzerinde profil çıkarıp operatör çekirdeklerini adım adım yeniden yazarak ölçüm temelli ilerlenir.

Neden Bu Eğitim?

⚡Donanıma Özgü Hız

DaVinci Cube birimi ve MLUarch SIMD yolunu tam kullanarak teorik tepe TFLOPS'a yaklaşan çekirdekler yazarsınız.

🔍Darboğaz Tespiti

msprof, CNPerf ve roofline modeliyle hesaplama mı yoksa bellek bant genişliği mi sınırlayıcı olduğunu kesin saptarsınız.

🧩Çoklu Platform

Üç farklı yerli hızlandırıcıyı tek yöntemle optimize edip taşınabilir performans stratejisi kurarsınız.

Anahtar Konular

Ascend performans optimizasyonuCambricon BANGBiren BR100DaVinci mimarisiCANN AscendCLmsprof profiloperatör füzyonuyapay zeka hızlandırıcıMagicMind kuantizasyonroofline analizi

“Performans tahminle değil, roofline ve profille; donanımı ne kadar tanırsan o kadar hızlanır.”

Ön Koşullar

Eğitimden verim almak için faydalı olacak bilgi ve ortam gereksinimleri

1

C/C++ Deneyimi

İşaretçi, bellek yönetimi ve derleyici optimizasyon bayraklarına dair çalışma düzeyinde bilgi beklenir.

2

Derin Öğrenme Temeli

Evrişim, matris çarpımı (GEMM) ve tensör kavramlarını bilmek gerekir.

3

GPU/SIMD Mimarisi

Bellek hiyerarşisi, thread/blok ve warp benzeri paralellik kavramlarına aşinalık faydalıdır.

4

Lab Ortamı

Ascend/Cambricon kartına veya sağlanan bulut örneğine SSH erişimi ve CANN/Neuware SDK kurulumu gerekir.

Eğitim İçeriği

Programın gün gün akışı aşağıdadır. Bir güne tıklayarak o günün modüllerini ve içeriklerini görebilirsiniz.

Günün hedefiKatılımcı üç mimarinin hesaplama birimlerini ve bellek hiyerarşisini ayırt eder; doğru yazılım yığınını seçer.

Modül 1

Huawei Ascend DaVinci Mimarisi

AI Core içinde Cube (16x16x16 matris), Vector ve Scalar birimlerinin rolü
L0A/L0B/L0C ve Unified Buffer (UB) bellek katmanları
Ascend 910 eğitim ve 310 çıkarım kartlarının farkları
Tensör, vektör ve skaler yolların eşzamanlı çalışması
Cube biriminin FP16 akümülasyon davranışı
MTE (Memory Transfer Engine) ile veri taşıma yolları

Modül 2

Biren BR100 ve supa Mimarisi

Chiplet tabanlı BR100 tasarımı ve BR104 varyantı
supa (Scalable Unified Programming Architecture) iş parçacığı modeli
SPC (Streaming Processing Cluster) ve EU hesaplama birimleri
HBM2e bellek bant genişliği ve C2C bağlantısı
BF16/TF32 tensör hesaplama yolları
CUDA'ya benzeyen programlama modeliyle karşılaştırma

Modül 3

Cambricon MLUarch

MLU370-X8 çift çekirdekli yapı ve MLU-Link
IPU çekirdeği içindeki NFU (Neural Functional Unit)
NRAM, WRAM ve SRAM bellek hiyerarşisi
BANG heterojen programlama modeli
INT8/INT16 çıkarım için tensör birimleri
MLUarch'ın tensör ve vektör işlem ayrımı

Modül 4

Yazılım Yığınları Karşılaştırması

CANN, AscendCL (ACL) ve GE Graph Engine katmanları
BIRENSUPA içinde suDNN ve suBLAS kütüphaneleri
Cambricon Neuware: CNRT, CNNL ve MagicMind
atc (Ascend Tensor Compiler) ile model dönüştürme
Operatör kütüphanesi ile özel çekirdek geliştirme dengesi
Üç yığında çalışma zamanı ve bellek yönetimi API farkları

Günün hedefiKatılımcı profil araçlarıyla hesaplama ve bellek darboğazlarını niceliksel olarak tespit eder ve önceliklendirir.

Modül 1

Ascend Profil Araçları

msprof ile op_summary ve op_statistic raporu üretme
AI Core kullanım oranı ve pipe utilization metrikleri
Profiling API ile timeline ve aclprof entegrasyonu
UB/L1 bellek transfer sürelerinin okunması
aic_metrics ile Cube ve Vector birim doluluğu
MindStudio üzerinde profil görselleştirme

Modül 2

Cambricon Profil Araçları

CNPerf ile kernel bazlı zaman ölçümü
CNMon ile MLU doluluk ve bellek izleme
cnpapi ile performans sayaçlarına erişim
NRAM/WRAM transfer gecikmelerinin analizi
MagicMind profile raporu yorumlama
Çok çekirdekli MLU-Link trafiği izleme

Modül 3

Roofline ve Yoğunluk Analizi

Aritmetik yoğunluk (FLOP/byte) hesaplama
Tepe TFLOPS ve HBM bant genişliği ridge noktası
Çekirdeğin hesaplama- mı bellek-sınırlı mı olduğunu belirleme
Operatör bazında roofline üzerinde konumlandırma
Karma hassasiyetin yoğunluğa etkisi
Teorik tavan ile gerçek verim arası boşluğun yorumu

Modül 4

Darboğaz Önceliklendirme

Amdahl yasasıyla optimizasyon getirisini tahmin etme
Hot operatörlerin toplam süreye katkısını sıralama
Bellek bağlı operatörlerde füzyon fırsatı tespiti
Senkronizasyon ve host-device transfer gecikmeleri
Kernel başlatma yükü (launch overhead) ölçümü
Optimizasyon yol haritası çıkarma

Günün hedefiKatılımcı özel operatör çekirdeklerini tiling ve double buffering ile yeniden yazarak verimi artırır.

Modül 1

Ascend TBE/TIK Operatör Geliştirme

TBE (Tensor Boost Engine) ve DSL ile operatör tanımı
TIK API ile düşük seviye çekirdek yazımı
Compute, schedule ve build aşamalarının ayrımı
data_move ile GM↔UB veri akışı
vec_add, vec_mul gibi vektör primitifleri
Operatör prototipi ve shape inference tanımı

Modül 2

Cambricon BANG C Çekirdekleri

__mlu_global__ ve __mlu_func__ çekirdek nitelikleri
__nram__ bellek bildirimi ve memcpy yönü
__bang_add, __bang_mul SIMD içsel fonksiyonları
taskDim ve taskId ile iş bölüştürme
Union/Block görev tiplerinin seçimi
CNRT ile kernel başlatma ve senkronizasyon

Modül 3

Tiling Stratejileri

Büyük tensörleri UB/NRAM kapasitesine bölme
GEMM için M-N-K blok boyutu seçimi
Evrişimde im2col yerine doğrudan tiling
Çift tamponlama için bellek bütçesi ayırma
Taşma (spill) olmadan maksimum blok hesaplama
Shape'e göre dinamik tiling parametreleri

Modül 4

Gecikme Gizleme

Double buffering ile DMA-hesaplama örtüşmesi
Pipeline aşamalarının (MTE2/Vector/MTE3) paralel çalışması
Bellek erişiminde banka çakışmalarını azaltma
Prefetch ile sonraki blok verisini önceden çekme
Senkronizasyon bariyerlerini en aza indirme
Verim artışını profil ile doğrulama

Günün hedefiKatılımcı karma hassasiyet ve füzyonla model verimini artırır, çok kartlı ölçeklemeyi doğru kurar.

Modül 1

Karma Hassasiyet ve Kuantizasyon

FP16/BF16 eğitimde loss scaling ve taşma kontrolü
INT8 çıkarım için kalibrasyon ve ölçek faktörü
Cambricon MagicMind üzerinde PTQ akışı
Ascend amct ile model kuantizasyonu
Doğruluk kaybı ile hız kazanımı dengesi
Per-channel ve per-tensor kuantizasyon farkı

Modül 2

Operatör Füzyonu

Conv+BN+ReLU füzyonu ile ara bellek yazımını önleme
Ascend UB fusion pass yapılandırması
GE graph seviyesinde otomatik füzyon
Elementwise zincirlerinin tek çekirdekte toplanması
Füzyon öncesi/sonrası bellek trafiği karşılaştırması
Füzyon kurallarının desteklenmediği durumlar

Modül 3

Çok Kartlı Ölçekleme

HCCL ile Ascend üzerinde all-reduce iletişimi
MLU-Link ve Cambricon CNCL kolektifleri
Veri paralelliği ve gradyan senkronizasyonu
İletişim-hesaplama örtüşmesiyle ölçek verimliliği
Topoloji farkında kolektif yerleşimi
Zayıf ve güçlü ölçekleme ölçümü

Modül 4

Üretim Dağıtımı ve İzleme

atc/MagicMind ile çevrimdışı model derleme
Çıkarım hizmetinde batch ve stream yapılandırması
Bellek havuzu ve stream yeniden kullanımı
Üretimde gecikme (p99) ve throughput izleme
Isınma (warmup) ve autotune önbelleği
Performans regresyonlarını CI'da yakalama

Eğitim Kazanımları

Program sonunda katılımcılar:

✅

Mimari Ayrımı

DaVinci, supa ve MLUarch hesaplama birimlerini ve bellek katmanlarını ayırt edersiniz.

✅

Profil Çıkarma

msprof ve CNPerf ile darboğazları niceliksel olarak tespit edersiniz.

✅

Roofline Analizi

Operatörün hesaplama mı bellek mi sınırlı olduğunu roofline ile belirlersiniz.

✅

Operatör Yazımı

TBE/TIK ve BANG C ile özel çekirdekler geliştirirsiniz.

✅

Tiling Tasarımı

UB/NRAM kapasitesine göre tiling ve double buffering kurarsınız.

✅

Karma Hassasiyet

FP16/BF16/INT8 ile doğruluğu koruyarak hız kazanırsınız.

✅

Füzyon

Conv+BN+ReLU füzyonuyla bellek trafiğini düşürürsünüz.

✅

Ölçekleme

HCCL/CNCL ile çok kartlı eğitim ve çıkarımı verimle ölçeklersiniz.

Kimler İçin Uygundur?

Yapay zeka hızlandırıcı kümeleri işleten HPC/MLOps mühendisleri
derin öğrenme çıkarım/eğitim pipeline'larını yerli donanıma taşıyan performans mühendisleri
çekirdek geliştiricileri için uygundur

Sıkça Sorulan Sorular

Bu eğitim kimler için uygundur?

Yerli yapay zeka hızlandırıcı kümeleri işleten HPC/MLOps mühendisleri, performans mühendisleri ve çekirdek geliştiricileri için uygundur.

Hangi donanımlar ele alınıyor?

Huawei Ascend 910/310, Biren BR100/BR104 ve Cambricon MLU370 hızlandırıcıları ile CANN, BIRENSUPA ve Neuware yazılım yığınları karşılaştırmalı işlenir.

Programlama bilgisi şart mı?

Evet, TBE/TIK ve BANG C çekirdek yazımı için C/C++ deneyimi ve temel GPU/SIMD mimarisi bilgisi gereklidir.

Eğitim sonunda sertifika veriliyor mu?

Katılım ve değerlendirme sonrası Digital Vizyon Akademi Katılım ve Başarı Sertifikası verilir.

Lab için donanıma ihtiyaç var mı?

Ascend/Cambricon kartına fiziksel erişim ya da sağlanan bulut örneğiyle SDK kurulu bir ortam gereklidir.

Sertifikalandırma

Bu eğitim Digital Vizyon Akademi Başarı Sertifikası ile tamamlanır.

Eğitim başında “Ön Test”, bitiminde “Son Test” uygulanarak gelişim ölçümlenir. Değerlendirme formunu dolduran katılımcılar sertifikalarını alır. Sertifikanızın geçerliliğini Sertifika Sorgulama sayfasından doğrulayabilirsiniz.

Örnek Sertifika

PERFORMANCE OPTIMIZATION ON ASCEND, BIREN, AND CAMBRICON EĞİTİMİ

Eğitim Hakkında

Neden Bu Eğitim?

Anahtar Konular

Ön Koşullar

Eğitim İçeriği

Huawei Ascend DaVinci Mimarisi

Biren BR100 ve supa Mimarisi

Cambricon MLUarch

Yazılım Yığınları Karşılaştırması

Ascend Profil Araçları

Cambricon Profil Araçları

Roofline ve Yoğunluk Analizi

Darboğaz Önceliklendirme

Ascend TBE/TIK Operatör Geliştirme

Cambricon BANG C Çekirdekleri

Tiling Stratejileri

Gecikme Gizleme

Karma Hassasiyet ve Kuantizasyon

Operatör Füzyonu

Çok Kartlı Ölçekleme

Üretim Dağıtımı ve İzleme

Eğitim Kazanımları

Kimler İçin Uygundur?

Sıkça Sorulan Sorular

Sertifikalandırma

Eğitim Bilgileri

Bu Eğitimle Birlikte Tercih Edilenler

HPE Primera I Management and Connectivity Eğitimi

HPE SimpliVity System Administration Eğitimi

HPE Superdome Flex Server Administration Eğitimi

HPE Synergy Administration with HPE OneView Eğitimi

HPE Synergy Yönetimi Eğitimi