NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı

**KoJiRo** · 16 Aralık 2023, 19:41

AMD, Instinct MI300X lansmanında yapay zeka (AI) ve yüksek performanslı bilgi işlem (HPC) konusunda yeni grafik yongalarının NVIDIA H100‘den önemli ölçüde daha hızlı olduğunu iddia etmişti. Rakibi ise tabiri caizse AMD’yi yalanlayarak durumun tam tersi olduğunu gösterdi.

Yeşil takıma göre, uygun şekilde optimize edildiğinde H100 tabanlı sistemler Instinct MI300X destekli sunuculardan daha hızlı. NVIDIA, AMD’nin performansı Instinct MI300X tabanlı sunucusuyla karşılaştırmak için kullandığı DGX H100 makinesi için optimize edilmiş yazılım kullanmadığını iddia ediyor. Bu bağlamda, yüksek yapay zeka performansının sağlam bir paralel hesaplama yapısına, çok yönlü bir araç paketine, son derece rafine algoritmalara (optimizasyonlar) ve gelişmiş donanıma bağlı olduğu belirtiliyor. Başka bir deyişle, bahsedilen puzzle’ın parçalarından biri eksik olduğunda performans düzeyi düşük, hatta vasatın altında olabiliyor.

NVIDIA’ya göre TensorRT-LLM, H100 ve benzeri GPU’lar için çok önemli bir performans sağlayıcı olan Hopper mimarisi için özel olarak tasarlanmış gelişmiş çekirdek optimizasyonlarına sahip. Bu ince ayar, Llama 2 70B gibi modellerin çıkarımların hassasiyetinden ödün vermeden H100 GPU’larda hızlandırılmış FP8 işlemlerini çalıştırmasına olanak tanıyor.

GPU üreticisi bunu kanıtlamak için Llama 2 70B modelini çalıştıran sekiz H100 GPU ile donatılmış tek bir DGX H100 sunucusunun performans ölçümlerini sundu. Bir DGX H100 makinesi, bir toplu iş boyutuna ayarlandığında tek bir çıkarım görevini yalnızca 1.7 saniyede tamamlayabiliyor. AMD’nin sekiz yollu MI300X sisteminde ise bu süre 2.5 saniye (AMD tarafından yayınlanan rakamlara göre).

Technopat

16 Aralık 2023, 19:41	#1
Çevrimiçi KoJiRo	NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı Www.TrendForum.Net AMD, Instinct MI300X lansmanında yapay zeka (AI) ve yüksek performanslı bilgi işlem (HPC) konusunda yeni grafik yongalarının NVIDIA H100‘den önemli ölçüde daha hızlı olduğunu iddia etmişti. Rakibi ise tabiri caizse AMD’yi yalanlayarak durumun tam tersi olduğunu gösterdi. Yeşil takıma göre, uygun şekilde optimize edildiğinde H100 tabanlı sistemler Instinct MI300X destekli sunuculardan daha hızlı. NVIDIA, AMD’nin performansı Instinct MI300X tabanlı sunucusuyla karşılaştırmak için kullandığı DGX H100 makinesi için optimize edilmiş yazılım kullanmadığını iddia ediyor. Bu bağlamda, yüksek yapay zeka performansının sağlam bir paralel hesaplama yapısına, çok yönlü bir araç paketine, son derece rafine algoritmalara (optimizasyonlar) ve gelişmiş donanıma bağlı olduğu belirtiliyor. Başka bir deyişle, bahsedilen puzzle’ın parçalarından biri eksik olduğunda performans düzeyi düşük, hatta vasatın altında olabiliyor. NVIDIA’ya göre TensorRT-LLM, H100 ve benzeri GPU’lar için çok önemli bir performans sağlayıcı olan Hopper mimarisi için özel olarak tasarlanmış gelişmiş çekirdek optimizasyonlarına sahip. Bu ince ayar, Llama 2 70B gibi modellerin çıkarımların hassasiyetinden ödün vermeden H100 GPU’larda hızlandırılmış FP8 işlemlerini çalıştırmasına olanak tanıyor. GPU üreticisi bunu kanıtlamak için Llama 2 70B modelini çalıştıran sekiz H100 GPU ile donatılmış tek bir DGX H100 sunucusunun performans ölçümlerini sundu. Bir DGX H100 makinesi, bir toplu iş boyutuna ayarlandığında tek bir çıkarım görevini yalnızca 1.7 saniyede tamamlayabiliyor. AMD’nin sekiz yollu MI300X sisteminde ise bu süre 2.5 saniye (AMD tarafından yayınlanan rakamlara göre). Technopat __________________ İmzalardaki bağlantıları veya görselleri görüntülemek için gönderi sayınızın 10 veya daha fazla olması gerekir.

Benzer Konular
Konu	Konuyu Başlatan	Forum	Yanıtlar	Son Mesaj
Saçınızı Nasıl Daha Hızlı Kurutursunuz?	Beatrice	Saç ve Makyaj Dünyası	2	22 Ekim 2023 15:26
Bilgisayar Nasıl Daha Hızlı Çalışır Hale Getirilir? - Pc Nasıl Daha Hızlı Çalışır Hale Getirilir?	Asi Ruh	Bilgisayar ve Donanım	0	13 Nisan 2023 13:14
Ryzen 7 7800X3D, AMD’ye Göre i9-13900K’dan %20 Daha Hızlı	coolbites	Bilgisayar ve Donanım	5	13 Mart 2023 20:49
İnternet Tarayıcıları Karşılaştırması: Hangisi Daha Hızlı?	KoJiRo	Teknoloji Trend Haberleri	0	29 Haziran 2022 19:30
RX 6700, Testlerde RX 6650 XT’den %10’a Kadar Daha Hızlı	KoJiRo	Teknoloji Trend Haberleri	0	14 Haziran 2022 20:59

Şu anda bu konuyu görüntüleyen etkin kullanıcılar: 1 (0 üye ve 1 konuk)

NVIDIA’dan AMD’ye Yanıt: H100, MI300X’ten 2 Kat daha Hızlı

Bilgisayar ve Donanım ile ilgili tüm konulara buradan ulaşabilirsiniz.