AMD Instinct MI300X: 192GB HBM3 と AMDの大規模AIモデルへの賭け

AMD Instinct MI300Xの主な特徴は、192GB HBM3と5.3TB/sのメモリ帯域幅です。 これは、大規模なAIモデルやHPC向けのサーバーアクセラレーターで、メモリの容量と速度、マトリックス計算、および高いFP64性能が重要です。

MI300Xは、AMDの初めてのアクセラレーターで、NVIDIA H100と真剣に競争を始めましたが、その優位性は全ての負荷において同じようには現れません。

CDNA 3: AIおよびHPC向けのアーキテクチャ

MI300Xの基盤にはCDNA 3があり、これはデータセンター向けのAMDの計算アーキテクチャです。ゲーム用グラフィックには設計されておらず、マトリックス操作、FP64、FP8/BF16、HBM、および複数アクセラレーターのスケーリングに最適化されています。

MI300Xは304のコンピュートユニット、1216のマトリックスコア、および19,456のストリームプロセッサを備えています。ピーク周波数は2.1GHzに達します。8つのコンピューティングXCDが一つのモジュールに結合され、全体のトランジスタ数は1530億に達します。

AMDは、異なる計算フォーマットのために次のピーク性能を指定しています：

これらの数値をゲーム用GPUと直接比較するのは不適切です。MI300XはAIおよびHPC向けであり、ラスタライズやゲーム負荷には向いていません。

192GB HBM3 - MI300Xの主な利点

アクセラレーターは192GB HBM3を8192ビットバスで搭載し、帯域幅は5.3TB/sです。Infinity Cacheの容量は256MBです。

メモリの容量と帯域幅において、MI300XはH100およびH200を超えています：

大規模な言語モデルについて、HBMの容量はモデルの重みや中間データを格納するために必要なアクセラレーターの数に影響します。モデルに必要なGPUの数が少ないほど、推論中にアクセラレーター間で転送されるデータも少なくなります。

MLPerf Inference v4.1では、一つのMI300XがLlama 2 70Bを完全に一つのアクセラレーターのメモリ内に格納できました。8つのGPU構成では、MI300Xのサーバーモードとオフラインモードの結果が8つのH100システムと近いものでした。

大規模LLMの性能

小規模なモデルでは、大容量メモリだけではリーダーシップが保証されません。

AMDが公開したテストでは、Llama 3.1を用いて8つのMI300Xと8つのH100を配置したシステムが使用されました：

Llama 3.1 70Bでは、H100が少し速いかほぼ同等の結果を示しました。Llama 3.1 405Bでは、特に長い生成において、MI300Xが優位に立ちました。

これらの結果はAMDによって公開されたものであるため、最適化された構成の比較として見るのが最も適切で、独立した一般的な評価とは言えません。

MI300Xの優位性は負荷の性質に依存しています。メモリによって性能が制限されるほど、192GB HBM3と5.3TB/sの帯域幅の利点がより明確になります。

高いFP64性能

MI300XはAIだけでなくHPCにも対応しています。

FP64のピーク性能は、ベクトル操作で81.7 TFLOPS、マトリックスで163.4 TFLOPSに達します。

このような性能は、計算流体力学、気候および物理モデリング、分子動力学、地球物理学、その他の科学計算において需要があります。

HPCにおいて、FP64の高速性はMI300Xのアーキテクチャにおける優先事項の一つであり、二次的な機能ではありません。

八つのMI300X - 1.5TB HBM3

8つのMI300Xのシステムでは、1,536GB HBM3、つまり約1.5TBのメモリがアクセラレーターに直接搭載されています。

この容量により、大規模なモデルを複数のノードに分散して配置するのではなく、単一のサーバー内に配置することが可能になります。

MI300XはOAM形式で提供され、Universal Base Boardサーバープラットフォームに搭載されます。アクセラレーター間はInfinity Fabricで接続されています。

各MI300Xは、最大128GB/sの帯域幅を持つ7つのInfinity Fabricチャネルを装備しており、プロセッサーとの接続はPCIe 5.0 x16を介して行われます。

一つのアクセラレーターあたり最大750W

MI300Xの最大TBPは750Wです。

OAMのフォームファクターとこのレベルの消費電力は、MI300Xを一般的なワークステーションで使用することを排除します。モジュールには独自のアクティブ冷却はありません - 必要な空気の流れはサーバープラットフォームによって提供されます。

8つのMI300Xは、CPU、メモリ、ストレージ、およびネットワーク機器を除外しても、アクセラレーターだけで6kWの消費を生み出します。

ROCm - MI300Xの主な制約

MI300Xのハードウェアは競争力がありますが、サーバーアクセラレーターにおいてはソフトウェアエコシステムも同様に重要です。

AMDはROCmを発展させており、これによりPyTorch、TensorFlow、JAX、Tritonなどのツールをサポートしています。MI300Xの登場により、最新のAIフレームワークと大規模モデルへの最適化のサポートが拡充されました。

その一方で、CUDAは今でもNVIDIAの強力なアドバンテージの一つです。多くのライブラリや企業向けの計算スタックは、元々CUDA向けに作成されてきました。

したがって、MI300XとH100の選択をTFLOPSやメモリ容量だけで判断することはできません。負荷がすでにROCmで動作している場合、ハードウェアの違いが重要になります - 特にHBMの容量とその帯域幅が重要です。

製品ラインの隠れた文脈

MI300世代では、Instinctシリーズは主にHPCパフォーマンスから生成AIへと大きく移行しました。

MI100は、AMD初のCDNAアクセラレーターとなりました。MI200はHPCの方向性を発展させ、エクサフロップスシステムで使用されました。

MI300では、CDNA 3アーキテクチャがFP8を取り入れ、より強力なマトリックスコアとニューラルネットワークへのより明確な適合性を獲得しました。

次のMI325XはCDNA 3を保持しつつ、さらに多くのメモリと高い帯域幅を得ました。新しいアーキテクチャへの移行はすでにMI350シリーズからCDNA 4に進んでいます。

MI300Xは、AMDがNVIDIAの主要AIアクセラレーターに直接対抗することを始めた最初のInstinctです。

結論

MI300Xの主な利点は192GB HBM3と5.3TB/sの帯域幅です。高いFP64性能とマトリックス計算性能を合わせ持つことにより、このアクセラレーターは大規模なLLMやHPCに特に適しています。

中サイズのLLMではH100がより速いまたは同等の結果を示すことがありますが、より大規模なモデルではMI300Xのメモリ容量と帯域幅の利点がより顕著になります。

主な制約はソフトウェア側に残っています：CUDAのエコシステムの成熟度が、NVIDIAに依然として著しい利点を与えています。

MI300XはもはやAMDの最新のアクセラレーターではありませんが、それこそが企業がH100と大規模AIシステムで真剣に並べることができた最初のモデルとなりました。