AMD Instinct MI450X

AMD Instinct MI450X
AMD Instinct MI450X グラフィックカードのレビュー

AMD Instinct MI450X――Heliosラック向け、288 GB HBM4搭載サーバーアクセラレーター

2026年11月12日、AMDはニューラルネットワークの学習と学習済みモデルの実行を想定した、MI400シリーズのサーバー向けGPU「Instinct MI450X」を発表した。このアクセラレーターは、直接液冷に対応したモジュールとして構成される。AMD Heliosラックには、このGPUを72基搭載できる。

MI450Xは8スタックのHBM4を搭載し、総容量は288 GBとなる。上位モデルのMI455Xは12スタックで、容量は432 GBだ。両モデルともCDNA 5アーキテクチャーを採用している。AMDは、両モデルについて同じピーク演算性能と、最大23.3 TB/sのメモリ帯域幅を示している。DeepSeek-R1におけるMI450X自体の速度については、現時点で分かっていることが少ない。発表時に公開された結果はMI455Xに関するものだった。メモリ容量の差については、モデルの重みとキャッシュを例に、すでに評価できる。

DeepSeek-R1は1基のMI450Xに収まるか

DeepSeek-R1のメインモデルには、追加の複数トークン予測(MTP)モジュールを除いて、約671 billion個のパラメーターがある。1トークンの処理時に使われるのは約37 billion個のパラメーターだ。次のトークンではモデルが別のエキスパートを選ぶ可能性があるため、GPUメモリに完全にロードするには、すべてのエキスパートの重みが必要になる。

パラメーターあたり4ビットで理想的にパッキングした場合、重みだけで約335.5 GB、または312.5 GiBを占める。これは補助データを含まない下限値だ。仕様上の288 GBを288 GiBと解釈したとしても、重みには1基を超えるMI450Xが必要になる。MI455Xは、単位をどちらの解釈にしても、定格容量だけで重みを収められる。モデルを実行するには、ワークバッファーとコンテキスト用のメモリも必要だ。

保存形式も計算結果に大きく影響する。MXFP4では、32個の4ビット値ごとに共有スケールが1バイト必要になる。671 billion個のパラメーターをすべてこの形式にパッキングすると、約356.5 GB、または332 GiBになる。実際のサイズは、実装によってどのレイヤーをより高い精度で保持するかなどにも左右される。

コンテキストもメモリを消費する。例えば、コンパクトなMLAキャッシュをBF16で使用するDeepSeek-R1では、131,072トークンの1リクエストに約9.2 GBのキャッシュデータが必要になる。これは、プログラムのオーバーヘッドを含めず、61レイヤーを対象にした計算だ。この数値から長い対話に必要な容量の規模は見積もれるが、同時に処理できるリクエスト数を判断するには、実際に稼働しているサーバーでの測定が必要になる。

288 GBで十分な場合

  • 700億パラメーターのモデルでは、重みをBF16で保存すると約140 GBになる。1基のMI450Xには、キャッシュとワークバッファー用の空きが残る。必要なコンテキスト長に対して十分な容量があるなら、残りのGPUでモデルの別のコピーを処理できる。
  • 長い対話を大量に処理する場合、サーバーはキャッシュ用のメモリを使い切る可能性がある。この場合、MI455Xの追加のHBM4によって、より多くのリクエストを同時に処理できる。
  • キャッシュを含むモデルが1基のGPUに収まる場合、デプロイは容易になる。そのコピーでは、アクセラレーター間のデータ交換が不要だからだ。負荷時の最大速度は別の問題となる。1基のアクセラレーターでメモリが足りていても、複数のGPUに計算を分散したほうが有利な場合がある。

DeepSeek-R1のテスト結果が示すこと

MLPerf Inference Offlineでは、システムがすべてのリクエストを一度に受け取る。テストでは、出力トークンの生成速度の合計を測定する。MI455Xについては、AMDのラボが結果を1基のGPUあたりに換算した形で公開している。NVIDIAシステムについては、最後の列の平均値を、システムの結果をアクセラレーター数で割って算出している。

システム 結果の出典 GPU数 Offline、システムあたりのトークン/秒 Offline、GPUあたりのトークン/秒
AMD Helios(Instinct MI450X搭載) 2026年11月18日時点でデータなし - - -
AMD Helios(Instinct MI455X搭載) AMD社内テスト 未記載 - 21 333
NVIDIA Vera Rubin NVL72 MLPerf v6.1 Closed、Preview 72 1 183 327 16 435
Nebius、NVIDIA GB300 NVL72 MLPerf v6.1 Closed 72 689 961 9 583
Nebius、NVIDIA HGX B300 MLPerf v6.1 Closed 8 69 655 8 707

AMDは、MI455Xでの21 333トークン/秒を、PreviewカテゴリーのVera Rubin NVL72の結果と比較した。公開された数値の差は約30%だった。AMDの測定はMLCommonsの検証を受けていない。また、発表では使用したGPU数と計算の数値形式も明らかにされていない。これらのデータだけでは、同一条件でどの程度の優位性が得られるかを判断できない。

Vera Rubin NVL72には、レイテンシー制限付きの結果もある。MLPerf Serverでは、72基のGPUを搭載したラックが1 175 890トークン/秒を記録し、Interactiveでは652 750トークン/秒だった。Interactiveの要件はより厳しく、最初のトークンまで最大1.5秒、次の各トークンまで最大15 msとなっている。これはテスト上のしきい値だ。AMDによるMI450XおよびMI455Xの発表には、比較可能なServerとInteractiveの結果はない。

MI450XとMI455Xの選び方

432 GBの実用上の優位性が現れるのは、追加のメモリによってモデルのコピーをより少ないGPUに配置できる場合、または必要なレイテンシーを維持しながらより多くのリクエストを処理できる場合だ。100万出力トークンあたりのコストは、同じモデルと負荷条件で、構成全体を比較する必要がある。AMDの発表ではHeliosの価格が示されていないため、公開された結果だけから、どちらの構成がより有利かを判断することは現時点ではできない。

GPUの比較

Instinct MI450Xを他のGPUsと比較

ドロップダウンリストからGPUを選択してください。

基本

レーベル名
AMD
プラットホーム
Professional
発売日
November 2026
Accelerated Compute Dies (XCD)
8
Cooling
Direct Liquid Cooling
Form Factor
EAM
GPU Lithography
TSMC 2nm / 3nm FinFET
I/O Dies (IOD)
2
モデル名
AMD Instinct MI450X
世代
Instinct MI400 Series
ブーストクロック
2400 MHz
トランジスタ
320 billion
計算ユニット
256
ファウンドリ
TSMC
プロセスサイズ
2nm / 3nm FinFET
アーキテクチャ
CDNA 5

メモリ仕様

HBM Memory Stacks
8
Memory ECC
Yes
Memory Partitions
4
メモリサイズ
288 GB
メモリタイプ
HBM4
帯域幅
メモリバンド幅は、グラフィックチップとビデオメモリ間のデータ転送速度を指します。単位はバイト/秒で、計算式は次の通りです:メモリバンド幅 = 動作周波数 × メモリバス幅 / 8ビット。
23.3 TB/s

ディスプレイとメディア

AV1 Encode/Decode
AV1 decode (4 shared engines)
H.264 Hardware Encode/Decode
H.264 decode (4 shared engines)
H.265 HEVC Hardware Encode/Decode
H.265 decode (4 shared engines)
JPEG/MJPEG Codec Cores
40
Video Decoder Engines
4 shared engines (H.264, H.265, VP9, AV1)

理論上の性能

FP32 Matrix
315 TFLOPS
FP32 Vector
315 TFLOPS
FP16 (半精度)
GPUパフォーマンスを測定する重要な指標は浮動小数点計算能力です。半精度浮動小数点数(16ビット)は、精度が低くても許容可能な機械学習のようなアプリケーションで使用されます。単精度浮動小数点数(32ビット)は、一般的なマルチメディアやグラフィックス処理のタスクで使用され、倍精度浮動小数点数(64ビット)は、広範で高精度が求められる科学計算に必要です。
315 TFLOPS
FP64 (倍精度)
GPUパフォーマンスを測定する重要な指標は浮動小数点計算能力です。倍精度浮動小数点数(64ビット)は、広範で高精度が求められる科学計算に必要です。単精度浮動小数点数(32ビット)は、一般的なマルチメディアやグラフィックス処理のタスクで使用されます。半精度浮動小数点数(16ビット)は、精度が低くても許容可能な機械学習のようなアプリケーションで使用されます。
5 TFLOPS
FP32 (浮動小数点)
GPU のパフォーマンスを測定するための重要な指標は、浮動小数点コンピューティング能力です。 単精度浮動小数点数 (32 ビット) は一般的なマルチメディアおよびグラフィックス処理タスクに使用されますが、倍精度浮動小数点数 (64 ビット) は広い数値範囲と高精度が要求される科学計算に必要です。 半精度浮動小数点数 (16 ビット) は、精度が低くても許容される機械学習などのアプリケーションに使用されます。
315 TFLOPS

AI機能

AI Software Frameworks Supported by GPU
PyTorch, TensorFlow, JAX, ONNX Runtime, SGLang, Triton, Kokkos, RAJA
BF16 Matrix
5033 TFLOPS
BF16 Matrix Sparse
10066 TFLOPS
FP16 Matrix
5033 TFLOPS
FP16 Matrix Sparse
10066 TFLOPS
FP8 Matrix
20133 TFLOPS
INT8 Matrix
5033 TOPS
INT8 Matrix Sparse
10066 TOPS
MXFP4
40265 TFLOPS
MXFP6
20133 TFLOPS
MXFP8
20133 TFLOPS

相互接続とスケーラビリティ

CPU-to-GPU Interconnect
256 GB/s
GPU Interconnect
UALink / UALoE
Scale-out Bandwidth
600 GB/s
Scale-up Bandwidth
3.6 TB/s

その他

Virtualization
SR-IOV
L2キャッシュ
192 MB

ベンチマーク

FP32 (浮動小数点)
スコア
315 TFLOPS

他のGPUとの比較

FP32 (浮動小数点) / TFLOPS
115.15 -63.4%
91.375 -71%
80.086 -74.6%
66.228 -79%