AMD Instinct MI450X

AMD Instinct MI450X
Test der AMD Instinct MI450X Grafikkarte

AMD Instinct MI450X - Serverbeschleuniger mit 288 GB HBM4 für Helios-Racks

Am 12. November 2026 stellte AMD den Instinct MI450X vor - eine Server-GPU der MI400-Serie für das Training neuronaler Netze und die Ausführung bereits trainierter Modelle. Der Beschleuniger ist als Modul mit direkter Flüssigkeitskühlung ausgeführt. Das AMD-Helios-Rack fasst 72 solcher GPUs.

Der MI450X verfügt über acht HBM4-Stacks mit einer Gesamtkapazität von 288 GB. Der größere MI455X besitzt zwölf Stacks und 432 GB. Beide Modelle basieren auf der CDNA-5-Architektur. AMD gibt für beide dieselbe Spitzenrechenleistung und eine Speicherbandbreite von bis zu 23,3 TB/s an. Über die Geschwindigkeit des MI450X bei DeepSeek-R1 ist bislang weniger bekannt: Das bei der Ankündigung veröffentlichte Ergebnis bezieht sich auf den MI455X. Den Unterschied bei der Speicherkapazität kann man bereits anhand der Modellgewichte und des Caches abschätzen.

Passt DeepSeek-R1 auf eine einzelne MI450X?

Das Hauptmodell DeepSeek-R1 umfasst ohne das zusätzliche Modul zur Vorhersage mehrerer Tokens (MTP) rund 671 Milliarden Parameter. Bei der Verarbeitung eines einzelnen Tokens werden rund 37 Milliarden Parameter aktiviert. Für den nächsten Token kann das Modell andere Experten auswählen. Bei vollständigem Laden in den GPU-Speicher werden daher die Gewichte aller Experten benötigt.

Bei idealer Packung mit vier Bit pro Parameter belegen allein die Gewichte rund 335,5 GB beziehungsweise 312,5 GiB. Das ist eine Untergrenze ohne Verwaltungsdaten. Selbst wenn man die in den technischen Daten angegebene Kapazität von 288 GB als 288 GiB interpretiert, wird für die Gewichte weiterhin mehr als eine MI450X benötigt. Die Nennkapazität der MI455X reicht für die Gewichte selbst bei beiden Auslegungen der Einheiten aus. Für die Ausführung des Modells werden außerdem Arbeitsbuffer und Speicher für den Kontext benötigt.

Das Speicherformat beeinflusst die Rechnung erheblich. Bei MXFP4 entfällt auf jeweils 32 Vierbitwerte ein Byte für einen gemeinsamen Skalierungswert. Würde man alle 671 Milliarden Parameter in diesem Format packen, ergäbe das rund 356,5 GB beziehungsweise 332 GiB. Die tatsächliche Größe hängt unter anderem davon ab, welche Schichten die konkrete Implementierung mit höherer Genauigkeit speichert.

Auch der Kontext belegt Speicher. Bei DeepSeek-R1 mit einem kompakten MLA-Cache in BF16 entfallen bei 131.072 Tokens pro Anfrage rund 9,2 GB Cache-Daten. Das ist eine Berechnung für 61 Schichten ohne Programm-Overhead. Damit lässt sich die Größenordnung des Speicherbedarfs für einen langen Dialog abschätzen. Um die Zahl gleichzeitiger Anfragen zu bestimmen, ist jedoch eine Messung auf einem laufenden Server erforderlich.

Wann 288 GB ausreichen

  • Bei einem Modell mit 70 Milliarden Parametern belegen die Gewichte in BF16 rund 140 GB. Auf einer einzelnen MI450X bleibt damit Platz für den Cache und die Arbeitsbuffer. Wenn dieser bei der benötigten Kontextlänge ausreicht, können die übrigen GPUs separate Modellkopien bedienen.
  • Bei einer großen Zahl langer Dialoge kann der Server den für den Cache verfügbaren Speicher erschöpfen. In diesem Fall ermöglicht der zusätzliche HBM4-Speicher der MI455X, mehr Anfragen gleichzeitig zu verarbeiten.
  • Wenn das Modell einschließlich Cache auf eine einzelne GPU passt, ist die Bereitstellung einfacher: Für diese Kopie ist kein Datenaustausch zwischen den Beschleunigern erforderlich. Die maximale Geschwindigkeit unter Last ist eine andere Frage. Die Verteilung der Berechnungen auf mehrere GPUs kann auch dann vorteilhaft sein, wenn der Speicher eines einzelnen Beschleunigers ausreicht.

Was die DeepSeek-R1-Tests zeigen

Im Szenario MLPerf Inference Offline erhält das System alle Anfragen gleichzeitig. Der Test misst die Gesamtrate der Generierung von Output-Tokens. Für die MI455X veröffentlichte AMD ein Ergebnis, das bereits auf eine einzelne GPU umgerechnet wurde. Bei den NVIDIA-Systemen wurde der Wert in der letzten Spalte berechnet, indem das Systemergebnis durch die Zahl der Beschleuniger geteilt wurde.

System Quelle des Ergebnisses GPU-Anzahl Offline, Token/s pro System Offline, Token/s pro GPU
AMD Helios mit Instinct MI450X Keine Daten zum 18. November 2026 - - -
AMD Helios mit Instinct MI455X Interner AMD-Test Nicht angegeben - 21.333
NVIDIA Vera Rubin NVL72 MLPerf v6.1 Closed, Preview 72 1.183.327 16.435
Nebius, NVIDIA GB300 NVL72 MLPerf v6.1 Closed 72 689.961 9.583
Nebius, NVIDIA HGX B300 MLPerf v6.1 Closed 8 69.655 8.707

AMD verglich die eigenen 21.333 Token/s auf der MI455X mit dem Ergebnis der Vera Rubin NVL72 aus der Kategorie Preview. Der Unterschied zwischen den veröffentlichten Werten beträgt rund 30 %. Die Messung von AMD wurde nicht von MLCommons geprüft. In der Ankündigung werden außerdem weder die Zahl der eingesetzten GPUs noch das numerische Format der Berechnungen genannt. Auf Grundlage dieser Daten lässt sich nicht feststellen, wie groß der Vorteil unter identischen Bedingungen wäre.

Für die Vera Rubin NVL72 gibt es auch Ergebnisse mit Latenzvorgaben. In MLPerf Server erreichte das Rack mit 72 GPUs 1.175.890 Token/s, in Interactive waren es 652.750 Token/s. Bei Interactive gelten strengere Anforderungen: bis zu 1,5 Sekunden bis zum ersten Token und bis zu 15 ms für jeden weiteren. Das sind die Schwellenwerte des Tests. In der AMD-Ankündigung gibt es für MI450X und MI455X keine vergleichbaren Server- und Interactive-Ergebnisse.

Wie wählt man zwischen MI450X und MI455X?

Der praktische Vorteil von 432 GB zeigt sich, wenn der zusätzliche Speicher es ermöglicht, eine Modellkopie auf weniger GPUs unterzubringen oder bei der geforderten Latenz mehr Anfragen zu bedienen. Die Kosten pro Million Output-Tokens sollten für die gesamte Konfiguration bei identischem Modell und identischer Last verglichen werden. AMD hat in der Ankündigung keine Preise für Helios genannt. Daher lässt sich anhand der veröffentlichten Ergebnisse derzeit nicht bestimmen, welche Konfiguration wirtschaftlicher ist.

GPU-Vergleich

Instinct MI450X mit anderen GPUs vergleichen

Bitte wählen Sie GPU aus der Dropdown-Liste aus.

Basic

Markenname
AMD
Plattform
Professional
Erscheinungsdatum
November 2026
Accelerated Compute Dies (XCD)
8
Cooling
Direct Liquid Cooling
Form Factor
EAM
GPU Lithography
TSMC 2nm / 3nm FinFET
I/O Dies (IOD)
2
Modellname
AMD Instinct MI450X
Generation
Instinct MI400 Series
Boost-Takt
2400 MHz
Transistoren
320 billion
Einheiten berechnen
256
Foundry
TSMC
Prozessgröße
2nm / 3nm FinFET
Architektur
CDNA 5

Speicherspezifikationen

HBM Memory Stacks
8
Memory ECC
Yes
Memory Partitions
4
Speichergröße
288 GB
Speichertyp
HBM4
Bandbreite
Die Speicherbandbreite bezieht sich auf die Datenübertragungsrate zwischen dem Grafikchip und dem Videomemory. Sie wird in Bytes pro Sekunde gemessen, und die Formel zur Berechnung lautet: Speicherbandbreite = Arbeitsfrequenz × Speicherbusbreite / 8 Bit.
23.3 TB/s

Anzeige und Medien

AV1 Encode/Decode
AV1 decode (4 shared engines)
H.264 Hardware Encode/Decode
H.264 decode (4 shared engines)
H.265 HEVC Hardware Encode/Decode
H.265 decode (4 shared engines)
JPEG/MJPEG Codec Cores
40
Video Decoder Engines
4 shared engines (H.264, H.265, VP9, AV1)

Theoretische Leistung

FP32 Matrix
315 TFLOPS
FP32 Vector
315 TFLOPS
FP16 (halbe Genauigkeit)
Eine wichtige Kennzahl zur Messung der GPU-Leistung ist die Gleitkomma-Rechenleistung. Halbgenaue Gleitkommazahlen (16 Bit) werden für Anwendungen wie maschinelles Lernen verwendet, bei denen eine geringere Genauigkeit akzeptabel ist. Einfach genaue Gleitkommazahlen (32 Bit) werden für übliche Multimedia- und Grafikverarbeitungsaufgaben verwendet, während doppelt genaue Gleitkommazahlen (64 Bit) für wissenschaftliches Rechnen erforderlich sind, das einen großen Zahlenbereich und hohe Genauigkeit erfordert.
315 TFLOPS
FP64 (Doppelte Gleitkommazahl)
Eine wichtige Kennzahl zur Messung der GPU-Leistung ist die Gleitkomma-Rechenleistung. Doppelt genaue Gleitkommazahlen (64 Bit) sind für wissenschaftliches Rechnen erforderlich, das einen großen Zahlenbereich und hohe Genauigkeit erfordert, während einfach genaue Gleitkommazahlen (32 Bit) für übliche Multimedia- und Grafikverarbeitungsaufgaben verwendet werden. Halbgenaue Gleitkommazahlen (16 Bit) werden für Anwendungen wie maschinelles Lernen verwendet, bei denen eine geringere Genauigkeit akzeptabel ist.
5 TFLOPS
FP32 (float)
Eine wichtige Kennzahl zur Messung der GPU-Leistung ist die Gleitkomma-Rechenfähigkeit. Gleitkommazahlen mit einfacher Genauigkeit (32 Bit) werden für allgemeine Multimedia- und Grafikverarbeitungsaufgaben verwendet, während Gleitkommazahlen mit doppelter Genauigkeit (64 Bit) für wissenschaftliche Berechnungen erforderlich sind, die einen großen Zahlenbereich und hohe Genauigkeit erfordern. Gleitkommazahlen mit halber Genauigkeit (16 Bit) werden für Anwendungen wie maschinelles Lernen verwendet, bei denen eine geringere Genauigkeit akzeptabel ist.
315 TFLOPS

KI-Funktionen

AI Software Frameworks Supported by GPU
PyTorch, TensorFlow, JAX, ONNX Runtime, SGLang, Triton, Kokkos, RAJA
BF16 Matrix
5033 TFLOPS
BF16 Matrix Sparse
10066 TFLOPS
FP16 Matrix
5033 TFLOPS
FP16 Matrix Sparse
10066 TFLOPS
FP8 Matrix
20133 TFLOPS
INT8 Matrix
5033 TOPS
INT8 Matrix Sparse
10066 TOPS
MXFP4
40265 TFLOPS
MXFP6
20133 TFLOPS
MXFP8
20133 TFLOPS

Verbindungen und Skalierbarkeit

CPU-to-GPU Interconnect
256 GB/s
GPU Interconnect
UALink / UALoE
Scale-out Bandwidth
600 GB/s
Scale-up Bandwidth
3.6 TB/s

Verschiedenes

Virtualization
SR-IOV
L2-Cache
192 MB

Benchmarks

FP32 (float)
Punktzahl
315 TFLOPS

Im Vergleich zu anderen GPUs

FP32 (float) / TFLOPS
115.15 -63.4%
91.375 -71%
80.086 -74.6%
66.228 -79%