AMD Instinct MI300X: 192 GB HBM3 und AMDs Einsatz auf große KI-Modelle

Die Hauptmerkmale des AMD Instinct MI300X sind 192 GB HBM3 und eine Speicherdurchsatzrate von 5,3 TB/s. Dies ist ein Serverbeschleuniger für große KI-Modelle und HPC, bei denen das Volumen und die Geschwindigkeit des Speichers, matrixbasierte Berechnungen und hohe FP64-Leistung wichtig sind.

MI300X ist der erste Beschleuniger von AMD, der ernsthaft mit dem NVIDIA H100 in großen KI-Systemen konkurriert. Doch sein Vorteil zeigt sich nicht in allen Lasten gleichermaßen.

CDNA 3: Architektur für KI und HPC

Im Grunde genommen basiert der MI300X auf CDNA 3 - der Berechnungsarchitektur von AMD für Rechenzentren. Sie ist nicht für das Gaming gedacht und wurde für matrixbasierte Operationen, FP64, FP8/BF16, HBM und die Skalierung mehrerer Beschleuniger optimiert.

Der MI300X verfügt über 304 Compute Units, 1216 Matrix Kerne und 19.456 Stream-Prozessoren. Die Spitzenfrequenz erreicht 2,1 GHz. Acht Computing XCD sind in einem Modul zusammengefasst, und die Gesamtzahl der Transistoren beträgt 153 Milliarden.

Für verschiedene Berechnungsformate gibt AMD die folgenden Spitzenwerte an:

Diese Werte direkt mit Gaming-GPUs zu vergleichen, ist nicht korrekt: MI300X ist auf KI und HPC ausgerichtet, nicht auf Rasterisierung und Gaming-Lasten.

192 GB HBM3 - das Hauptargument des MI300X

Der Beschleuniger erhält 192 GB HBM3 auf einem 8192-Bit-Bus mit einer Bandbreite von 5,3 TB/s. Das Volumen des Infinity Caches beträgt 256 MB.

Im Hinblick auf Volumen und Bandbreite des Speichers übertrifft der MI300X H100 und H200:

Für große Sprachmodelle beeinflusst das HBM-Volumen die Anzahl der benötigten Beschleuniger zur Unterbringung der Modellgewichte und Zwischendaten. Je weniger GPUs zur Unterbringung des Modells erforderlich sind, desto weniger Daten müssen während des Inferencing zwischen den Beschleunigern übertragen werden.

Im MLPerf Inference v4.1 konnte ein MI300X Llama 2 70B vollständig im Speicher eines einzelnen Beschleunigers unterbringen. In einer Konfiguration mit acht GPUs lagen die Ergebnisse des MI300X in den Modi Server und Offline nahe an dem System mit acht H100.

Leistung bei großen LLM

Bei kleineren Modellen garantiert ein großer Speicher allein nicht die Führungsposition.

In den veröffentlichten AMD-Tests wurden Systeme mit acht MI300X und acht H100 eingesetzt:

Bei Llama 3.1 70B ist H100 etwas schneller oder die Ergebnisse sind nahezu identisch. Bei Llama 3.1 405B schneidet der MI300X besser ab, insbesondere bei längeren Generierungen.

Diese Ergebnisse wurden von AMD veröffentlicht, daher sollten sie eher als Vergleich gut optimierter Konfigurationen und nicht als unabhängiges universelles Ranking betrachtet werden.

Der Vorteil des MI300X hängt von der Art der Last ab. Je stärker die Leistung durch den Speicher begrenzt ist, desto deutlicher wird der Vorteil von 192 GB HBM3 und 5,3 TB/s Bandbreite.

Hohe FP64-Leistung

Der MI300X ist nicht nur auf KI, sondern auch auf HPC ausgelegt.

Die Spitzenleistung bei FP64 erreicht 81,7 TFLOPS für Vektoroperationen und 163,4 TFLOPS für matrixbasierte Operationen.

Eine solche Leistung ist in der numerischen Hydrodynamik, in Klima- und physikalischen Simulationen, in der molekularen Dynamik, in der Geophysik und in anderen wissenschaftlichen Berechnungen gefragt.

Für HPC ist eine hohe FP64-Geschwindigkeit eine der architektonischen Prioritäten des MI300X, nicht nur eine sekundäre Möglichkeit.

Acht MI300X - das sind 1,5 TB HBM3

In einem System mit acht MI300X stehen 1.536 GB HBM3 zur Verfügung, also etwa 1,5 TB Speicher direkt auf den Beschleunigern.

Dieses Volumen ermöglicht es, große Modelle innerhalb eines einzelnen Servers unterzubringen, anstatt sie auf mehrere Knoten zu verteilen.

MI300X wird im OAM-Format gefertigt und auf universellen Serverplattformen installiert. Zwischen den Beschleunigern wird Infinity Fabric verwendet.

Jeder MI300X ist mit sieben Kanälen Infinity Fabric ausgestattet, die eine Bandbreite von bis zu 128 GB/s pro Kanal bieten. Die Verbindung zur CPU erfolgt über PCIe 5.0 x16.

Bis zu 750 W pro Beschleuniger

Der maximale TBP des MI300X beträgt 750 W.

Der OAM-Formfaktor und dieser Energieverbrauch schließen den Einsatz des MI300X in herkömmlichen Workstations aus. Der Modultyp hat keine eigene aktive Kühlung - der erforderliche Luftstrom wird von der Serverplattform bereitgestellt.

Acht MI300X verbrauchen bis zu 6 kW nur für die Beschleuniger, ohne CPU, Speicher, Speichergeräte und Netzwerkgeräte zu berücksichtigen.

ROCm - die Hauptbeschränkung des MI300X

Die Hardware des MI300X ist wettbewerbsfähig, jedoch ist für einen Serverbeschleuniger das Software-Ökosystem ebenso wichtig.

AMD entwickelt ROCm, das PyTorch, TensorFlow, JAX, Triton und andere Tools unterstützt. Mit dem Erscheinen des MI300X hat das Unternehmen die Unterstützung zeitgemäßer KI-Frameworks und Optimierungen für große Modelle ausgeweitet.

CUDA bleibt jedoch eines der stärksten Vorteile von NVIDIA. Viele Bibliotheken und Unternehmensberechnungsstacks wurden ursprünglich dafür entwickelt.

Daher kann die Wahl zwischen MI300X und H100 nicht nur auf TFLOPS oder den Speicherumfang reduziert werden. Wenn die Last bereits in ROCm läuft, werden die Unterschiede in der Hardware wichtiger - vor allem das HBM-Volumen und dessen Bandbreite.

Der verborgene Kontext der Reihe

Mit der Generation MI300 hat sich die Instinct-Reihe merklich von hauptsächlich HPC-Lasten hin zu generativer KI verschoben.

MI100 war der erste AMD-Beschleuniger auf CDNA. MI200 entwickelte das HPC-Segment weiter und wurde in Exaflops-Systemen verwendet.

In MI300 erhielt die Architektur CDNA 3 FP8, leistungsfähigere Matrix-Kerne und eine stärkere Ausrichtung auf neuronale Netze.

Der nächste MI325X behielt CDNA 3 bei, erhielt jedoch mehr Speicher und eine höhere Bandbreite. Der Übergang zu einer neuen Architektur geschah bereits mit der MI350 Series mit CDNA 4.

MI300X wurde der erste Instinct, den AMD direkt gegen die führenden KI-Beschleuniger von NVIDIA positionierte.

Fazit

Das Hauptargument des MI300X ist 192 GB HBM3 mit einer Bandbreite von 5,3 TB/s. Zusammen mit der hohen FP64-Leistung und der Leistung matrixbasierter Berechnungen macht das den Beschleuniger besonders geeignet für große LLM und HPC.

Bei LLM mittlerer Größe kann H100 schneller sein oder vergleichbare Ergebnisse zeigen. Bei größeren Modellen wird der Vorteil des MI300X hinsichtlich Volumen und Bandbreite des Speichers deutlicher.

Die Hauptbeschränkung bleibt softwareseitig: CUDA bietet aufgrund der Reife des Ökosystems NVIDIA nach wie vor einen erheblichen Vorteil.

Der MI300X ist bereits nicht mehr der neueste Beschleuniger von AMD, jedoch war er das erste Modell des Unternehmens, das man ernsthaft neben dem H100 in großen KI-Systemen aufstellen konnte.