AMD Instinct MI300X: 192 GB HBM3 e la scommessa AMD su grandi modelli AI

Le principali caratteristiche dell’AMD Instinct MI300X sono 192 GB HBM3 e una larghezza di banda della memoria di 5,3 TB/s. Si tratta di un acceleratore server per grandi modelli di IA e HPC, dove il volume e la velocità della memoria, i calcoli matriciali e le elevate prestazioni FP64 sono fondamentali.

MI300X è diventato il primo acceleratore AMD a competere seriamente con NVIDIA H100 in grandi sistemi di IA. Tuttavia, il suo vantaggio non emerge in tutte le carichi di lavoro allo stesso modo.

CDNA 3: architettura per IA e HPC

Alla base del MI300X c'è CDNA 3 - l'architettura di calcolo AMD per i data center. Non è progettata per la grafica da gioco ed è ottimizzata per operazioni matriciali, FP64, FP8/BF16, HBM e scalabilità di più acceleratori.

MI300X contiene 304 Compute Unit, 1216 Matrix Core e 19 456 processori di flusso. La frequenza di picco raggiunge i 2,1 GHz. Otto unità di calcolo XCD sono unite in un singolo modulo, mentre il numero totale di transistor raggiunge i 153 miliardi.

Per diversi formati di calcolo, AMD riporta le seguenti prestazioni di picco:

Confrontare questi valori direttamente con GPU da gioco non è corretto: il MI300X è orientato verso IA e HPC, non verso la rasterizzazione e il carico di lavoro di gioco.

192 GB HBM3 - il principale vantaggio del MI300X

L'acceleratore ha ottenuto 192 GB HBM3 su un bus a 8192 bit con una larghezza di banda di 5,3 TB/s. La dimensione dell’Infinity Cache è di 256 MB.

In termini di volume e larghezza di banda della memoria, il MI300X supera H100 e H200:

Per grandi modelli linguistici, il volume di HBM influisce sul numero di acceleratori necessari per ospitare i pesi del modello e i dati intermedi. Meno GPU sono necessarie per ospitare il modello, meno dati devono essere trasferiti tra gli acceleratori durante l'inferenza.

Nel MLPerf Inference v4.1, un MI300X è stato in grado di ospitare Llama 2 70B interamente nella memoria di un unico acceleratore. Nella configurazione con otto GPU, i risultati del MI300X nelle modalità Server e Offline erano vicini a quelli di un sistema con otto H100.

Prestazioni su grandi LLM

Con modelli di dimensioni inferiori, un ampio volume di memoria di per sé non garantisce il primato.

Nei test pubblicati AMD, sono stati utilizzati sistemi con otto MI300X e otto H100:

Su Llama 3.1 70B, l'H100 è leggermente più veloce oppure i risultati sono quasi identici. Su Llama 3.1 405B, il MI300X si distingue, specialmente in generazioni lunghe.

Questi risultati sono stati pubblicati da AMD, quindi è più corretto considerarli come un confronto tra configurazioni ben ottimizzate, piuttosto che come un ranking universale indipendente.

Il vantaggio del MI300X dipende dalla natura del carico di lavoro. Maggiore è il limite delle prestazioni della memoria, più evidente è il vantaggio dei 192 GB HBM3 e della larghezza di banda di 5,3 TB/s.

Alte prestazioni FP64

Il MI300X è progettato non solo per IA, ma anche per HPC.

Le prestazioni FP64 di picco raggiungono 81,7 TFLOPS per le operazioni vettoriali e 163,4 TFLOPS per quelle matriciali.

Tali prestazioni sono richieste nell'idrodinamica computazionale, nella modellazione climatica e fisica, nella dinamica molecolare, nella geofisica e in altri calcoli scientifici.

Per l'HPC, l'elevata velocità FP64 è una delle priorità architettoniche del MI300X, e non una possibilità secondaria.

Otto MI300X equivalgono a 1,5 TB HBM3

In un sistema con otto MI300X sono disponibili 1 536 GB HBM3, ossia circa 1,5 TB di memoria direttamente sugli acceleratori.

Tale volume consente di ospitare modelli di grandi dimensioni all'interno di un singolo server invece di distribuirli tra più nodi.

Il MI300X è disponibile nel formato OAM e si installa su piattaforme server Universal Base Board. Tra gli acceleratori si utilizza Infinity Fabric.

Ogni MI300X è dotato di sette canali Infinity Fabric con una larghezza di banda di fino a 128 GB/s ciascuno. Il sistema è connesso al processore tramite PCIe 5.0 x16.

Fino a 750 W per ogni acceleratore

Il TBP massimo del MI300X è di 750 W.

Il fattore di forma OAM e tale livello di consumo energetico escludono l'uso del MI300X in normali workstation. Il modulo non ha un proprio raffreddamento attivo - il flusso d'aria necessario è garantito dalla piattaforma server.

Otto MI300X possono arrivare a 6 kW di consumo solo per gli acceleratori, escluse CPU, memoria, archiviazione e attrezzature di rete.

ROCm - il principale limite del MI300X

La componente hardware del MI300X è competitiva, ma per un acceleratore server l'ecosistema software è altrettanto importante.

AMD sta sviluppando ROCm, che supporta PyTorch, TensorFlow, JAX, Triton e altri strumenti. Con il lancio del MI300X, l'azienda ha ampliato il supporto per i moderni framework di IA e le ottimizzazioni per grandi modelli.

CUDA rimane uno dei principali vantaggi di NVIDIA. Molte librerie e stack di calcolo aziendale sono state inizialmente create specificamente per essa.

Pertanto, la scelta tra MI300X e H100 non può essere ridotta solo a TFLOPS o capacità di memoria. Se il carico di lavoro è già in esecuzione su ROCm, le differenze nell'hardware diventano più rilevanti - soprattutto il volume di HBM e la sua larghezza di banda.

Il contesto nascosto della linea

Con la generazione MI300, la linea Instinct si è spostata significativamente dai carichi di lavoro HPC alle IA generative.

MI100 è stato il primo acceleratore AMD su CDNA. MI200 ha sviluppato l'area HPC ed è stato utilizzato in sistemi exaflop.

Nel MI300, l'architettura CDNA 3 ha introdotto FP8, core matriciali più potenti e una maggiore orientazione verso le reti neurali.

Il successivo MI325X ha mantenuto CDNA 3, ma ha ricevuto più memoria e una larghezza di banda più elevata. Il passaggio a una nuova architettura è avvenuto già nella serie MI350 con CDNA 4.

MI300X è stato il primo Instinct che AMD ha iniziato a posizionare direttamente contro i principali acceleratori di IA di NVIDIA.

Conclusione

Il principale vantaggio del MI300X è 192 GB HBM3 con una larghezza di banda di 5,3 TB/s. Insieme all'elevata prestazione FP64 e delle operazioni matriciali, ciò rende l'acceleratore particolarmente adatto per grandi LLM e HPC.

Con LLM di dimensioni medie, l'H100 può risultare più veloce o mostrare risultati comparabili. Su modelli più grandi, il vantaggio del MI300X in termini di volume e larghezza di banda della memoria diventa più evidente.

Il principale limite rimane software: CUDA, per la maturità dell'ecosistema, continua a dare a NVIDIA un vantaggio considerevole.

Il MI300X non è più l'acceleratore più recente di AMD, ma è stato il primo modello dell'azienda che poteva essere messo seriamente a confronto con l'H100 in grandi sistemi di IA.