AMD Instinct MI450X

AMD Instinct MI450X
Recensione della scheda video AMD Instinct MI450X

AMD Instinct MI450X: acceleratore per server con 288 GB di HBM4 per i rack Helios

Il 12 novembre 2026 AMD ha presentato Instinct MI450X, una GPU per server della serie MI400 destinata all’addestramento delle reti neurali e all’esecuzione di modelli già addestrati. L’acceleratore è realizzato come modulo con raffreddamento diretto a liquido. Il rack AMD Helios può ospitare 72 GPU di questo tipo.

MI450X dispone di otto stack HBM4, per una capacità complessiva di 288 GB. Il modello superiore MI455X ne ha dodici, per 432 GB. Entrambi i modelli sono basati sull’architettura CDNA 5. AMD indica per loro la stessa potenza di calcolo di picco e una larghezza di banda della memoria fino a 23,3 TB/s. Sulla velocità della MI450X in DeepSeek-R1 si sa ancora meno: il risultato pubblicato al momento dell’annuncio riguarda la MI455X. La differenza nella capacità di memoria può già essere valutata considerando i pesi e la cache del modello.

DeepSeek-R1 può entrare in una sola MI450X?

Il modello principale DeepSeek-R1 contiene circa 671 miliardi di parametri, senza il modulo aggiuntivo di predizione di più token (MTP). Durante l’elaborazione di un singolo token vengono utilizzati circa 37 miliardi di parametri. Per il token successivo il modello può scegliere esperti diversi, quindi per caricare completamente il modello nella memoria della GPU servono i pesi di tutti gli esperti.

Con un impacchettamento ideale a quattro bit per parametro, i soli pesi occuperebbero circa 335,5 GB, ovvero 312,5 GiB. Si tratta di una stima minima, che non include i dati di servizio. Anche interpretando i 288 GB dichiarati nelle specifiche come 288 GiB, per i pesi servirebbe comunque più di una MI450X. La capacità nominale della MI455X è sufficiente per i soli pesi secondo entrambe le interpretazioni delle unità. Per eseguire il modello servono inoltre buffer di lavoro e memoria per il contesto.

Il formato di memorizzazione incide sensibilmente sul calcolo. In MXFP4, ogni 32 valori a quattro bit sono accompagnati da un byte contenente la scala condivisa. Se tutti i 671 miliardi di parametri fossero impacchettati in questo formato, il risultato sarebbe di circa 356,5 GB, ovvero 332 GiB. Le dimensioni effettive dipendono anche da quali livelli l’implementazione specifica mantiene a una precisione maggiore.

Anche il contesto occupa memoria. Per esempio, nel caso di DeepSeek-R1 con una cache MLA compatta in BF16, 131.072 token di una singola richiesta corrispondono a circa 9,2 GB di dati della cache. Il calcolo si riferisce a 61 livelli e non include l’overhead del programma. Permette di stimare l’ordine di grandezza del consumo per una conversazione lunga, ma per determinare il numero di richieste simultanee è necessaria una misurazione su un server in funzione.

Quando bastano 288 GB

  • In un modello con 70 miliardi di parametri, i pesi in BF16 occupano circa 140 GB. In una singola MI450X rimane quindi spazio per la cache e i buffer di lavoro. Se è sufficiente per la lunghezza del contesto richiesta, le altre GPU possono gestire copie separate del modello.
  • Con un numero elevato di conversazioni lunghe, il server può esaurire la memoria destinata alla cache. In questo caso, la HBM4 aggiuntiva della MI455X consente di mantenere simultaneamente in elaborazione un numero maggiore di richieste.
  • Quando il modello con la cache entra in una singola GPU, il deployment è più semplice: per questa copia non serve scambiare dati tra gli acceleratori. La velocità massima sotto carico è una questione separata. Distribuire i calcoli su più GPU può essere vantaggioso anche quando la memoria di un singolo acceleratore è sufficiente.

Cosa mostrano i test di DeepSeek-R1

Nello scenario MLPerf Inference Offline, il sistema riceve tutte le richieste contemporaneamente. Il test misura la velocità complessiva di generazione dei token di output. Per la MI455X, il laboratorio AMD ha pubblicato il risultato già rapportato a una singola GPU. Per i sistemi NVIDIA, il valore medio nell’ultima colonna è calcolato dividendo il risultato del sistema per il numero di acceleratori.

Sistema Fonte del risultato Numero di GPU Offline, token/s per sistema Offline, token/s per GPU
AMD Helios con Instinct MI450X Nessun dato al 18 novembre 2026 - - -
AMD Helios con Instinct MI455X Test interno AMD Non indicato - 21 333
NVIDIA Vera Rubin NVL72 MLPerf v6.1 Closed, Preview 72 1 183 327 16 435
Nebius, NVIDIA GB300 NVL72 MLPerf v6.1 Closed 72 689 961 9 583
Nebius, NVIDIA HGX B300 MLPerf v6.1 Closed 8 69 655 8 707

AMD ha confrontato i propri 21 333 token/s sulla MI455X con il risultato di Vera Rubin NVL72 nella categoria Preview. La differenza tra i valori pubblicati è di circa il 30%. Il test di AMD non è stato verificato da MLCommons. Nell’annuncio non sono inoltre indicati né il numero di GPU utilizzate né il formato numerico dei calcoli. Sulla base di questi dati non è possibile stabilire quale sarebbe il vantaggio a parità di condizioni.

Per Vera Rubin NVL72 sono disponibili anche risultati con limiti sulla latenza. In MLPerf Server, il rack con 72 GPU ha raggiunto 1 175 890 token/s, mentre in Interactive ha raggiunto 652 750 token/s. In Interactive i requisiti sono più severi: fino a 1,5 secondi per il primo token e fino a 15 ms per ciascun token successivo. Questi sono i limiti previsti dal test. Nell’annuncio AMD non sono presenti risultati comparabili in modalità Server e Interactive per MI450X e MI455X.

Come scegliere tra MI450X e MI455X

Il vantaggio pratico dei 432 GB emergerà se la memoria aggiuntiva consentirà di collocare una copia del modello su un numero inferiore di GPU o di gestire più richieste con la latenza richiesta. Ha senso confrontare il costo di un milione di token di output per l’intera configurazione, a parità di modello e carico. Nell’annuncio AMD non sono indicati i prezzi di Helios, quindi sulla base dei risultati pubblicati non è ancora possibile determinare quale configurazione sia più conveniente.

Confronto di GPU

Confronta Instinct MI450X con altri GPUs

Seleziona GPU dall’elenco a discesa.

Di base

Nome dell'etichetta
AMD
Piattaforma
Professional
Data di rilascio
November 2026
Accelerated Compute Dies (XCD)
8
Cooling
Direct Liquid Cooling
Form Factor
EAM
GPU Lithography
TSMC 2nm / 3nm FinFET
I/O Dies (IOD)
2
Nome del modello
AMD Instinct MI450X
Generazione
Instinct MI400 Series
Boost Clock
2400 MHz
Transistor
320 billion
Unità di calcolo
256
Fonderia
TSMC
Dimensione del processo
2nm / 3nm FinFET
Architettura
CDNA 5

Specifiche della memoria

HBM Memory Stacks
8
Memory ECC
Yes
Memory Partitions
4
Dimensione memoria
288 GB
Tipo di memoria
HBM4
Larghezza di banda
La larghezza di banda della memoria si riferisce alla velocità di trasferimento dati tra il chip grafico e la memoria video. Si misura in byte al secondo e la formula per calcolarla è: larghezza di banda della memoria = frequenza di lavoro × larghezza del bus di memoria / 8 bit.
23.3 TB/s

Display e multimedia

AV1 Encode/Decode
AV1 decode (4 shared engines)
H.264 Hardware Encode/Decode
H.264 decode (4 shared engines)
H.265 HEVC Hardware Encode/Decode
H.265 decode (4 shared engines)
JPEG/MJPEG Codec Cores
40
Video Decoder Engines
4 shared engines (H.264, H.265, VP9, AV1)

Prestazioni teoriche

FP32 Matrix
315 TFLOPS
FP32 Vector
315 TFLOPS
FP16 (metà)
Una metrica importante per misurare le prestazioni della GPU è la capacità di calcolo in virgola mobile. I numeri in virgola mobile a metà precisione (16 bit) vengono utilizzati per applicazioni come l'apprendimento automatico, dove è accettabile una precisione inferiore.
315 TFLOPS
FP64 (doppio)
Una metrica importante per misurare le prestazioni della GPU è la capacità di calcolo in virgola mobile. I numeri in virgola mobile a doppia precisione (64 bit) sono richiesti per il calcolo scientifico che richiede un'ampia gamma numerica e un'alta precisione.
5 TFLOPS
FP32 (virgola mobile)
Una metrica importante per misurare le prestazioni della GPU è la capacità di calcolo in virgola mobile. I numeri a virgola mobile a precisione singola (32 bit) vengono utilizzati per attività comuni di elaborazione grafica e multimediale, mentre i numeri a virgola mobile a precisione doppia (64 bit) sono necessari per il calcolo scientifico che richiede un'ampia gamma numerica e un'elevata precisione. I numeri a virgola mobile a mezza precisione (16 bit) vengono utilizzati per applicazioni come l'apprendimento automatico, dove è accettabile una precisione inferiore.
315 TFLOPS

Funzioni IA

AI Software Frameworks Supported by GPU
PyTorch, TensorFlow, JAX, ONNX Runtime, SGLang, Triton, Kokkos, RAJA
BF16 Matrix
5033 TFLOPS
BF16 Matrix Sparse
10066 TFLOPS
FP16 Matrix
5033 TFLOPS
FP16 Matrix Sparse
10066 TFLOPS
FP8 Matrix
20133 TFLOPS
INT8 Matrix
5033 TOPS
INT8 Matrix Sparse
10066 TOPS
MXFP4
40265 TFLOPS
MXFP6
20133 TFLOPS
MXFP8
20133 TFLOPS

Interconnessione e scalabilità

CPU-to-GPU Interconnect
256 GB/s
GPU Interconnect
UALink / UALoE
Scale-out Bandwidth
600 GB/s
Scale-up Bandwidth
3.6 TB/s

Varie

Virtualization
SR-IOV
Cache L2
192 MB

Classifiche

FP32 (virgola mobile)
Punto
315 TFLOPS

Rispetto ad altre GPU

FP32 (virgola mobile) / TFLOPS
115.15 -63.4%
91.375 -71%
80.086 -74.6%
66.228 -79%