AMD Instinct MI455X

AMD Instinct MI455X
Recensione della scheda video AMD Instinct MI455X

AMD Instinct MI455X: 432 GB di HBM4 e primi risultati su DeepSeek-R1

Il 23 luglio 2026 AMD ha presentato Instinct MI455X come parte di Helios, un rack server per l’addestramento e l’esecuzione di reti neurali. MI455X è realizzato come modulo con raffreddamento a liquido diretto. Ogni acceleratore dispone di 432 GB di memoria HBM4, mentre la capacità complessiva di un rack completo con 72 GPU raggiunge circa 31 TB.

A novembre AMD ha comunicato che il sistema Helios aveva raggiunto 21 333 token/s su DeepSeek-R1, calcolati per MI455X. Il 12 novembre l’azienda ha confrontato questo dato con il risultato di NVIDIA Vera Rubin, dichiarando un vantaggio fino al 30%. Quattro giorni dopo Nebius ha pubblicato un nuovo risultato di Vera Rubin sullo stesso modello: oltre 22 000 token/s in media per GPU.

In cosa MI455X differisce da MI450X

Entrambi gli acceleratori per Helios sono basati sull’architettura CDNA 5. AMD indica la stessa larghezza di banda di picco della memoria: 23,3 TB/s. Anche i valori di picco dei calcoli coincidono, compresi i 40,3 PFLOPS in formato MXFP4. La differenza principale tra i due modelli è la quantità di dati che può essere contenuta nella memoria locale di ciascuna GPU.

Acceleratore Memoria HBM4 per GPU Numero di stack HBM4
AMD Instinct MI455X 432 GB 12
AMD Instinct MI450X 288 GB 8

I 144 GB aggiuntivi sono particolarmente utili quando i pesi del modello superano di poco la memoria disponibile su un singolo acceleratore. Se è possibile collocare una copia completa su MI455X, il server può elaborare le richieste senza scambiare risultati intermedi tra le GPU. Un altro modo di sfruttare la memoria aggiuntiva è destinare più spazio alla cache per le conversazioni lunghe.

DeepSeek-R1 entra in 432 GB?

Il modello principale DeepSeek-R1 contiene circa 671 miliardi di parametri, senza il modulo aggiuntivo per la previsione dei token. Durante la generazione di un singolo token vengono utilizzati circa 37 miliardi di parametri, ma per il token successivo il modello può selezionare esperti diversi. Per caricare il modello completo sono necessari i pesi di tutti gli esperti.

  • Con una compressione ideale di quattro bit per parametro, i pesi occupano circa 335,5 GB (312,5 GiB). Si tratta del minimo teorico, senza dati di servizio.
  • Nel formato MXFP4, ogni gruppo di 32 valori dispone di un byte contenente la scala comune. Se tutti i parametri vengono memorizzati in questo formato, il volume calcolato sale a 356,5 GB (332 GiB).
  • Per una singola richiesta con un contesto di 131 072 token, la cache MLA compatta di DeepSeek-R1 in formato BF16 occupa altri 9,2 GB circa. Si tratta di una stima basata sulla configurazione del modello, senza considerare i buffer di lavoro e l’overhead del software.

Secondo questi calcoli, i pesi a quattro bit entrano nella memoria nominale di una singola MI455X e superano la capacità di una singola MI450X. Il numero di richieste lunghe che MI455X può gestire contemporaneamente dipende dal formato effettivo dei pesi e della cache. AMD non ha descritto la configurazione della propria esecuzione in modo sufficientemente dettagliato da permettere di collegare il risultato di 21 333 token/s al collocamento del modello su una singola GPU.

DeepSeek-R1 su MI455X, MI355X e NVIDIA Vera Rubin

Nello scenario MLPerf Inference Offline, il sistema riceve tutte le richieste contemporaneamente. Il test misura la velocità complessiva di generazione per tutte le richieste. Nell’ultima colonna, per i risultati pubblici di MLPerf, è indicata la velocità del sistema divisa per il numero di acceleratori. Per MI455X, il dato per GPU è stato comunicato direttamente da AMD.

Sistema Fonte del risultato Offline Numero di GPU Token/s per sistema Token/s per GPU
AMD Helios, Instinct MI455X Laboratorio AMD, novembre Non indicato - 21 333
NVIDIA Vera Rubin NVL72 MLPerf v6.1, settembre, Preview 72 1 183 327 16 435
Nebius, NVIDIA Vera Rubin NVL72 MLPerf v6.1, novembre, Available 72 1 586 667 22 037
Crusoe, AMD Instinct MI355X MLPerf v6.1, settembre 512 2 901 950 5 668

Per il proprio confronto, AMD ha utilizzato il risultato di Vera Rubin di settembre. Rispetto a quel dato, il valore di MI455X è effettivamente superiore di circa il 30%. Nella pubblicazione di Nebius di novembre, la media per un singolo Rubin è già superiore del 3,3% al dato di AMD. Entrambe le differenze si riferiscono a sistemi specifici. Il risultato di MI455X è stato ottenuto in un test interno che non è stato verificato da MLCommons. AMD non ha indicato il numero di acceleratori né la precisione dei calcoli.

Per un servizio interattivo resta un’altra questione: quante richieste il sistema riesce a gestire rispettando un limite sul tempo di risposta. Nello scenario Server, il rack di Nebius ha raggiunto a novembre 1 752 403 token/s. Per MI455X, nel messaggio di AMD di novembre è riportato soltanto il risultato Offline; pertanto, sulla base di queste pubblicazioni, non è possibile confrontare la latenza di risposta dei due sistemi.

Per quali attività serve MI455X

Il caso più evidente per MI455X è rappresentato da un modello che supera, anche di poco, i 288 GB disponibili per GPU. La memoria aggiuntiva può ridurre il numero di acceleratori necessari per una copia del modello oppure permettere al server di gestire contemporaneamente più conversazioni lunghe. Se lo stesso carico di lavoro entra in una MI450X, il modello superiore non offre alcun vantaggio nominale in termini di larghezza di banda della HBM4. In tal caso, la scelta dipende dalla velocità misurata e dal costo dell’intera configurazione, in funzione della lunghezza del contesto richiesta e del tempo accettabile per la generazione del primo token.

Confronto di GPU

Confronta Instinct MI455X con altri GPUs

Seleziona GPU dall’elenco a discesa.

Di base

Nome dell'etichetta
AMD
Piattaforma
Professional
Data di rilascio
July 2026
Accelerated Compute Dies (XCD)
8
Cooling
Direct Liquid Cooling
Form Factor
EAM
GPU Lithography
TSMC 2nm / 3nm FinFET
I/O Dies (IOD)
2
Work Group Processors (WGP)
256
Nome del modello
AMD Instinct MI455X
Generazione
Instinct MI400 Series
Boost Clock
2400 MHz
Transistor
320 billion
Unità di calcolo
256
Fonderia
TSMC
Dimensione del processo
2nm / 3nm FinFET
Architettura
CDNA 5

Specifiche della memoria

HBM Memory Stacks
12
HBM4 Interface Channels
192
Memory ECC
Yes
Memory Partitions
4
Dimensione memoria
432 GB
Tipo di memoria
HBM4
Larghezza di banda
La larghezza di banda della memoria si riferisce alla velocità di trasferimento dati tra il chip grafico e la memoria video. Si misura in byte al secondo e la formula per calcolarla è: larghezza di banda della memoria = frequenza di lavoro × larghezza del bus di memoria / 8 bit.
23.3 TB/s

Display e multimedia

AV1 Encode/Decode
AV1 decode (4 shared engines)
H.264 Hardware Encode/Decode
H.264 decode (4 shared engines)
H.265 HEVC Hardware Encode/Decode
H.265 decode (4 shared engines)
JPEG/MJPEG Codec Cores
40
Video Decoder Engines
4 shared engines (H.264, H.265, VP9, AV1)

Prestazioni teoriche

FP32 Matrix
315 TFLOPS
FP32 Vector
315 TFLOPS
FP16 (metà)
Una metrica importante per misurare le prestazioni della GPU è la capacità di calcolo in virgola mobile. I numeri in virgola mobile a metà precisione (16 bit) vengono utilizzati per applicazioni come l'apprendimento automatico, dove è accettabile una precisione inferiore.
315 TFLOPS
FP64 (doppio)
Una metrica importante per misurare le prestazioni della GPU è la capacità di calcolo in virgola mobile. I numeri in virgola mobile a doppia precisione (64 bit) sono richiesti per il calcolo scientifico che richiede un'ampia gamma numerica e un'alta precisione.
5 TFLOPS
FP32 (virgola mobile)
Una metrica importante per misurare le prestazioni della GPU è la capacità di calcolo in virgola mobile. I numeri a virgola mobile a precisione singola (32 bit) vengono utilizzati per attività comuni di elaborazione grafica e multimediale, mentre i numeri a virgola mobile a precisione doppia (64 bit) sono necessari per il calcolo scientifico che richiede un'ampia gamma numerica e un'elevata precisione. I numeri a virgola mobile a mezza precisione (16 bit) vengono utilizzati per applicazioni come l'apprendimento automatico, dove è accettabile una precisione inferiore.
315 TFLOPS

Funzioni IA

AI Software Frameworks Supported by GPU
PyTorch, TensorFlow, JAX, ONNX Runtime, vLLM, SGLang, Triton, Kokkos, RAJA
BF16 Matrix
5033 TFLOPS
BF16 Matrix Sparse
10066 TFLOPS
FP16 Matrix
5033 TFLOPS
FP16 Matrix Sparse
10066 TFLOPS
FP8 Matrix
20133 TFLOPS
INT8 Matrix
5033 TOPS
INT8 Matrix Sparse
10066 TOPS
MXFP4
40265 TFLOPS
MXFP6
20133 TFLOPS
MXFP8
20133 TFLOPS

Interconnessione e scalabilità

CPU-to-GPU Interconnect
256 GB/s
GPU Interconnect
UALink / UALoE
Scale-out Bandwidth
600 GB/s
Scale-up Bandwidth
3.6 TB/s

Varie

Virtualization
SR-IOV
Cache L2
192 MB

Classifiche

FP32 (virgola mobile)
Punto
315 TFLOPS

Rispetto ad altre GPU

FP32 (virgola mobile) / TFLOPS
315 +0%
91.375 -71%
80.086 -74.6%
66.228 -79%