AMD Instinct MI450X

AMD Instinct MI450X
AMD Instinct MI450X 그래픽 카드 리뷰

AMD Instinct MI450X - Helios 랙용 288 GB HBM4 서버 가속기

2026년 11월 12일, AMD는 신경망 학습과 이미 학습된 모델의 추론을 위한 MI400 시리즈 서버 GPU인 Instinct MI450X를 발표했다. 이 가속기는 직접 액체 냉각 방식의 모듈 형태로 제작된다. AMD Helios 랙에는 이러한 GPU 72개가 탑재된다.

MI450X에는 총 288 GB 용량의 HBM4 스택 8개가 탑재된다. 상위 모델인 MI455X에는 12개 스택과 432 GB가 제공된다. 두 모델 모두 CDNA 5 아키텍처를 기반으로 하며, AMD는 두 모델에 동일한 피크 연산 성능과 최대 23.3 TB/s의 메모리 대역폭을 제시한다. DeepSeek-R1에서 MI450X 자체의 속도에 대해서는 아직 알려진 내용이 적다. 발표 당시 공개된 결과는 MI455X에 대한 것이다. 메모리 용량 차이는 모델의 가중치와 캐시를 통해 이미 가늠해 볼 수 있다.

DeepSeek-R1은 MI450X 한 장에 들어가는가

DeepSeek-R1 기본 모델은 여러 토큰 예측(MTP) 모듈을 제외하고 약 6710억 개의 파라미터를 포함한다. 토큰 하나를 처리할 때는 약 370억 개의 파라미터가 사용된다. 다음 토큰에서는 다른 전문가를 선택할 수 있으므로, GPU 메모리에 모델을 완전히 로드하려면 모든 전문가의 가중치가 필요하다.

파라미터당 4비트로 이상적으로 패킹하면 가중치만 약 335.5 GB, 즉 312.5 GiB를 차지한다. 이는 부가 데이터가 제외된 최저 추정치다. 사양서의 288 GB를 288 GiB로 해석하더라도 가중치에는 MI450X 한 장보다 더 많은 용량이 필요하다. MI455X는 단위를 어느 방식으로 해석하더라도 정격 용량만으로 가중치를 담을 수 있다. 모델을 실행하려면 작업 버퍼와 컨텍스트용 메모리도 필요하다.

저장 형식은 계산 결과에 상당한 영향을 준다. MXFP4에서는 4비트 값 32개마다 공통 스케일 1바이트가 필요하다. 6710억 개의 파라미터를 모두 이 형식으로 패킹하면 약 356.5 GB, 즉 332 GiB가 된다. 실제 크기는 구현에 따라 어떤 레이어를 더 높은 정밀도로 유지하는지 등에 따라서도 달라진다.

컨텍스트도 메모리를 차지한다. 예를 들어 BF16의 컴팩트한 MLA 캐시를 사용하는 DeepSeek-R1에서 토큰 131,072개 길이의 요청 하나는 약 9.2 GB의 캐시 데이터를 사용한다. 이는 61개 레이어를 기준으로 프로그램 오버헤드를 제외하고 계산한 값이다. 이 수치로 긴 대화에 필요한 메모리 규모를 가늠할 수는 있지만, 동시에 처리할 수 있는 요청 수를 확인하려면 실제 서버에서 측정해야 한다.

288 GB로 충분한 경우

  • 파라미터가 700억 개인 모델의 BF16 가중치는 약 140 GB를 차지한다. MI450X 한 장에는 캐시와 작업 버퍼를 위한 공간이 남는다. 필요한 컨텍스트 길이에서 그 공간이 충분하다면, 나머지 GPU는 모델의 별도 복제본을 처리할 수 있다.
  • 긴 대화가 많으면 서버에서 캐시용 메모리가 모두 소진될 수 있다. 이 경우 MI455X의 추가 HBM4를 활용하면 더 많은 요청을 동시에 처리할 수 있다.
  • 캐시를 포함한 모델이 GPU 한 장에 들어가면 배포가 더 간단하다. 해당 복제본에서는 가속기 간 데이터 교환이 필요하지 않기 때문이다. 부하가 걸린 상태에서의 최대 속도는 별개의 문제다. 가속기 한 장의 메모리로 충분하더라도 여러 GPU에 연산을 분산하는 편이 유리할 수 있다.

DeepSeek-R1 테스트 결과

MLPerf Inference Offline 시나리오에서는 시스템이 모든 요청을 한 번에 받는다. 이 테스트는 출력 토큰 생성의 총속도를 측정한다. MI455X의 경우 AMD 연구소가 결과를 GPU 한 장 기준으로 환산해 공개했다. NVIDIA 시스템의 마지막 열 평균값은 시스템 결과를 가속기 수로 나눠 계산했다.

시스템 결과 출처 GPU 수 Offline, 시스템 기준 토큰/초 Offline, GPU 기준 토큰/초
AMD Helios, Instinct MI450X 2026년 11월 18일 기준 데이터 없음 - - -
AMD Helios, Instinct MI455X AMD 내부 테스트 명시되지 않음 - 21 333
NVIDIA Vera Rubin NVL72 MLPerf v6.1 Closed, Preview 72 1 183 327 16 435
Nebius, NVIDIA GB300 NVL72 MLPerf v6.1 Closed 72 689 961 9 583
Nebius, NVIDIA HGX B300 MLPerf v6.1 Closed 8 69 655 8 707

AMD는 MI455X의 자체 측정 결과인 21 333토큰/초를 Preview 부문의 Vera Rubin NVL72 결과와 비교했다. 공개된 값의 차이는 약 30%다. AMD의 측정은 MLCommons의 검증을 거치지 않았다. 또한 발표에는 사용된 GPU 수와 연산의 수치 형식도 명시되지 않았다. 따라서 동일한 조건에서 어느 정도의 우위가 있었을지는 이 데이터만으로 확인할 수 없다.

Vera Rubin NVL72에는 지연 시간 제한을 적용한 결과도 있다. MLPerf Server에서 GPU 72개로 구성된 랙은 1 175 890토큰/초, Interactive에서는 652 750토큰/초를 기록했다. Interactive의 요구 조건은 더 엄격하다. 첫 토큰까지 최대 1.5초, 이후 각 토큰까지 최대 15 ms가 허용된다. 이는 테스트의 기준값이다. AMD의 MI450X와 MI455X 발표에는 이에 상응하는 Server 및 Interactive 결과가 없다.

MI450X와 MI455X 중 선택하는 방법

432 GB의 실질적인 이점은 추가 메모리 덕분에 모델 복제본을 더 적은 수의 GPU에 배치하거나, 필요한 지연 시간 내에서 더 많은 요청을 처리할 수 있을 때 나타난다. 출력 토큰 100만 개당 비용은 동일한 모델과 부하를 기준으로 전체 구성을 비교해야 의미가 있다. AMD의 발표에는 Helios의 가격이 명시되지 않았으므로, 공개된 결과만으로는 어느 구성이 더 유리한지 아직 판단할 수 없다.

GPU 비교

Instinct MI450X을 다른 GPUs와 비교

드롭다운 목록에서 GPU을 선택해 주세요.

기초적인

라벨 이름
AMD
플랫폼
Professional
출시일
November 2026
Accelerated Compute Dies (XCD)
8
Cooling
Direct Liquid Cooling
Form Factor
EAM
GPU Lithography
TSMC 2nm / 3nm FinFET
I/O Dies (IOD)
2
모델명
AMD Instinct MI450X
세대
Instinct MI400 Series
부스트 클럭
2400 MHz
트랜지스터
320 billion
컴퓨트 유닛
256
파운드리
TSMC
제조 공정 크기
2nm / 3nm FinFET
아키텍처
CDNA 5

메모리 사양

HBM Memory Stacks
8
Memory ECC
Yes
Memory Partitions
4
메모리 크기
288 GB
메모리 타입
HBM4
대역폭
메모리 대역폭은 그래픽 칩과 비디오 메모리 간의 데이터 전송 속도를 의미합니다. 이는 초당 바이트로 측정되며, 계산하는 공식은 다음과 같습니다: 메모리 대역폭 = 작동 주파수 × 메모리 버스 너비 / 8 비트입니다.
23.3 TB/s

디스플레이 및 미디어

AV1 Encode/Decode
AV1 decode (4 shared engines)
H.264 Hardware Encode/Decode
H.264 decode (4 shared engines)
H.265 HEVC Hardware Encode/Decode
H.265 decode (4 shared engines)
JPEG/MJPEG Codec Cores
40
Video Decoder Engines
4 shared engines (H.264, H.265, VP9, AV1)

이론적 성능

FP32 Matrix
315 TFLOPS
FP32 Vector
315 TFLOPS
FP16 (반 정밀도)
GPU 성능을 측정하는 중요한 지표 중 하나는 부동 소수점 연산 능력입니다. 반 정밀도 부동 소수점 숫자(16비트)는 낮은 정밀도가 허용되는 기계 학습과 같은 응용 프로그램에 사용됩니다. 단 정밀도 부동 소수점 숫자(32비트)는 일반적인 멀티미디어 및 그래픽 처리 작업에 사용되며, 이중 정밀도 부동 소수점 숫자(64비트)는 넓은 숫자 범위와 높은 정확도를 요구하는 과학적 계산에 필요합니다.
315 TFLOPS
FP64 (배 정밀도)
GPU 성능을 측정하는 중요한 지표 중 하나는 부동 소수점 연산 능력입니다. 반 정밀도 부동 소수점 숫자(16비트)는 낮은 정밀도가 허용되는 기계 학습과 같은 응용 프로그램에 사용됩니다. 단 정밀도 부동 소수점 숫자(32비트)는 일반적인 멀티미디어 및 그래픽 처리 작업에 사용되며, 이중 정밀도 부동 소수점 숫자(64비트)는 넓은 숫자 범위와 높은 정확도를 요구하는 과학적 계산에 필요합니다.
5 TFLOPS
FP32 (float)
GPU 성능을 측정하는 중요한 지표는 부동 소수점 컴퓨팅 기능입니다. 단정밀도 부동 소수점 숫자(32비트)는 일반적인 멀티미디어 및 그래픽 처리 작업에 사용되는 반면, 배정밀도 부동 소수점 숫자(64비트)는 넓은 숫자 범위와 높은 정확도를 요구하는 과학 컴퓨팅에 필요합니다. 반정밀도 부동 소수점 숫자(16비트)는 낮은 정밀도가 허용되는 기계 학습과 같은 응용 프로그램에 사용됩니다.
315 TFLOPS

AI 기능

AI Software Frameworks Supported by GPU
PyTorch, TensorFlow, JAX, ONNX Runtime, SGLang, Triton, Kokkos, RAJA
BF16 Matrix
5033 TFLOPS
BF16 Matrix Sparse
10066 TFLOPS
FP16 Matrix
5033 TFLOPS
FP16 Matrix Sparse
10066 TFLOPS
FP8 Matrix
20133 TFLOPS
INT8 Matrix
5033 TOPS
INT8 Matrix Sparse
10066 TOPS
MXFP4
40265 TFLOPS
MXFP6
20133 TFLOPS
MXFP8
20133 TFLOPS

상호 연결 및 확장성

CPU-to-GPU Interconnect
256 GB/s
GPU Interconnect
UALink / UALoE
Scale-out Bandwidth
600 GB/s
Scale-up Bandwidth
3.6 TB/s

여러 가지 잡다한

Virtualization
SR-IOV
L2 캐시
192 MB

벤치마크

FP32 (float)
점수
315 TFLOPS

다른 GPU와 비교

FP32 (float) / TFLOPS
115.15 -63.4%
91.375 -71%
80.086 -74.6%
66.228 -79%