AMD Instinct MI450X
AMD Instinct MI450X - Helios 랙용 288 GB HBM4 서버 가속기
2026년 11월 12일, AMD는 신경망 학습과 이미 학습된 모델의 추론을 위한 MI400 시리즈 서버 GPU인 Instinct MI450X를 발표했다. 이 가속기는 직접 액체 냉각 방식의 모듈 형태로 제작된다. AMD Helios 랙에는 이러한 GPU 72개가 탑재된다.
MI450X에는 총 288 GB 용량의 HBM4 스택 8개가 탑재된다. 상위 모델인 MI455X에는 12개 스택과 432 GB가 제공된다. 두 모델 모두 CDNA 5 아키텍처를 기반으로 하며, AMD는 두 모델에 동일한 피크 연산 성능과 최대 23.3 TB/s의 메모리 대역폭을 제시한다. DeepSeek-R1에서 MI450X 자체의 속도에 대해서는 아직 알려진 내용이 적다. 발표 당시 공개된 결과는 MI455X에 대한 것이다. 메모리 용량 차이는 모델의 가중치와 캐시를 통해 이미 가늠해 볼 수 있다.
DeepSeek-R1은 MI450X 한 장에 들어가는가
DeepSeek-R1 기본 모델은 여러 토큰 예측(MTP) 모듈을 제외하고 약 6710억 개의 파라미터를 포함한다. 토큰 하나를 처리할 때는 약 370억 개의 파라미터가 사용된다. 다음 토큰에서는 다른 전문가를 선택할 수 있으므로, GPU 메모리에 모델을 완전히 로드하려면 모든 전문가의 가중치가 필요하다.
파라미터당 4비트로 이상적으로 패킹하면 가중치만 약 335.5 GB, 즉 312.5 GiB를 차지한다. 이는 부가 데이터가 제외된 최저 추정치다. 사양서의 288 GB를 288 GiB로 해석하더라도 가중치에는 MI450X 한 장보다 더 많은 용량이 필요하다. MI455X는 단위를 어느 방식으로 해석하더라도 정격 용량만으로 가중치를 담을 수 있다. 모델을 실행하려면 작업 버퍼와 컨텍스트용 메모리도 필요하다.
저장 형식은 계산 결과에 상당한 영향을 준다. MXFP4에서는 4비트 값 32개마다 공통 스케일 1바이트가 필요하다. 6710억 개의 파라미터를 모두 이 형식으로 패킹하면 약 356.5 GB, 즉 332 GiB가 된다. 실제 크기는 구현에 따라 어떤 레이어를 더 높은 정밀도로 유지하는지 등에 따라서도 달라진다.
컨텍스트도 메모리를 차지한다. 예를 들어 BF16의 컴팩트한 MLA 캐시를 사용하는 DeepSeek-R1에서 토큰 131,072개 길이의 요청 하나는 약 9.2 GB의 캐시 데이터를 사용한다. 이는 61개 레이어를 기준으로 프로그램 오버헤드를 제외하고 계산한 값이다. 이 수치로 긴 대화에 필요한 메모리 규모를 가늠할 수는 있지만, 동시에 처리할 수 있는 요청 수를 확인하려면 실제 서버에서 측정해야 한다.
288 GB로 충분한 경우
- 파라미터가 700억 개인 모델의 BF16 가중치는 약 140 GB를 차지한다. MI450X 한 장에는 캐시와 작업 버퍼를 위한 공간이 남는다. 필요한 컨텍스트 길이에서 그 공간이 충분하다면, 나머지 GPU는 모델의 별도 복제본을 처리할 수 있다.
- 긴 대화가 많으면 서버에서 캐시용 메모리가 모두 소진될 수 있다. 이 경우 MI455X의 추가 HBM4를 활용하면 더 많은 요청을 동시에 처리할 수 있다.
- 캐시를 포함한 모델이 GPU 한 장에 들어가면 배포가 더 간단하다. 해당 복제본에서는 가속기 간 데이터 교환이 필요하지 않기 때문이다. 부하가 걸린 상태에서의 최대 속도는 별개의 문제다. 가속기 한 장의 메모리로 충분하더라도 여러 GPU에 연산을 분산하는 편이 유리할 수 있다.
DeepSeek-R1 테스트 결과
MLPerf Inference Offline 시나리오에서는 시스템이 모든 요청을 한 번에 받는다. 이 테스트는 출력 토큰 생성의 총속도를 측정한다. MI455X의 경우 AMD 연구소가 결과를 GPU 한 장 기준으로 환산해 공개했다. NVIDIA 시스템의 마지막 열 평균값은 시스템 결과를 가속기 수로 나눠 계산했다.
| 시스템 | 결과 출처 | GPU 수 | Offline, 시스템 기준 토큰/초 | Offline, GPU 기준 토큰/초 |
|---|---|---|---|---|
| AMD Helios, Instinct MI450X | 2026년 11월 18일 기준 데이터 없음 | - | - | - |
| AMD Helios, Instinct MI455X | AMD 내부 테스트 | 명시되지 않음 | - | 21 333 |
| NVIDIA Vera Rubin NVL72 | MLPerf v6.1 Closed, Preview | 72 | 1 183 327 | 16 435 |
| Nebius, NVIDIA GB300 NVL72 | MLPerf v6.1 Closed | 72 | 689 961 | 9 583 |
| Nebius, NVIDIA HGX B300 | MLPerf v6.1 Closed | 8 | 69 655 | 8 707 |
AMD는 MI455X의 자체 측정 결과인 21 333토큰/초를 Preview 부문의 Vera Rubin NVL72 결과와 비교했다. 공개된 값의 차이는 약 30%다. AMD의 측정은 MLCommons의 검증을 거치지 않았다. 또한 발표에는 사용된 GPU 수와 연산의 수치 형식도 명시되지 않았다. 따라서 동일한 조건에서 어느 정도의 우위가 있었을지는 이 데이터만으로 확인할 수 없다.
Vera Rubin NVL72에는 지연 시간 제한을 적용한 결과도 있다. MLPerf Server에서 GPU 72개로 구성된 랙은 1 175 890토큰/초, Interactive에서는 652 750토큰/초를 기록했다. Interactive의 요구 조건은 더 엄격하다. 첫 토큰까지 최대 1.5초, 이후 각 토큰까지 최대 15 ms가 허용된다. 이는 테스트의 기준값이다. AMD의 MI450X와 MI455X 발표에는 이에 상응하는 Server 및 Interactive 결과가 없다.
MI450X와 MI455X 중 선택하는 방법
432 GB의 실질적인 이점은 추가 메모리 덕분에 모델 복제본을 더 적은 수의 GPU에 배치하거나, 필요한 지연 시간 내에서 더 많은 요청을 처리할 수 있을 때 나타난다. 출력 토큰 100만 개당 비용은 동일한 모델과 부하를 기준으로 전체 구성을 비교해야 의미가 있다. AMD의 발표에는 Helios의 가격이 명시되지 않았으므로, 공개된 결과만으로는 어느 구성이 더 유리한지 아직 판단할 수 없다.
GPU 비교
Instinct MI450X을 다른 GPUs와 비교
기초적인
메모리 사양
디스플레이 및 미디어
이론적 성능
AI 기능
상호 연결 및 확장성
여러 가지 잡다한
벤치마크
다른 GPU와 비교
소셜 미디어에서 공유하기
또는 링크로 소개하기
<a href="https://cputronic.com/ko/gpu/amd-instinct-mi450x" target="_blank">AMD Instinct MI450X</a>