Tesla V100 SXM3 32GB: SXM2보다 강력하지만 사용하기는 훨씬 더 어렵다

Tesla V100 SXM3 32GB는 슈퍼컴퓨터 DGX-2와 HGX-2 플랫폼 서버를 위한 NVIDIA의 연산 모듈이다. NVIDIA는 2018년 3월 DGX-2를 발표했다. 이 시스템은 NVSwitch를 통해 연결된 Volta 아키텍처 기반 가속기 16개를 바탕으로 했다. 기존 V100 SXM2와 비교해 새 버전은 더 높은 클록, 더 높은 메모리 대역폭, 350W의 전력 제한이 특징이었다.

SXM3는 사양 면에서 SXM2를 앞서지만, 직접 조립하는 용도로는 훨씬 적합하지 않다. 이 모듈은 전용 커넥터를 사용하고 호환되는 전원 공급 및 냉각 시스템이 필요하며, 서버 플랫폼 밖에서의 작동은 사실상 검증되지 않았다. SXM3를 일반 컴퓨터에 연결할 수 있다고 해도, 소폭의 성능 향상이 비용을 정당화하기는 어려울 가능성이 높다.

제품군 내 위치

네 버전 모두 5120개의 CUDA 코어와 640개의 텐서 코어를 갖춘 동일한 GV100 다이를 사용한다. 차이는 클록, 전력 설정, 연결 방식에 있다.

일반적인 SXM3는 FP32에서 약 16.4TFLOPS, FP64에서 8.2TFLOPS에 이른다. 메모리 대역폭은 SXM2보다 9% 높고 GPU 클록은 약 4% 상승했다. 이러한 차이 덕분에 SXM3는 연산 작업과 메모리 속도에 의해 제한되는 작업에서 우위를 보이지만, 실제 성능 향상 폭은 부하에 따라 달라진다.

NVIDIA는 DGX-2H를 위해 더 강력한 SXM3-H 개량형을 준비했다. 전력 제한은 450W로 늘었고 메모리 대역폭은 1134GB/s에 이른다. SXM 방식으로 제작된 V100 가운데 가장 성능이 높은 버전이다.

DGX-2와 NVSwitch

DGX-2의 핵심적인 신기술은 GPU 클록 향상이 아니라 GPU를 연결하는 방식이었다.

DGX-1에서는 SXM2 가속기 8개가 NVLink를 통해 직접 연결됐다. 이 토폴로지는 개별 GPU 쌍 사이의 데이터 교환을 제한했다. 반면 DGX-2에서는 SXM3 모듈 16개를 12개의 NVSwitch에 연결해 모든 가속기 사이에 고속 통신이 가능하도록 했다.

시스템의 HBM2 메모리 총용량은 512GB였다. 각 GPU는 다른 GPU의 메모리에 접근할 수 있었지만, 그렇다고 16개의 가속기가 하나의 GPU처럼 단일 로컬 버퍼를 공유하게 된 것은 아니었다. 원격 메모리 접근 지연 시간은 여전히 더 높았으며, 애플리케이션에는 분산 컴퓨팅 지원이 필요했다.

시스템의 두 절반 사이를 연결하는 인터커넥트 대역폭은 2.4TB/s에 달했다. 대규모 신경망 학습에서는 개별 모듈의 소폭 클록 향상보다 이 요소가 더 중요했다.

DGX-2는 텐서 코어에서 약 2PFLOPS를 제공했고, 최대 10kW를 소비했으며, 출시 당시 가격은 $399 000였다. NVIDIA는 NVSwitch 기반 아키텍처를 이후 세대의 DGX 제품에서도 계속 발전시켰으며, 여기에는 DGX A100도 포함된다.

최신 작업에서의 성능

최신 언어 모델에서 V100 SXM3를 독립적으로 테스트한 자료는 사실상 없다. 이용 가능한 결과 대부분은 SXM2와 PCIe에서 얻은 것이므로, 텍스트 생성에서 SXM3가 어느 정도 우위에 있는지는 아직 정확히 판단할 수 없다.

참고로 Tesla V100 SXM2 32GB는 llama.cpp를 사용해 Qwen3.6-27B를 Q4_K_M 형식으로 생성할 때 약 32토큰/s를 기록한다. 이는 여러 GPU로 구성된 시스템이 아니라 단일 그래픽 카드에서 얻은 결과다.

SXM3는 메모리 대역폭이 9% 더 높으므로 이론적으로는 생성 작업에서 더 빠를 수 있다. 그러나 이 비율을 토큰 출력 속도에 그대로 적용하는 것은 옳지 않다. 결과에는 양자화 방식, 컨텍스트 크기, 소프트웨어 엔진, 모델의 특성이 영향을 미친다.

FP32 및 FP64 작업에서도 더 높은 클록이 이점을 제공한다. 하지만 Volta 아키텍처는 지원되는 연산 형식의 종류에서 최신 가속기에 뒤처진다.

주요 소프트웨어 제약은 다음과 같다.

• CUDA: 연산 아키텍처 sm_70은 CUDA 12.9까지 지원된다. CUDA 13부터는 Volta용 새 GPU 커널을 컴파일할 수 없다.
• 드라이버: R580은 Volta를 지원하는 NVIDIA의 마지막 브랜치다.
• BF16: 하드웨어 지원이 없어 최신 신경망 학습 도구와의 호환성이 제한된다.
• FlashAttention 2: 공식 구현은 Volta를 지원하지 않는다. 다른 어텐션 메커니즘을 사용해야 한다.

V100은 여전히 로컬 LLM을 실행할 수 있지만, 새로운 모델과 라이브러리를 구동하려면 경우에 따라 별도의 빌드가 필요하다.

SXM3를 일반 컴퓨터에서 사용할 수 있는가

PCIe 카드와 달리 SXM3 모듈은 메인보드 슬롯에 직접 장착할 수 없다. 해당 모듈은 전용 커넥터와 전원 공급 및 냉각 시스템을 갖춘 특수 서버 메인보드를 전제로 한다.

중고 시장에는 약 $200-300에 판매되는 SXM3 - PCIe 어댑터가 올라오기도 한다. 그러나 일부 제품에는 SXM2에 해당하는 부품 번호가 기재되어 있다. 실제 SXM3 모듈이 이러한 어댑터에서 안정적으로 작동한다는 독립적인 확인 자료는 충분하지 않다.

구매하기 전에 다음 사항을 확인해야 한다.

• 메인보드가 SXM2가 아닌 SXM3를 지원하는가.
• 전원 공급 시스템이 최대 350W의 부하를 견딜 수 있는가.
• 모듈의 냉각이 어떤 방식으로 구성되어 있는가.
• NVIDIA 드라이버가 GPU를 인식하며 장시간 부하 테스트를 통과하는가.

일반적인 보드 사진이나 판매자의 호환성 주장만으로는 충분하지 않다. nvidia-smi 결과, CUDA 테스트, 그리고 V100 SXM3에서 실제로 안정적으로 작동한다는 확인 자료를 받는 것이 좋다.

DGX-2와 HGX-2에서는 이러한 문제가 없다. 그러나 구형 가속기 몇 개를 위해 서버 전체를 구매하는 것은 정당화하기 어렵다. DGX-2는 강력한 전원 및 냉각 인프라를 전제로 하며, 전력 효율도 A100 및 그 이후 세대 GPU를 사용하는 최신 시스템보다 낮다.

대안

Tesla V100 SXM2 32GB. 동일한 메모리 용량을 갖춘 가장 가까운 대안이다. 중고 시장에서는 약 $450-700에 판매된 사례가 있었지만, 현재 매물은 훨씬 더 비쌀 수 있다. SXM2용 PCIe 어댑터와 냉각 장치가 포함된 개조 완료 카드가 존재한다. 다만 어댑터 비용과 개조 품질을 고려해야 한다.

Tesla V100 PCIe 32GB. PCIe를 지원하는 서버에서 사용하기 더 쉬운 선택지다. 거래 완료 사례를 기준으로 한 가격대는 약 $650-850이지만, 2026년 가을 기준으로 많은 매물이 $850부터 시작한다. 이 카드는 클록과 메모리 대역폭에서 SXM3에 뒤처지지만, 전용 SXM 메인보드가 필요하지 않다. 그래도 적절한 전원 공급과 강제 냉각은 필요하다.

결론

Tesla V100 SXM3 32GB는 클록과 메모리 대역폭에서 SXM2를 앞서지만, 연결 과정의 복잡성 때문에 이러한 장점은 거의 모두 상쇄된다.

DGX-2 또는 HGX-2 서버를 보유한 사용자에게 이 모듈은 여전히 유용한 예비 부품이다. 그러나 직접 시스템을 구축하는 경우에는 어댑터, 전원 공급, 냉각의 호환성을 확인해야 하는 실험적 용도로만 의미가 있다.

로컬 신경망용으로 32GB 메모리를 갖춘 V100이 필요하다면, 검증된 어댑터를 사용하는 SXM2나 완성된 PCIe 버전을 선택하는 편이 합리적이다. SXM3는 호환되는 서버 플랫폼이 있거나, 연결에 필요한 구성품이 실제로 작동한다는 확인을 받은 경우에만 구매하는 것이 좋다.