Tesla V100 PCIe 16 GB: 적은 비용으로 900 GB/s HBM2를 누리지만 제한적인 CUDA 지원

Tesla V100 PCIe 16 GB는 2017년에 출시된 서버용 가속기로, 지금도 로컬 신경망과 과학 계산에 유용하다. 가장 큰 장점은 900 GB/s의 대역폭을 제공하는 HBM2 메모리로, GeForce RTX 3090에 거의 맞먹는 수준이다. 중고 시장에서 이 카드는 수백 달러에 판매되지만, 가장 저렴한 매물은 완전한 PCIe 카드가 아니라 SXM2 모듈인 경우가 많다.

낮은 가격을 얻는 대신 여러 제한을 감수해야 한다. V100에는 비디오 출력과 하드웨어 레이 트레이싱이 없고, 16 GB 메모리는 대규모 언어 모델을 실행하기에 부족하며, 최신 CUDA 버전 지원도 종료됐다. NVIDIA는 Volta를 R580 드라이버 브랜치에서 지원하며, 이 브랜치의 유지보수는 2028년 중반까지 계속된다. 최신 LLM을 실행하려면 호환되는 소프트웨어 버전을 직접 조합해야 하는 경우가 점점 많아지고 있다.

라인업 내 위치

Tesla V100은 TSMC FFN 12nm 공정으로 제조된 815 mm² 크기의 GV100 다이를 기반으로 한다. 84개의 스트리밍 멀티프로세서 중 80개가 활성화되어 있어 5120개의 CUDA 코어와 1세대 텐서 코어 640개를 제공한다. 4개의 HBM2 스택은 4096비트 버스로 연결된다.

NVIDIA는 GV100을 기반으로 메모리 용량, 클록과 인터페이스가 서로 다른 여러 가속기를 출시했다.

16 GB PCIe 버전은 FP32에서 최대 14 TFLOPS, FP64에서 7 TFLOPS, FP16 텐서 연산에서 112 TFLOPS를 제공한다. 클록과 전력 제한이 더 높은 SXM2보다는 수치가 조금 낮다.

Volta는 NVIDIA 아키텍처 가운데 처음으로 텐서 코어를 탑재했다. 그러나 텐서 코어는 FP16만 지원하며 BF16, TF32, FP8에서는 작동하지 않는다. 이러한 형식이 없기 때문에 최신 라이브러리와 모델의 효율이 제한된다. GV100에는 하드웨어 RT 코어도 없다.

성능

로컬 언어 모델

토큰 생성 성능은 메모리에서 가중치를 읽는 속도에 의해 제한되는 경우가 많다. 따라서 900 GB/s의 대역폭을 갖춘 V100은 훨씬 최신인 GPU를 상대로도 경쟁력을 유지한다.

비교를 위해 llama.cpp 개발자들이 공개한 Llama 2 7B Q4_0 양자화 테스트 결과를 사용할 수 있다. 이 테스트에서는 512토큰 프롬프트 처리 속도와 FlashAttention 없이 128토큰을 생성하는 속도를 측정한다.

결과는 여러 사용자의 테스트에서 수집됐다. 모델과 주요 설정은 동일하지만 llama.cpp 버전, 드라이버와 시스템 구성은 서로 다를 수 있다.

표에서 테스트한 것은 V100 PCIe 32 GB다. 16 GB 버전도 동일한 클록과 HBM2 대역폭을 제공하며, 모델 자체는 4 GB 미만을 차지한다. 따라서 비슷한 성능이 예상되지만, 여기에는 16 GB 카드만을 대상으로 한 직접 측정 결과가 없다.

생성 성능에서 V100은 RTX 3090보다 약 18% 느리고, 프롬프트 처리에서는 41% 느리다. 짧은 대화에서는 그 차이가 항상 크게 느껴지지는 않지만, 대용량 문서와 긴 대화 기록을 처리할 때는 차이가 더 뚜렷해진다.

RTX 4090은 V100보다 프롬프트를 거의 4배 빠르게 처리하지만, 생성 성능의 차이는 44%에 불과하다. 이는 메모리 대역폭 하나만으로 모든 작업의 성능을 결정할 수 없는 이유를 보여준다.

Tesla V100 PCIe 16 GB의 가장 큰 제한은 메모리 용량이다. 이 카드는 4비트 양자화된 714B 모델에 적합하다. 2732B 파라미터 모델은 보통 일부를 시스템 RAM으로 오프로드하거나 더 강하게 압축해야 한다. 두 경우 모두 속도, 품질 또는 컨텍스트 길이에서 타협이 필요하다.

학습과 과학 계산

V100은 무엇보다 신경망 학습과 고성능 컴퓨팅을 위해 제작됐다. FP16 텐서 코어는 여전히 유용하지만, 최신 가속기는 더 효율적인 연산 형식과 더 큰 캐시, 최적화된 라이브러리를 제공한다.

BF16을 사용하는 모델을 학습할 때는 제한이 특히 두드러진다. V100에는 이 형식에 대한 하드웨어 지원이 없기 때문에 최신 PyTorch와 다른 프레임워크의 모든 구성을 변경 없이 Volta로 옮길 수는 없다.

반면 배정밀도 연산에서는 게이밍 GeForce보다 여전히 상당한 우위를 유지한다. FP64 성능은 7 TFLOPS에 달하며, RTX 4090보다 약 5.4배 높다.

분자 동역학, 수치 모델링 및 기타 HPC 작업에서는 사용하는 소프트웨어가 Volta를 지원한다면 V100이 여전히 매력적이다. 다만 높은 FP64 사양만으로 특정 프로그램에서도 동일한 우위가 보장되는 것은 아니다.

Tesla V100으로 게임을 할 수 있을까

V100 PCIe에는 비디오 출력이 없다. 화면을 표시하려면 다른 그래픽 카드나 프로세서의 내장 그래픽이 필요하다. Windows에서는 호환되는 드라이버를 선택하고 게임이 연산 가속기에서 실행되도록 설정해야 한다.

한편 일부 사용자는 PCIe 어댑터를 통해 V100 SXM2 16 GB의 게임 성능을 확인했다. Ryzen 7 5700GE 시스템에서 업스케일링과 프레임 생성 없이 높은 그래픽 설정으로 다음과 같은 결과를 얻었다.

Cyberpunk 2077에서 가속기의 소비 전력은 약 181 W였다. 이 결과는 Volta가 여전히 최신 게임을 처리할 수 있음을 보여주지만, DLSS와 하드웨어 레이 트레이싱이 없다는 점이 기능을 크게 제한한다.

다만 이 테스트는 PCIe가 아니라 SXM2 모델을 대상으로 했다. SXM2의 부스트 클록은 PCIe의 1380 MHz보다 높은 1530 MHz에 달하며, 전력 제한도 50 W 더 높다. 따라서 PCIe 버전은 더 느릴 수 있다. 별도의 측정 결과 없이는 FPS 차이를 판단할 수 없다.

게임만을 위해 V100을 구매하는 것은 불리하다. 일반적인 GeForce가 설치하기 더 쉽고 최신 그래픽 기술을 지원하며, 화면 출력을 위한 추가 그래픽 카드도 필요하지 않다.

일반 PC에 설치하기

SXM2와 달리 Tesla V100 PCIe는 표준 PCIe x16 슬롯에 직접 연결할 수 있다. 하지만 가정용 PC에 설치하려면 여전히 준비가 필요하다.

전원. 레퍼런스 V100 PCIe에는 8핀 CPU EPS12V 커넥터가 장착되어 있다. 이는 일반적인 8핀 PCIe 커넥터와 다르다. NVIDIA는 적절한 EPS12V 케이블을 연결하거나 PCIe 커넥터가 달린 전용 어댑터를 사용할 수 있다고 안내한다.

처음 전원을 켜기 전에 케이블의 핀 배열과 허용 부하를 확인해야 한다. 커넥터가 비슷하게 생겼다는 이유만으로 맞지 않는 케이블을 연결해서는 안 된다.

냉각. 이 카드는 서버 내부의 강한 공기 흐름을 전제로 한 패시브 방열판을 사용한다. 일반적인 케이스에서는 방향성 있는 공기 흐름을 만들어 줄 별도의 팬이 필요하다.

냉각이 충분하지 않으면 가속기가 클록을 낮추거나 과열될 수 있다. 코어 온도뿐 아니라 장시간 부하에서의 작동 안정성도 확인해야 한다.

소비 전력. 정격 전력 제한은 250 W다. nvidia-smi를 통해 허용 전력을 예를 들어 180 W까지 낮출 수 있다. 이렇게 하면 발열과 냉각 요구 사항이 줄어들지만, 성능에 미치는 영향은 작업에 따라 달라진다.

소프트웨어 지원: 가장 큰 제한

NVIDIA는 R580이 Maxwell, Pascal, Volta를 지원하는 마지막 드라이버 브랜치가 될 것이라고 확인했다. 서버용 가속기에서는 이 브랜치가 장기 지원 라인에 해당하며, 유지보수는 2028년 6월에 종료된다.

CUDA 13에서는 더 이상 sm_70 컴퓨트 기능을 사용하는 Volta 아키텍처용 애플리케이션을 컴파일할 수 없다. 호환되는 마지막 CUDA Toolkit 계열은 12.x이며, 여기에는 버전 12.9도 포함된다.

그렇다고 CUDA 13 출시 후 V100이 작동하지 않게 된 것은 아니다. 이전 CUDA 버전에서 Volta 지원을 포함해 빌드한 프로그램은 호환되는 드라이버에서 계속 실행된다.

문제는 새로운 프로그램과 라이브러리 버전에 있다.

• llama.cpp. 소스 코드를 이용하면 sm_70 호환 버전을 빌드할 수 있지만, 새로운 최적화가 Volta를 지원하지 않을 수 있다.
• PyTorch. V100에서는 CUDA 12.x와 해당 컴퓨트 아키텍처를 지원하는 빌드를 선택해야 한다.
• LM Studio와 Ollama. 호환성은 애플리케이션 버전과 함께 제공되는 CUDA 런타임에 따라 달라진다. 일부 기능은 더 오래된 빌드를 요구할 수 있다.
• FlashAttention 2. 일반적인 CUDA 구현은 더 최신 아키텍처를 대상으로 하므로, V100에서는 대체 어텐션 처리 방식을 사용해야 한다.

가정에서 실험하는 용도라면 감수할 수 있는 수준이다. 호환되는 환경을 유지하면서 선택적으로 업데이트할 수 있기 때문이다. 하지만 업무용 서버에서는 제한이 더 심각하다. 최신 프레임워크가 점차 Volta 지원을 중단하고 있기 때문이다.

중고 시장 가격

V100의 가격은 모델에 따라 크게 달라진다. 저렴한 SXM2 모듈은 Tesla V100의 일반적인 검색 결과에 자주 포함되지만, 어댑터 없이는 PC에 설치할 수 없다.

2026년 10월 28일 기준 eBay 매물 집계는 다음과 같다.

가격은 완료된 거래가 아니라 현재 활성화된 매물을 기준으로 한다. 일부 V100 PCIe 16 GB는 약 $240-275에 판매됐지만, 이러한 매물이 항상 उपलब्ध하다고 보기는 어렵다.

16 GB PCIe 버전은 정상 작동 여부를 확인할 수 있는 카드라면 $300-350 정도를 합리적인 가격대로 볼 수 있다. 가격이 약 $400에 이르면 매력이 줄어든다. 특히 냉각 장치와 전원 케이블을 별도로 구해야 한다면 더욱 그렇다.

완성된 가정용 시스템을 구성하는 비용은 가속기 자체의 가격보다 훨씬 높아질 수 있다. 따라서 V100을 다른 제품과 비교할 때는 모든 부품 비용을 고려해야 한다.

경쟁 제품과 대안

Tesla V100 SXM2 16 GB. 모듈 자체는 PCIe 버전보다 저렴하지만, 어댑터와 전원 공급 장치, 별도의 냉각 장치가 필요하다. 최종 비용은 완성된 PCIe 카드와 비슷해질 수 있다. 단일 GPU 구성에서는 일반적으로 SXM2의 장점이 복잡한 구성을 정당화하지 못한다. NVLink를 사용하는 다중 모듈 보드라면 이야기가 다르다.

Tesla V100 PCIe 32 GB. 동일한 컴퓨팅 아키텍처와 메모리 대역폭을 제공하지만 HBM2 용량이 두 배다. 27~32B 파라미터 언어 모델에 훨씬 더 적합하다. 그러나 가격이 $800-1000이면 구형 아키텍처의 경제적 이점이 더 이상 명확하지 않다.

GeForce RTX 3090 24 GB. 프롬프트 처리 속도가 더 빠르고 BF16, 최신 CUDA 최적화 및 하드웨어 레이 트레이싱을 지원한다. 24 GB 메모리 덕분에 V100 16 GB보다 더 큰 모델을 실행할 수 있다. 중고 시장에는 약 $1200부터 시작하는 매물이 있지만, 대부분의 매물은 더 비싸다. 더 범용적인 카드지만 추가 비용이 상당하다.

GeForce RTX 5060 Ti 16 GB. 새로운 아키텍처와 최신 라이브러리 지원, 비디오 출력, DLSS 4 및 제조사 보증을 제공한다. 메모리 대역폭은 V100의 900 GB/s보다 낮은 448 GB/s다. 그러나 이 차이만으로 LLM 속도를 직접 예측할 수는 없다. 최신 연산 코어와 소프트웨어 최적화가 대역폭 부족을 보완할 수 있기 때문이다. 게임과 일상적인 작업에는 RTX 5060 Ti가 더 적합하다.

AMD Instinct MI50 32 GB. HBM2 용량이 두 배이고, 대역폭이 약 1 TB/s이며 FP64 성능도 높은 대안이다. 일부 매물의 가격은 약 $650부터 시작한다. 가장 큰 제한은 노후화되고 있는 ROCm 지원과 최신 컴퓨팅 소프트웨어 사용의 어려움이다. CUDA를 기반으로 한 프로그램에서는 일반적으로 V100이 더 다루기 쉽다.

Tesla P40 24 GB. GDDR5와 24 GB 메모리를 사용하는 더 오래된 카드다. llama.cpp 테스트에서 생성 속도는 약 55 토큰/s로, V100의 129 토큰/s보다 낮다. 하지만 추가로 제공되는 8 GB 덕분에 V100 16 GB에는 들어가지 않는 모델을 실행할 수 있다. 따라서 속도보다 메모리 용량이 중요한 경우 P40은 여전히 대안이 된다.

Tesla V100 PCIe 16 GB를 구매할 가치가 있을까

Tesla V100 PCIe 16 GB는 로컬 신경망, 과학 계산 및 CUDA 실험용으로 여전히 매력적이다. 수백 달러로 900 GB/s의 메모리 대역폭, 640개의 텐서 코어와 7 TFLOPS의 FP64 성능을 얻을 수 있다.

하지만 16 GB 용량은 선택할 수 있는 언어 모델을 제한하며, Volta의 소프트웨어 지원도 점차 줄어들고 있다. 이 카드는 방향성 냉각, 적절한 전원 공급, 그리고 드라이버와 라이브러리 버전을 신중하게 선택하는 과정이 필요하다.

가격이 $300-350 이하라면 V100 PCIe 16 GB는 가정용 컴퓨팅 시스템을 구축하기에 괜찮은 구매로 볼 수 있다. 카드 가격이 $400 이상이라면 설치 비용을 고려해 SXM2 16 GB, P40 24 GB 및 더 최신인 가속기와 비교해야 한다.

14B 파라미터 이하의 모델에는 V100의 성능이 일반적으로 충분하다. RAM으로 오프로드하지 않고 2732B 파라미터 모델을 로컬에서 실행하려는 것이 목표라면, 처음부터 2432 GB 메모리를 갖춘 그래픽 카드를 고려하는 편이 낫다.

V100은 범용 그래픽 카드가 아니라 특정 연산 작업을 위해 구매해야 한다. 여전히 많은 실험을 수행할 수 있는 성능을 제공하지만, 앞으로 몇 년 동안 최신 소프트웨어를 완전히 지원할 것이라고 기대해서는 안 된다.