Tesla V100 PCIe 32 GB: 270억 파라미터 모델을 위한 메모리, 그러나 PCIe 커넥터 프리미엄

Tesla V100 PCIe 32 GB는 메모리를 두 배로 늘린 V100 서버 가속기 버전이다. NVIDIA는 2018년 3월 약 $11 500에 출시했다. 현재는 퇴역한 카드가 eBay에서 약 $700에 판매된다.

16GB 버전과 동일한 다이와 클록, 900GB/s의 메모리 대역폭을 갖는다. 하지만 2026년에는 메모리 용량이 핵심이다. 32GB에는 긴 컨텍스트를 사용하는 4비트 양자화의 270억~320억 파라미터 밀집 모델을 담을 수 있으며, V100은 이런 모델에서 약 30토큰/초를 낸다.

단점은 두 가지다. Volta에는 새로운 드라이버와 CUDA 13 지원이 없다. 또한 PCIe 버전은 16GB 버전보다 거의 세 배 비싸고, 같은 용량의 SXM2 모듈보다도 눈에 띄게 비싸다.

제품군 내 위치

모든 V100은 GV100 다이를 기반으로 한다. TSMC 12nm 공정, CUDA 코어 5120개, 1세대 텐서 코어 640개, 4096비트 버스의 HBM2 스택 4개를 갖는다. 32GB 버전과 가까운 제품은 다음과 같다.

PCIe 버전의 공식 성능은 FP32에서 14 TFLOPS, FP64에서 7 TFLOPS, 텐서 코어에서 112 TFLOPS다. 텐서 코어는 FP16만 지원한다. Volta에는 RT 코어, BF16, TF32가 없다.

제품 설명에는 동일한 레퍼런스 기판이 여러 파트 번호로 등록되어 있다. PNY TCSV100M-32GB-PB, Dell 490-BENZ 및 0HR5WD, HPE Q9U36A, Lenovo 4X67A12088, Cisco UCSC-GPU-V100-32= 등이 있다.

성능

언어 모델

토큰 생성 속도는 메모리 대역폭에 좌우된다. 따라서 작은 모델에서는 32GB V100도 16GB 버전과 동일하게 작동한다. 다음은 llama.cpp 개발자들이 동일한 코드 버전에서 측정한 결과다.

gpt-oss 20B에서 V100의 생성 속도는 RTX 3090보다 28% 느리고 AMD 카드와 비슷한 수준이다. 테스트에 MI50과 MI60 중 어느 카드가 사용됐는지는 명시되지 않았다. V100은 프롬프트 처리에서 AMD보다 2.3배 빠르지만, 3090보다는 2.4배 느리다.

이 카드는 32GB를 활용해 270억 파라미터급 밀집 모델을 구동하려는 목적으로 구매한다. 아래는 소유자들이 공유한 결과다. llama.cpp에서 단일 요청을 처리했으며, 별도의 가속 기능은 사용하지 않았다. SXM2 결과는 PCIe 버전에도 적용할 수 있다. 두 제품의 메모리가 동일하고, 생성 속도는 바로 그 메모리에 의해 제한되기 때문이다. Qwen3.6 27B Q4_K_M 결과가 직접 비교할 수 있는 항목이다.

4비트 27B 모델에서 32~33토큰/초면 채팅과 에이전트 작업에 충분하다. RTX 5090은 2.4배 빠르지만 가격도 거의 9배 비싸다.

PCIe와 SXM2 중 하나를 고르는 것보다 소프트웨어 기법이 더 큰 차이를 만든다. MTP(한 단계에서 여러 토큰을 예측하는 방식)를 사용하면 Qwen3.8 27B의 속도가 33토큰/초에서 57토큰/초로 오른다. 코드에서 증가 폭이 가장 크고, 산문에서는 더 작다. vLLM 포크는 단일 스트림에서 llama.cpp보다 10% 느리다. 대신 동시에 4개의 요청을 처리하면 총 110토큰/초를 내며, llama.cpp의 75.7토큰/초를 앞선다.

컨텍스트가 길어지면 속도가 떨어진다. 빈 컨텍스트에서는 33.4토큰/초였지만 32K 토큰에서는 28토큰/초, 131K 토큰에서는 15.8토큰/초가 된다. 냉각 상태도 확인해야 한다. 한 소유자의 카드에서는 서버 팬을 최대로 올리기 전까지 속도가 15.7토큰/초까지 떨어졌다.

한 테스트에서는 V100이 RTX 4070보다 전력 효율이 높았다. Qwen3.5 4B에서 V100은 154W로 107토큰/초를 냈고, 4070은 173W로 91토큰/초를 냈다. 즉 줄당 토큰 수가 30% 적었다. 프롬프트 처리는 4070이 더 빨랐다. 4070은 5860토큰/초, V100은 4445토큰/초였다.

학습, 계산 및 게임

32GB 덕분에 FP16에서 더 큰 모델을 파인튜닝할 수 있지만, BF16과 FlashAttention 2가 없기 때문에 최신 학습 파이프라인은 수정해야 한다. Lambda가 SXM2 버전에서 측정한 결과에 따르면 A100이 1.6~3.4배 빠르다.

FP64에서 V100은 여전히 강하다. 7 TFLOPS는 RTX 4090보다 약 5배 많으며, 32GB에는 CFD와 분자동역학에 사용할 대형 격자를 담을 수 있다.

게임용으로는 적합하지 않다. 영상 출력, DLSS, 레이 트레이싱이 없고, 성능 수준도 RTX 4060 Ti보다 약간 낮다.

소프트웨어 지원

R580 드라이버 브랜치가 Volta를 지원하는 마지막 버전이다. CUDA 13은 이 아키텍처용으로 컴파일되지 않으므로 CUDA 12.x만 남는다. 미리 빌드된 llama.cpp와 LM Studio도 점차 V100 지원을 잃고 있다. 한 소유자의 사례에서는 CUDA 13에 Volta가 없다는 이유로 KV 캐시 양자화가 아무런 메시지 없이 CPU에서 처리되기 시작했다.

이 플랫폼은 엔지니어들이 유지하고 있다. sm_70용 vLLM 포크, ExLlamaV3 포트, MTP를 지원하는 llama.cpp 빌드 등이 있다. 가정에서 실험하기에는 충분하다. 하지만 업무용 시스템에서는 개발자들이 앞으로 얼마나 오래 이를 지원할지에 의존하게 된다.

가격과 구매처

새 V100은 오래전에 생산이 중단됐으며, 현재는 중고 제품만 판매된다.

eBay 최저가는 연초부터 거의 움직이지 않았다. 2월에는 약 $707이었고, 현재는 약 $685다. $500보다 저렴한 카드는 일부 해외 판매자에게서만 볼 수 있다. 이런 매물은 물론이고 eBay의 최저가 매물도 일반적으로 보증이 없다. 가격에 덕트가 달린 팬도 추가해야 한다. 서버용 공기 흐름이 없으면 패시브 방열판이 과열된다.

리셀러와 서버 조립업체는 거의 10배나 더 높은 가격을 요구한다. 서버 완제품을 구매하면 주로 프로세서, 메모리, 디스크 비용을 지불하게 된다.

경쟁 제품과 대안

어댑터를 사용하는 Tesla V100 SXM2 32 GB. 동일한 다이와 용량을 갖고, 클록은 10% 더 높으며, 어댑터를 포함해 $250-600이다. 단점은 직접 조립해야 하고, 기본 팬이 시끄러우며, 부하 시 전력 소비가 300W라는 점이다. 가정용 PC에서 32GB HBM2를 확보하는 가장 저렴한 방법이다.

V100 PCIe 16 GB 두 장. 동일한 32GB를 약 $470에 확보할 수 있다. llama.cpp가 모델을 레이어 단위로 나누므로 생성 속도는 카드 한 장을 사용할 때와 같은 수준으로 유지된다. PCIe x16 슬롯 두 개와 500W를 감당할 여유가 있는 파워서플라이가 필요하다.

GeForce RTX 3090. 생성 속도는 20~40% 빠르고, 프롬프트 처리도 2.4배 빠르며, BF16과 FlashAttention, 지원이 계속되는 드라이버도 제공한다. 4비트 27B 모델은 24GB에 들어가지만 컨텍스트에 사용할 여유 공간이 더 적고, 32B 모델은 Q5-Q6에서 더 이상 들어가지 않는다. 가격은 약 $1386로 V100의 두 배다.

GeForce RTX 5090. 동일한 32GB와 훨씬 높은 속도를 제공한다. 메모리 부족으로 인해 권장가가 $1999인데도 가격은 $6000부터 시작한다. GB당 가격은 약 $190으로, V100의 $22보다 높다.

AMD Instinct MI50 32 GB. 생성 속도는 V100과 비슷하지만 프롬프트 처리 속도는 두 배 이상 느리다. Alibaba 공급업체에서는 $120-210, eBay에서는 $500-650에 판매된다. 안정적으로 작동하는 소프트웨어는 대부분 llama.cpp와 기본 PyTorch다.

결론

현재 기준으로 Tesla V100 PCIe 32 GB는 크고 빠른 메모리를 갖춘 느린 연산 장치다. 270억~320억 파라미터 모델을 긴 컨텍스트와 함께 메모리에 올리고 편안한 속도로 사용할 수는 있다. 하지만 긴 프롬프트, 학습, 소프트웨어에서 제약이 시작된다. 업무용 시스템에는 적합하지 않다.

PCIe 버전의 합리적인 가격은 $450-500 이하다. 현재 가격인 $700에서는 어댑터를 포함한 32GB SXM2 모듈에 밀린다. PCIe에 추가 비용을 지불할 이유가 있는 경우는 Dell R740이나 HPE DL380 같은 랙 서버에 장착할 때뿐이다. 이런 서버에는 어댑터를 설치할 수 없고, 기본 공기 흐름이 냉각 문제를 해결해 주기 때문이다.

24GB로 충분하고 정상적인 소프트웨어 지원과 속도가 필요하다면 RTX 3090에 추가 비용을 지불하는 편이 낫다. 최소 비용으로 최대 메모리를 원한다면 V100 SXM2 32 GB 또는 MI50이 더 유리하다.