Tesla V100 SXM2 32 GB: muita memória para redes neurais, mas montagem complexa

A Tesla V100 SXM2 32 GB é um módulo de computação para servidores com 32 GB de memória HBM2 que pode ser conectado a um PC comum por meio de um adaptador. Seu desempenho é próximo ao da Tesla V100 PCIe, mas ela permite combinar vários aceleradores por meio do NVLink. No mercado de usados, esses módulos às vezes custam menos que placas PCIe prontas, embora a economia dependa do preço do adaptador e do sistema de refrigeração.

A NVIDIA apresentou a versão de 32 GB em março de 2018. O preço inicial era de aproximadamente $11 500. Atualmente, os módulos são vendidos após a retirada de servidores de operação e atraem entusiastas que precisam de mais de 24 GB de memória de vídeo para modelos de linguagem locais.

No entanto, a SXM2 não pode ser instalada diretamente em um slot PCIe e requer alimentação e refrigeração separadas. Outra limitação está relacionada ao suporte de software: a NVIDIA está encerrando o desenvolvimento de drivers para a arquitetura Volta, e a CUDA 13 não oferece mais suporte à compilação de aplicativos para a V100.

Posição na linha

A Tesla V100 SXM2 é construída com o chip GV100 de 12 nm, com 5120 núcleos CUDA e 640 núcleos tensoriais. A memória HBM2 é conectada por um barramento de 4096 bits. Em relação à versão PCIe, o módulo se diferencia pelas frequências, pelo consumo de energia e pela interface.

O desempenho especificado da SXM2 chega a 15,7 TFLOPS em FP32, 7,8 TFLOPS em FP64 e 125 TFLOPS nos núcleos tensoriais em FP16.

Seis linhas NVLink 2.0 fornecem até 300 GB/s de largura de banda bidirecional agregada. Isso é significativamente mais do que o PCIe 3.0 oferece, mas a velocidade real de comunicação entre duas GPUs depende da quantidade de linhas que as conectam.

Os módulos foram usados nos sistemas de servidores NVIDIA DGX-1 e em configurações de nuvem AWS p3dn. No mercado secundário, há exemplares com os números de peça 699-2G503-0203-200 e 699-2G503-0204-200, além das versões para servidores HPE P05912-001.

Como instalar o módulo em um PC comum

Adaptador SXM2-PCIe. As placas para um módulo custam aproximadamente $60-100. Elas são conectadas ao PCIe 3.0 x16 e normalmente exigem alimentação adicional por meio de dois conectores de 8 pinos. Antes da compra, é preciso verificar se o adaptador é compatível especificamente com a V100 SXM2 e conferir seu esquema de alimentação.

Um adaptador comum não oferece NVLink. Com ele, a V100 funciona como um acelerador independente, e as vantagens da SXM2 ficam limitadas à frequência mais alta e ao limite de potência especificado.

Placas para vários módulos. Para combinar duas ou quatro V100, existem placas especiais com linhas NVLink roteadas. As versões para dois módulos são encontradas por aproximadamente $300-500. Em algumas construções, a conexão com a placa-mãe é feita por meio de um comutador PCIe e cabos especiais.

Antes da compra, é necessário verificar o esquema das conexões entre os módulos: a presença de dois conectores SXM2 não garante, por si só, o funcionamento do NVLink.

Refrigeração. A V100 SXM2 foi projetada para um sistema de refrigeração de servidor, portanto um dissipador comum sem fluxo de ar intenso não é suficiente. Com TDP de 300 W, é necessário escolher um dissipador adequado, garantir um fluxo de ar direcionado e verificar as temperaturas sob carga prolongada.

Em montagens domésticas, usam-se ventiladores separados com carenagens, inclusive algumas fabricadas em impressoras 3D. Reduzir o limite de potência por meio do nvidia-smi ajuda a diminuir o aquecimento e o ruído, mas pode limitar o desempenho.

Sistema operacional. Para um sistema doméstico, o Linux é preferível: é mais fácil encontrar instruções, drivers e builds especializados para ele. O Windows também é compatível, incluindo algumas configurações experimentais com várias V100, mas a compatibilidade precisa ser verificada separadamente.

No Linux, é importante instalar o módulo proprietário do driver da NVIDIA. A partir da série 560, o módulo de kernel aberto é oferecido por padrão; ele é compatível apenas com as arquiteturas Turing e mais recentes. Ele não é adequado para a Volta.

Desempenho em modelos de linguagem

Um módulo com 32 GB de memória

Durante a geração de tokens, a velocidade costuma ser limitada pela largura de banda da memória de vídeo. A SXM2 e a PCIe têm a mesma largura de banda - 900 GB/s -, portanto a vantagem da SXM2 nessas tarefas geralmente é pequena.

Em um teste de usuário com uma V100 SXM2 32 GB, o modelo Qwen3.6-27B foi executado no llama.cpp com diferentes opções de quantização.

O teste foi realizado em uma única thread, com geração de 128 a 2048 tokens. Esses são os resultados de uma configuração específica, não uma velocidade garantida para qualquer V100.

A principal vantagem da versão de 32 GB é a possibilidade de manter o Qwen3.6-27B inteiro em Q8_0. Em uma placa de vídeo com 24 GB, não há memória suficiente para essa quantização.

No entanto, os pesos em Q8_0 ocupam quase toda a memória de vídeo disponível. Para diálogos longos, é melhor escolher Q4_K_M ou Q5_K_M, deixando mais espaço para o cache KV.

Contexto longo e builds otimizados

Com contexto longo, o desempenho cai consideravelmente. Entusiastas tentam reduzir essas perdas com alterações no llama.cpp e com a decodificação especulativa MTP.

Em um teste publicado, o Qwen3.8-27B Q4_K_M apresentou os seguintes resultados em uma única V100 SXM2 32 GB:

Com um contexto de 128 mil tokens, o build otimizado com MTP foi 2,6 vezes mais rápido que o padrão. No entanto, esse é o resultado de uma configuração especial, que depende do modelo, das solicitações e da eficiência da decodificação especulativa.

O cache de prompt também acelera sessões agênticas com várias etapas. No mesmo experimento, o tempo de processamento de uma etapa caiu de 22,94 para 3,08 segundos graças ao reúso do histórico já processado.

Vários módulos e NVLink

Em sistemas com várias GPUs, as vantagens da SXM2 se tornam mais perceptíveis. O NVLink acelera a troca de dados entre os aceleradores e permite usar o paralelismo tensorial com mais eficiência.

O paralelismo tensorial também é possível por meio do PCIe, mas a comunicação intensa entre as GPUs pode limitar a velocidade.

No primeiro teste, foi medida a velocidade total de atendimento de 32 solicitações, e não o desempenho de um único diálogo.

Na configuração com quatro V100, foi usado o modelo MoE Qwen3.8-Flash-Next, com 125 bilhões de parâmetros principais e aproximadamente 6 bilhões de parâmetros ativos por token. Sua versão quantizada, com cerca de 156 GiB, não cabia inteiramente nos 128 GiB de memória de vídeo. Parte dos dados ficava na memória RAM do servidor.

Esse experimento foi realizado no Windows Server 2022, com CUDA 12.8 e uma versão modificada do llama.cpp. Ele demonstra as possibilidades do hardware, mas exige uma configuração significativamente mais complexa que a execução padrão de um modelo em uma única placa de vídeo.

Em uma comparação realizada pelo Level1Techs, um par de Radeon AI PRO R9700 32 GB apresentou desempenho agregado máximo 32% maior que um par de V100 no llama.cpp. No entanto, usando vLLM com paralelismo tensorial, duas V100 alcançaram 206 tokens/s, superando em 58% o melhor resultado das R9700 naquele experimento.

A comparação se refere a versões específicas dos programas, ao modelo Qwen2.5-32B e ao processamento em lote de solicitações curtas. Não é possível aplicar essas porcentagens a outros modelos e a contextos longos.

Jogos e cálculos FP64

Embora a Tesla V100 seja destinada a cálculos, entusiastas também executaram jogos na versão SXM2. Em um teste de usuário, a V100 SXM2 16 GB alcançou aproximadamente 78 FPS em Cyberpunk 2077, com resolução de 2560×1080 e configurações altas, sem upscaling e geração de quadros.

No entanto, o módulo não tem saídas de vídeo, ray tracing por hardware nem suporte a DLSS. Para jogos, será necessária uma configuração adicional do sistema, e os 32 GB de HBM2 não oferecem uma vantagem prática em relação a placas de vídeo para jogos com desempenho comparável.

Em cálculos de precisão dupla, a V100 alcança 7,8 TFLOPS em FP64 - aproximadamente seis vezes mais que a RTX 4090. Por isso, o acelerador antigo ainda é interessante para cálculos científicos que exigem alto desempenho em FP64.

Suporte de software

A NVIDIA limitou o suporte à arquitetura Volta à série de drivers R580. A manutenção está prevista até junho de 2028, mas as séries posteriores já não são destinadas à V100.

A CUDA 13 excluiu a compilação e o suporte de bibliotecas para a Volta. A última linha adequada do CUDA Toolkit é a 12.x. Ao mesmo tempo, o driver R580 mantém a compatibilidade com aplicativos compilados para versões anteriores da CUDA.

O problema também afeta gradualmente os softwares para redes neurais. Novos builds prontos podem não incluir o código para a arquitetura sm_70, obrigando os usuários a permanecer em versões compatíveis ou compilar os programas por conta própria.

Atualmente, a V100 pode ser usada com o llama.cpp, alguns builds do PyTorch, versões adaptadas do vLLM e projetos experimentais para Volta. No entanto, as otimizações para GPUs modernas nem sempre estão disponíveis nessa geração.

A ausência de suporte de hardware a BF16 e FP8 também limita a escolha de modelos e formatos de computação.

Quanto custa a V100 SXM2 32 GB

Em 2018, a Microway indicava um preço de $11 458 para a V100 SXM2 32 GB. Atualmente, novos módulos não são mais produzidos, e o mercado secundário depende bastante da oferta de equipamentos de servidores retirados de operação.

Em outubro de 2026, podem ser encontradas no eBay as seguintes ofertas:

Esses são os preços de anúncios individuais, não preços médios de venda. Frete, impostos e a compatibilidade dos componentes podem alterar significativamente o custo final.

Se uma SXM2 32 GB for comprada por $658, com a adição de um adaptador de $60 e um sistema de refrigeração de $60, o total será de aproximadamente $778, sem incluir o frete. A esse preço, a economia em relação a uma V100 PCIe 32 GB pronta já não é garantida.

A situação é diferente se for possível encontrar um módulo por $350-400. Nesse caso, a montagem completa pode custar aproximadamente $470-560 e ainda manter uma vantagem significativa sobre a versão PCIe.

Para um sistema com dois módulos, o cálculo é ainda mais complexo. A placa com NVLink, os cabos adicionais, a refrigeração e a fonte de alimentação podem aumentar consideravelmente o orçamento.

Concorrentes e alternativas

Tesla V100 PCIe 32 GB. É a alternativa mais próxima, com a mesma capacidade e largura de banda de memória. A placa é instalada diretamente no PCIe, embora a refrigeração passiva ainda exija um fluxo de ar direcionado. Com um custo total comparável, a versão PCIe é preferível para um único acelerador.

Tesla V100 SXM2 16 GB. É significativamente mais barata que a versão de 32 GB. Com adaptador e refrigeração, a montagem pode custar aproximadamente $260-350. É adequada para modelos quantizados pequenos e médios, mas os 16 GB limitam a escolha de modelos e o comprimento do contexto. Dois módulos com NVLink oferecem 32 GB de memória no total, mas não se transformam em um espaço de endereçamento unificado para qualquer aplicativo.

GeForce RTX 3090 24 GB. É uma placa de vídeo mais versátil, com suporte de hardware a BF16, bibliotecas CUDA modernas e funcionamento normal no Windows. Em algumas tarefas de processamento de prompts, ela é consideravelmente mais rápida que a V100. No eBay, há ofertas a partir de aproximadamente $1200, enquanto o limite inferior da maioria dos anúncios no fim de outubro está em torno de $1600. A principal desvantagem para modelos grandes são os 24 GB de memória, em vez dos 32 GB.

AMD Instinct MI50 32 GB. É uma alternativa com 32 GB de HBM2 e largura de banda de aproximadamente 1 TB/s. No eBay, as ofertas começam em aproximadamente $650, embora os preços em outras plataformas possam ser diferentes. O principal problema é o suporte desatualizado ao ROCm e a configuração mais complexa do software de computação. Para o llama.cpp, podem ser usados builds compatíveis, incluindo variantes com Vulkan, mas programas CUDA não funcionarão sem adaptação.

Vale a pena comprar?

A Tesla V100 SXM2 32 GB é interessante para quem quer executar modelos de linguagem locais que exigem mais de 24 GB de memória de vídeo e está disposto a montar por conta própria o sistema de refrigeração.

Com o módulo custando até $350-400, a compra pode ser mais vantajosa que uma V100 PCIe 32 GB, mesmo considerando os componentes adicionais. Se o custo da montagem completa se aproximar do preço de uma placa PCIe, a vantagem da SXM2 praticamente desaparece.

Para vários aceleradores, as placas com NVLink são mais atraentes. Elas aceleram a comunicação entre as GPUs e são adequadas para experimentos com paralelismo tensorial, mas exigem gastos maiores e uma configuração complexa.

As principais limitações da V100 SXM2 são a refrigeração, o consumo de até 300 W, a ausência de formatos modernos de computação e o suporte de software gradualmente reduzido. O módulo ainda é adequado para LLMs locais, cálculos científicos e experimentos com CUDA.

Se for necessária uma única placa de vídeo sem uma montagem complexa, é melhor escolher a V100 PCIe 32 GB. A SXM2 só se justifica quando há uma economia significativa ou a necessidade de usar NVLink.