Tesla V100 SXM2 32 GB: много памяти для нейросетей, но сложная сборка

Tesla V100 SXM2 32 GB - серверный вычислительный модуль с 32 ГБ памяти HBM2, который можно подключить к обычному ПК через переходник. По производительности он близок к Tesla V100 PCIe, но позволяет объединять несколько ускорителей через NVLink. На вторичном рынке такие модули иногда стоят дешевле готовых PCIe-карт, хотя экономия зависит от стоимости переходника и охлаждения.

NVIDIA представила 32-гигабайтную версию в марте 2018 года. Первоначальная цена составляла около $11 500. Сейчас модули продаются после вывода серверов из эксплуатации и привлекают энтузиастов, которым нужно больше 24 ГБ видеопамяти для локальных языковых моделей.

Однако SXM2 не устанавливается непосредственно в слот PCIe, требует отдельного питания и охлаждения. Ещё одно ограничение связано с программной поддержкой: NVIDIA завершает развитие драйверов для архитектуры Volta, а CUDA 13 больше не поддерживает компиляцию приложений для V100.

Положение в линейке

Tesla V100 SXM2 построена на 12-нм кристалле GV100 с 5120 CUDA-ядрами и 640 тензорными ядрами. Память HBM2 подключена по 4096-битной шине. От PCIe-версии модуль отличается частотами, энергопотреблением и интерфейсом.

Паспортная производительность SXM2 достигает 15,7 TFLOPS в FP32, 7,8 TFLOPS в FP64 и 125 TFLOPS на тензорных ядрах FP16.

Шесть линий NVLink 2.0 обеспечивают до 300 ГБ/с суммарной двусторонней пропускной способности. Это значительно больше возможностей PCIe 3.0, но фактическая скорость обмена между двумя GPU зависит от количества соединяющих их линий.

Модули применялись в серверных системах NVIDIA DGX-1 и облачных конфигурациях AWS p3dn. На вторичном рынке встречаются экземпляры с партномерами 699-2G503-0203-200 и 699-2G503-0204-200, а также серверные версии HPE P05912-001.

Как установить модуль в обычный ПК

Переходник SXM2-PCIe. Одномодульные платы стоят примерно $60-100. Они подключаются к PCIe 3.0 x16 и обычно требуют дополнительного питания через два 8-контактных разъёма. Перед покупкой нужно проверить совместимость переходника именно с V100 SXM2 и его схему питания.

Обычный переходник не обеспечивает NVLink. С ним V100 работает как самостоятельный ускоритель, а преимущества SXM2 ограничиваются более высокой частотой и паспортным лимитом мощности.

Платы на несколько модулей. Для объединения двух или четырёх V100 выпускаются специальные платы с разведёнными линиями NVLink. Двухмодульные варианты встречаются примерно за $300-500. В отдельных конструкциях подключение к материнской плате организовано через PCIe-коммутатор и специальные кабели.

Перед покупкой необходимо проверить схему межмодульных соединений: наличие двух разъёмов SXM2 ещё не гарантирует работу NVLink.

Охлаждение. V100 SXM2 рассчитана на серверную систему охлаждения, поэтому обычного радиатора без интенсивного обдува недостаточно. При TDP 300 Вт необходимо подобрать радиатор, обеспечить направленный поток воздуха и проверить температуры под длительной нагрузкой.

Для домашних сборок используют отдельные вентиляторы с кожухами, в том числе изготовленными на 3D-принтере. Снижение лимита мощности через nvidia-smi помогает уменьшить нагрев и шум, но может ограничить производительность.

Операционная система. Для домашнего стенда предпочтительнее Linux: под него проще найти инструкции, драйверы и специализированные сборки. Windows тоже поддерживается, включая некоторые экспериментальные конфигурации с несколькими V100, но совместимость приходится проверять отдельно.

В Linux важно установить проприетарный модуль драйвера NVIDIA. Начиная с ветки 560 по умолчанию предлагается открытый модуль ядра, который поддерживает только архитектуры Turing и новее. Для Volta он не подходит.

Производительность в языковых моделях

Один модуль с 32 ГБ памяти

При генерации токенов скорость часто ограничивается пропускной способностью видеопамяти. У SXM2 и PCIe она одинаковая - 900 ГБ/с, поэтому преимущество SXM2 в таких задачах обычно невелико.

В пользовательском тесте одного V100 SXM2 32 GB модель Qwen3.6-27B запускалась в llama.cpp с разными вариантами квантования.

Тест проводился в одном потоке при генерации от 128 до 2048 токенов. Это результаты конкретной конфигурации, а не гарантированная скорость любой V100.

Главное преимущество 32-гигабайтной версии - возможность полностью разместить Qwen3.6-27B в Q8_0. На видеокарте с 24 ГБ для такого квантования памяти недостаточно.

Однако веса Q8_0 занимают почти всю доступную видеопамять. Для длинных диалогов лучше выбрать Q4_K_M или Q5_K_M, оставив больше места под KV-кеш.

Длинный контекст и оптимизированные сборки

На длинном контексте производительность заметно падает. Энтузиасты пытаются сократить эти потери с помощью изменений в llama.cpp и спекулятивного декодирования MTP.

В опубликованном тесте Qwen3.8-27B Q4_K_M на одном V100 SXM2 32 GB получены следующие результаты:

При контексте 128 тыс. токенов оптимизированная сборка с MTP оказалась в 2,6 раза быстрее стандартной. Но это результат специальной конфигурации, который зависит от модели, запросов и эффективности спекулятивного декодирования.

Кеширование промпта также ускоряет многошаговые агентские сессии. В том же эксперименте время обработки одного хода сократилось с 22,94 до 3,08 секунды за счёт повторного использования уже обработанной истории.

Несколько модулей и NVLink

Для систем с несколькими GPU преимущества SXM2 становятся заметнее. NVLink ускоряет обмен данными между ускорителями и позволяет эффективнее использовать тензорный параллелизм.

Тензорный параллелизм возможен и через PCIe, но интенсивный обмен между GPU может ограничивать скорость.

В первом тесте измерялась суммарная скорость обслуживания 32 запросов, а не производительность одного диалога.

В конфигурации с четырьмя V100 использовалась MoE-модель Qwen3.8-Flash-Next с 125 млрд основных параметров и примерно 6 млрд активных параметров на токен. Её квантованная версия объёмом около 156 ГиБ не помещалась целиком в 128 ГиБ видеопамяти. Часть данных находилась в оперативной памяти сервера.

Этот эксперимент проводился под Windows Server 2022 с CUDA 12.8 и модифицированным llama.cpp. Он показывает возможности оборудования, но требует значительно более сложной настройки, чем стандартный запуск модели на одной видеокарте.

В сравнении на Level1Techs пара Radeon AI PRO R9700 32 GB в llama.cpp показала на 32% более высокую максимальную суммарную производительность, чем пара V100. Однако при использовании vLLM с тензорным параллелизмом две V100 достигли 206 ток/с, на 58% превысив лучший результат R9700 в том эксперименте.

Сравнение относится к конкретным версиям программ, модели Qwen2.5-32B и пакетной обработке коротких запросов. Переносить эти проценты на другие модели и длинный контекст нельзя.

Игры и вычисления FP64

Хотя Tesla V100 предназначена для вычислений, энтузиасты запускали на SXM2-версии и игры. В одном пользовательском тесте V100 SXM2 16 GB обеспечила около 78 FPS в Cyberpunk 2077 при разрешении 2560×1080 и высоких настройках без масштабирования и генерации кадров.

Однако у модуля нет видеовыходов, аппаратной трассировки лучей и поддержки DLSS. Для игр потребуется дополнительная настройка системы, а 32 ГБ HBM2 не дают практического преимущества перед игровыми видеокартами сопоставимой производительности.

В вычислениях двойной точности V100 достигает 7,8 TFLOPS FP64 - примерно в шесть раз больше, чем RTX 4090. Поэтому старый ускоритель сохраняет интерес для научных расчётов, где нужна высокая производительность FP64.

Поддержка программ

NVIDIA ограничила поддержку архитектуры Volta веткой драйверов R580. Её сопровождение предусмотрено до июня 2028 года, но последующие ветки уже не рассчитаны на V100.

CUDA 13 исключила компиляцию и поддержку библиотек для Volta. Последняя подходящая линейка CUDA Toolkit - 12.x. При этом драйвер R580 сохраняет совместимость с приложениями, собранными под более ранние версии CUDA.

Проблема постепенно затрагивает и программное обеспечение для нейросетей. Новые готовые сборки могут не включать код для архитектуры sm_70, поэтому пользователям приходится оставаться на совместимых версиях или компилировать программы самостоятельно.

Сейчас V100 можно использовать с llama.cpp, отдельными сборками PyTorch, адаптированными версиями vLLM и экспериментальными проектами для Volta. Однако оптимизации для современных GPU не всегда доступны на этом поколении.

Отсутствие аппаратной поддержки BF16 и FP8 также ограничивает выбор моделей и форматов вычислений.

Сколько стоит V100 SXM2 32 GB

В 2018 году Microway указывал для V100 SXM2 32 GB цену $11 458. Сейчас новые модули не производятся, а вторичный рынок сильно зависит от поставок списанного серверного оборудования.

В октябре 2026 года на eBay встречаются следующие предложения:

Это цены отдельных объявлений, а не средние цены продаж. Доставка, налоги и совместимость комплектующих могут заметно изменить итоговую стоимость.

Если купить SXM2 32 GB за $658, добавить переходник за $60 и охлаждение за $60, получится около $778 без учёта доставки. При такой цене экономия относительно готовой V100 PCIe 32 GB уже не гарантирована.

Другая ситуация возникает, если найти модуль за $350-400. Тогда полная сборка может обойтись примерно в $470-560 и сохранить заметное преимущество перед PCIe-версией.

Для системы с двумя модулями расчёт ещё сложнее. Плата с NVLink, дополнительные кабели, охлаждение и блок питания могут существенно увеличить бюджет.

Конкуренты и альтернативы

Tesla V100 PCIe 32 GB. Ближайшая альтернатива с тем же объёмом и пропускной способностью памяти. Карта устанавливается непосредственно в PCIe, хотя пассивное охлаждение по-прежнему требует направленного воздушного потока. При сопоставимой общей стоимости PCIe-версия предпочтительнее для одиночного ускорителя.

Tesla V100 SXM2 16 GB. Значительно дешевле 32-гигабайтного варианта. С переходником и охлаждением сборка может стоить около $260-350. Подходит для небольших и средних квантованных моделей, но 16 ГБ ограничивают выбор моделей и длину контекста. Два модуля с NVLink дают 32 ГБ суммарной памяти, однако не превращаются в единое адресное пространство для любого приложения.

GeForce RTX 3090 24 GB. Более универсальная видеокарта с аппаратной поддержкой BF16, современными CUDA-библиотеками и нормальной работой в Windows. В ряде задач обработки промпта она заметно быстрее V100. На eBay встречаются предложения примерно от $1200, тогда как нижняя граница основной массы объявлений в конце октября находится около $1600. Главный недостаток для больших моделей - 24 ГБ памяти вместо 32 ГБ.

AMD Instinct MI50 32 GB. Альтернатива с 32 ГБ HBM2 и пропускной способностью около 1 ТБ/с. На eBay предложения начинаются примерно от $650, хотя цены на других площадках могут отличаться. Основная проблема - устаревшая поддержка ROCm и более сложная настройка вычислительного ПО. Для llama.cpp можно использовать совместимые сборки, включая варианты с Vulkan, но CUDA-программы без адаптации работать не будут.

Стоит ли покупать

Tesla V100 SXM2 32 GB интересна тем, кто хочет запускать локальные языковые модели, требующие больше 24 ГБ видеопамяти, и готов самостоятельно собирать систему охлаждения.

При цене модуля до $350-400 покупка может быть выгоднее V100 PCIe 32 GB даже с учётом дополнительных комплектующих. Если стоимость готовой сборки приближается к цене PCIe-карты, преимущество SXM2 практически исчезает.

Для нескольких ускорителей привлекательнее платы с NVLink. Они ускоряют обмен между GPU и подходят для экспериментов с тензорным параллелизмом, но требуют больших затрат и сложной настройки.

Главные ограничения V100 SXM2 - охлаждение, потребление до 300 Вт, отсутствие современных форматов вычислений и постепенно сокращающаяся программная поддержка. Для локальных LLM, научных расчётов и экспериментов с CUDA модуль ещё пригоден.

Если нужна одна видеокарта без сложной сборки, лучше выбрать V100 PCIe 32 GB. SXM2 оправдана только при существенной экономии или необходимости использовать NVLink.