Tesla V100 SXM2 32 GB: viel Speicher für neuronale Netze, aber komplizierter Aufbau

Die Tesla V100 SXM2 32 GB ist ein Server-Rechenmodul mit 32 GB HBM2-Speicher, das sich über einen Adapter an einen gewöhnlichen PC anschließen lässt. Die Leistung liegt nahe an der Tesla V100 PCIe, allerdings können mehrere Beschleuniger über NVLink verbunden werden. Auf dem Gebrauchtmarkt sind solche Module gelegentlich günstiger als fertige PCIe-Karten, wobei die Ersparnis von den Kosten für Adapter und Kühlung abhängt.

NVIDIA stellte die 32-GB-Version im März 2018 vor. Der ursprüngliche Preis lag bei etwa 11.500 US-Dollar. Heute werden die Module nach der Ausmusterung von Servern verkauft und sind für Enthusiasten interessant, die für lokale Sprachmodelle mehr als 24 GB VRAM benötigen.

Die SXM2 lässt sich jedoch nicht direkt in einen PCIe-Steckplatz einsetzen und benötigt eine separate Stromversorgung sowie Kühlung. Eine weitere Einschränkung betrifft die Softwareunterstützung: NVIDIA beendet die Weiterentwicklung der Treiber für die Volta-Architektur, und CUDA 13 unterstützt die Kompilierung von Anwendungen für die V100 nicht mehr.

Einordnung innerhalb der Produktreihe

Die Tesla V100 SXM2 basiert auf dem 12-nm-GV100-Chip mit 5120 CUDA-Kernen und 640 Tensor-Kernen. Der HBM2-Speicher ist über ein 4096-Bit-Speicherinterface angebunden. Von der PCIe-Version unterscheidet sich das Modul durch Taktraten, Stromverbrauch und Schnittstelle.

Die Rechenleistung der SXM2-Version erreicht laut Datenblatt 15,7 TFLOPS in FP32, 7,8 TFLOPS in FP64 und 125 TFLOPS auf den FP16-Tensor-Kernen.

Sechs NVLink-2.0-Leitungen ermöglichen eine aggregierte bidirektionale Bandbreite von bis zu 300 GB/s. Das ist deutlich mehr als die Möglichkeiten von PCIe 3.0, allerdings hängt die tatsächliche Übertragungsgeschwindigkeit zwischen zwei GPUs von der Anzahl der sie verbindenden Leitungen ab.

Die Module kamen in den Serversystemen NVIDIA DGX-1 und in AWS-p3dn-Cloud-Konfigurationen zum Einsatz. Auf dem Gebrauchtmarkt finden sich Exemplare mit den Partnummern 699-2G503-0203-200 und 699-2G503-0204-200 sowie Serverversionen von HPE mit der Bezeichnung P05912-001.

Installation des Moduls in einem gewöhnlichen PC

SXM2-PCIe-Adapter. Adapterplatinen für ein Modul kosten etwa 60-100 US-Dollar. Sie werden an PCIe 3.0 x16 angeschlossen und benötigen in der Regel eine zusätzliche Stromversorgung über zwei 8-polige Anschlüsse. Vor dem Kauf sollte geprüft werden, ob der Adapter ausdrücklich mit der V100 SXM2 kompatibel ist und wie seine Stromversorgung ausgelegt ist.

Ein gewöhnlicher Adapter stellt kein NVLink bereit. Die V100 arbeitet damit als eigenständiger Beschleuniger; die Vorteile der SXM2 beschränken sich auf die höhere Taktrate und das höhere TDP-Limit.

Platinen für mehrere Module. Für die Verbindung von zwei oder vier V100 gibt es spezielle Platinen mit entsprechend verlegten NVLink-Leitungen. Varianten für zwei Module sind für etwa 300-500 US-Dollar erhältlich. Bei manchen Konstruktionen erfolgt die Verbindung mit dem Mainboard über einen PCIe-Switch und spezielle Kabel.

Vor dem Kauf muss das Schema der Verbindungen zwischen den Modulen geprüft werden: Zwei SXM2-Anschlüsse allein garantieren noch keinen funktionierenden NVLink-Betrieb.

Kühlung. Die V100 SXM2 ist für eine Serverkühlung ausgelegt, daher reicht ein gewöhnlicher Kühler ohne intensive Belüftung nicht aus. Bei einer TDP von 300 W muss ein geeigneter Kühler ausgewählt, ein gerichteter Luftstrom sichergestellt und die Temperatur unter längerer Last überprüft werden.

Für Selbstbau-Systeme werden separate Lüfter mit Luftführungen verwendet, die teilweise auch im 3D-Druck hergestellt werden. Eine Absenkung des Power-Limits über nvidia-smi hilft, Wärmeentwicklung und Geräuschpegel zu reduzieren, kann aber die Leistung begrenzen.

Betriebssystem. Für ein Heim-Testsystem ist Linux vorzuziehen, da sich dafür leichter Anleitungen, Treiber und spezialisierte Builds finden lassen. Auch Windows wird unterstützt, einschließlich einiger experimenteller Konfigurationen mit mehreren V100, die Kompatibilität muss jedoch jeweils separat geprüft werden.

Unter Linux muss das proprietäre NVIDIA-Treibermodul installiert werden. Ab dem Treiberzweig 560 wird standardmäßig ein offenes Kernelmodul angeboten, das nur die Architekturen Turing und neuer unterstützt. Für Volta ist es nicht geeignet.

Leistung bei Sprachmodellen

Ein Modul mit 32 GB Speicher

Bei der Token-Generierung wird die Geschwindigkeit häufig durch die Speicherbandbreite begrenzt. Bei SXM2 und PCIe ist sie mit 900 GB/s identisch, daher fällt der Vorteil der SXM2 bei solchen Aufgaben in der Regel gering aus.

In einem Anwendertest mit einer Tesla V100 SXM2 32 GB wurde das Modell Qwen3.6-27B in llama.cpp mit verschiedenen Quantisierungsvarianten ausgeführt.

Der Test wurde in einem Thread bei der Generierung von 128 bis 2048 Token durchgeführt. Dies sind Ergebnisse einer konkreten Konfiguration und keine garantierte Geschwindigkeit für jede V100.

Der wichtigste Vorteil der 32-GB-Version ist die Möglichkeit, Qwen3.6-27B vollständig in Q8_0 unterzubringen. Auf einer Grafikkarte mit 24 GB reicht der Speicher für diese Quantisierung nicht aus.

Die Q8_0-Gewichte belegen allerdings fast den gesamten verfügbaren Videospeicher. Für lange Dialoge ist es besser, Q4_K_M oder Q5_K_M zu wählen und dadurch mehr Platz für den KV-Cache zu lassen.

Langer Kontext und optimierte Builds

Bei langen Kontexten sinkt die Leistung deutlich. Enthusiasten versuchen, diese Verluste durch Änderungen an llama.cpp und spekulatives MTP-Decoding zu verringern.

In einem veröffentlichten Test mit Qwen3.8-27B Q4_K_M auf einer Tesla V100 SXM2 32 GB wurden folgende Ergebnisse erzielt:

Bei einem Kontext von 128.000 Token war der optimierte Build mit MTP 2,6-mal schneller als die Standardversion. Dieses Ergebnis stammt jedoch aus einer speziellen Konfiguration und hängt vom Modell, den Anfragen und der Effizienz des spekulativen Decodings ab.

Auch das Caching des Prompts beschleunigt mehrstufige Agentensitzungen. Im selben Experiment sank die Verarbeitungszeit für einen einzelnen Durchlauf durch die Wiederverwendung der bereits verarbeiteten Historie von 22,94 auf 3,08 Sekunden.

Mehrere Module und NVLink

Bei Systemen mit mehreren GPUs treten die Vorteile der SXM2 deutlicher hervor. NVLink beschleunigt den Datenaustausch zwischen den Beschleunigern und ermöglicht eine effizientere Nutzung des Tensorparallelismus.

Tensorparallelismus ist auch über PCIe möglich, allerdings kann der intensive Datenaustausch zwischen den GPUs die Geschwindigkeit begrenzen.

Im ersten Test wurde die aggregierte Geschwindigkeit bei der Bearbeitung von 32 Anfragen gemessen, nicht die Leistung eines einzelnen Dialogs.

In der Konfiguration mit vier V100 kam das MoE-Modell Qwen3.8-Flash-Next mit 125 Milliarden Hauptparametern und etwa 6 Milliarden aktiven Parametern pro Token zum Einsatz. Seine quantisierte Version mit einem Umfang von etwa 156 GiB passte nicht vollständig in 128 GiB Videospeicher. Ein Teil der Daten befand sich im Arbeitsspeicher des Servers.

Dieses Experiment wurde unter Windows Server 2022 mit CUDA 12.8 und einer modifizierten Version von llama.cpp durchgeführt. Es zeigt die Möglichkeiten der Hardware, erfordert aber eine deutlich komplexere Einrichtung als der Standardbetrieb eines Modells auf einer einzelnen Grafikkarte.

In einem Vergleich von Level1Techs erzielte ein Paar Radeon AI PRO R9700 32 GB in llama.cpp eine um 32 % höhere maximale aggregierte Leistung als ein Paar V100. Bei Verwendung von vLLM mit Tensorparallelismus erreichten zwei V100 jedoch 206 Token/s und übertrafen damit das beste Ergebnis der R9700 in diesem Experiment um 58 %.

Der Vergleich bezieht sich auf konkrete Softwareversionen, das Modell Qwen2.5-32B und die Stapelverarbeitung kurzer Anfragen. Diese Prozentsätze lassen sich nicht auf andere Modelle oder lange Kontexte übertragen.

Spiele und FP64-Berechnungen

Obwohl die Tesla V100 für Berechnungen ausgelegt ist, haben Enthusiasten auch Spiele auf der SXM2-Version ausgeführt. In einem Anwender-Test erreichte die V100 SXM2 16 GB in Cyberpunk 2077 bei einer Auflösung von 2560×1080 und hohen Einstellungen ohne Upscaling und Frame-Generierung etwa 78 FPS.

Das Modul verfügt jedoch weder über Videoausgänge noch über hardwarebeschleunigtes Raytracing oder DLSS-Unterstützung. Für Spiele ist eine zusätzliche Systemkonfiguration erforderlich, und die 32 GB HBM2 bieten gegenüber Gaming-Grafikkarten mit vergleichbarer Leistung keinen praktischen Vorteil.

Bei Berechnungen mit doppelter Genauigkeit erreicht die V100 7,8 TFLOPS in FP64 - etwa sechsmal mehr als die RTX 4090. Deshalb bleibt der alte Beschleuniger für wissenschaftliche Berechnungen interessant, bei denen eine hohe FP64-Leistung benötigt wird.

Softwareunterstützung

NVIDIA hat die Unterstützung der Volta-Architektur auf den Treiberzweig R580 beschränkt. Dessen Pflege ist bis Juni 2028 vorgesehen, spätere Zweige sind jedoch nicht mehr für die V100 ausgelegt.

CUDA 13 hat die Kompilierung und Bibliotheksunterstützung für Volta gestrichen. Die letzte geeignete Reihe des CUDA Toolkit ist 12.x. Der Treiber R580 bleibt dabei mit Anwendungen kompatibel, die für frühere CUDA-Versionen kompiliert wurden.

Das Problem betrifft zunehmend auch die Software für neuronale Netze. Neue fertige Builds enthalten möglicherweise keinen Code für die Architektur sm_70. Nutzer müssen daher bei kompatiblen Versionen bleiben oder die Programme selbst kompilieren.

Derzeit lässt sich die V100 mit llama.cpp, einzelnen PyTorch-Builds, angepassten vLLM-Versionen und experimentellen Projekten für Volta verwenden. Optimierungen für moderne GPUs sind auf dieser Generation jedoch nicht immer verfügbar.

Auch die fehlende Hardwareunterstützung für BF16 und FP8 schränkt die Auswahl an Modellen und Berechnungsformaten ein.

Was kostet die V100 SXM2 32 GB?

Microway gab 2018 für die V100 SXM2 32 GB einen Preis von 11.458 US-Dollar an. Heute werden keine neuen Module mehr produziert, und der Gebrauchtmarkt hängt stark von den Lieferungen ausgemusterter Serverhardware ab.

Im Oktober 2026 finden sich auf eBay folgende Angebote:

Dies sind Preise einzelner Angebote und keine durchschnittlichen Verkaufspreise. Versand, Steuern und die Kompatibilität der Komponenten können die Gesamtkosten deutlich verändern.

Wer eine SXM2 32 GB für 658 US-Dollar kauft, einen Adapter für 60 US-Dollar und eine Kühlung für 60 US-Dollar hinzurechnet, landet ohne Versand bei etwa 778 US-Dollar. Bei diesem Preis ist eine Ersparnis gegenüber einer fertigen V100 PCIe 32 GB bereits nicht mehr garantiert.

Anders sieht es aus, wenn sich ein Modul für 350-400 US-Dollar finden lässt. Dann kann der vollständige Aufbau etwa 470-560 US-Dollar kosten und einen deutlichen Preisvorteil gegenüber der PCIe-Version behalten.

Bei einem System mit zwei Modulen ist die Rechnung noch komplizierter. Eine NVLink-Platine, zusätzliche Kabel, die Kühlung und das Netzteil können das Budget deutlich erhöhen.

Konkurrenten und Alternativen

Tesla V100 PCIe 32 GB. Die naheliegendste Alternative mit derselben Speicherkapazität und Speicherbandbreite. Die Karte wird direkt in einen PCIe-Steckplatz eingesetzt, wobei die passive Kühlung weiterhin einen gerichteten Luftstrom erfordert. Bei vergleichbaren Gesamtkosten ist die PCIe-Version für einen einzelnen Beschleuniger vorzuziehen.

Tesla V100 SXM2 16 GB. Deutlich günstiger als die 32-GB-Variante. Mit Adapter und Kühlung kann der Aufbau etwa 260-350 US-Dollar kosten. Sie eignet sich für kleinere und mittlere quantisierte Modelle, allerdings schränken 16 GB die Auswahl an Modellen und die Kontextlänge ein. Zwei Module mit NVLink bieten insgesamt 32 GB Speicher, werden dadurch aber nicht zu einem einheitlichen Adressraum für jede Anwendung.

GeForce RTX 3090 24 GB. Eine vielseitigere Grafikkarte mit Hardwareunterstützung für BF16, modernen CUDA-Bibliotheken und ordentlicher Unterstützung unter Windows. Bei der Prompt-Verarbeitung ist sie in einigen Aufgaben deutlich schneller als die V100. Auf eBay finden sich Angebote ab etwa 1200 US-Dollar, während die Untergrenze der meisten Angebote Ende Oktober bei etwa 1600 US-Dollar liegt. Der größte Nachteil bei großen Modellen sind die 24 GB Speicher statt 32 GB.

AMD Instinct MI50 32 GB. Eine Alternative mit 32 GB HBM2 und einer Speicherbandbreite von etwa 1 TB/s. Auf eBay beginnen die Angebote bei ungefähr 650 US-Dollar, wobei die Preise auf anderen Plattformen abweichen können. Das Hauptproblem ist die veraltete ROCm-Unterstützung und die kompliziertere Einrichtung der Berechnungssoftware. Für llama.cpp können kompatible Builds verwendet werden, darunter Varianten mit Vulkan; CUDA-Programme funktionieren jedoch ohne Anpassung nicht.

Lohnt sich der Kauf?

Die Tesla V100 SXM2 32 GB ist für Nutzer interessant, die lokale Sprachmodelle mit einem Bedarf von mehr als 24 GB Videospeicher ausführen möchten und bereit sind, die Kühlung selbst aufzubauen.

Bei einem Modulpreis von bis zu 350-400 US-Dollar kann der Kauf selbst unter Einbeziehung der zusätzlichen Komponenten günstiger sein als eine V100 PCIe 32 GB. Wenn sich der Preis des fertigen Aufbaus dem einer PCIe-Karte annähert, verschwindet der Vorteil der SXM2 praktisch vollständig.

Für Systeme mit mehreren Beschleunigern sind Platinen mit NVLink attraktiver. Sie beschleunigen den Datenaustausch zwischen den GPUs und eignen sich für Experimente mit Tensorparallelismus, erfordern jedoch höhere Ausgaben und eine komplizierte Einrichtung.

Die wichtigsten Einschränkungen der V100 SXM2 sind die Kühlung, der Verbrauch von bis zu 300 W, das Fehlen moderner Berechnungsformate und die allmählich abnehmende Softwareunterstützung. Für lokale LLMs, wissenschaftliche Berechnungen und CUDA-Experimente ist das Modul weiterhin geeignet.

Wer eine einzelne Grafikkarte ohne komplizierten Aufbau benötigt, sollte besser die V100 PCIe 32 GB wählen. Die SXM2 lohnt sich nur bei einer deutlichen Ersparnis oder wenn NVLink benötigt wird.