NVIDIA Tesla P40 gegen Tesla V100 PCIe 16 GB: 24 GB Speicher oder leistungsstärkere Architektur

NVIDIA Tesla P40 und Tesla V100 PCIe 16 GB verbrauchen beide 250 W, sind jedoch für unterschiedliche Lasten ausgelegt. Die P40 setzt auf 24 GB Speicher, Inferenz, Virtualisierung und Videoverarbeitung. Die V100 bietet eine fortschrittlichere Volta-Architektur, Tensor-Kerne, schnellen HBM2 und vollständige Leistung bei wissenschaftlichen Berechnungen.

Daher ist es sinnlos, diese Beschleuniger nur nach CUDA-Kernen oder FP32 zu vergleichen. Die P40 wird gewählt, wenn die Arbeitslast nicht in 16 GB passt, und die V100 hingegen, wenn Lernrate, Speicherbandbreite und FP64-Berechnungen wichtig sind.

Hauptunterschiede

Der Unterschied bei FP32 ist gering, spiegelt jedoch nicht das tatsächliche Kräfteverhältnis wider. Die V100 hat nicht nur mehr CUDA-Kerne, sondern auch Tensor-Kerne, deutlich schnelleren Speicher und architektonische Verbesserungen der Volta-Architektur.

Pascal gegen Volta

Die Tesla P40 basiert auf der Pascal-Architektur und ist mit 3840 CUDA-Kernen ausgestattet. Sie wurde als Serverbeschleuniger für Inferenz entwickelt, der mehrere Modelle oder Benutzer gleichzeitig bedienen kann. Die Unterstützung von INT8 und 24 GB Speicher haben sie in Systemen für maschinelles Lernen, virtuellen Workstations und Medienservern beliebt gemacht.

Die Tesla V100 verwendet die Volta-Architektur, 5120 CUDA-Kerne und 640 Tensor-Kerne. Letztere beschleunigen die Matrixberechnungen, auf denen das Training von neuronalen Netzen basiert. Bei gemischten Genauigkeitsaufgaben hat die V100 einen Vorteil, den man nicht nur an der FP32-Leistung ablesen kann.

Die angegebenen 47 TOPS der P40 und die Tensor-Werte der V100 lassen sich nicht direkt vergleichen: Sie beziehen sich auf verschiedene Datenformate. Die P40 funktioniert gut mit optimierter INT8-Inferenz, während die V100 deutlich universeller ist und sich besser für das Training von Modellen eignet.

Speicher: Volumen gegen Geschwindigkeit

Der größte Vorteil der P40 sind die 24 GB GDDR5. Die zusätzlichen 8 GB können wichtiger sein als ein leistungsstärkerer GPU, wenn das Modell, die Szene oder das Datenarray nicht in den Speicher der V100 passen.

Besonders bemerkbar ist das bei der lokalen Ausführung von Sprachmodellen. Selbst ein schnellerer Beschleuniger verliert seinen Vorteil, wenn ein Teil der Gewichte in den Arbeitsspeicher geladen oder zwischen mehreren Geräten verteilt werden muss.

Die V100 ist auf 16 GB begrenzt, aber ihr HBM2 bietet eine Speicherbandbreite von bis zu 900 GB/s - etwa 2,6-mal mehr als die P40. Für das Training von neuronalen Netzen, die Verarbeitung großer Matrizen und wissenschaftliche Berechnungen ist eine hohe Speichergeschwindigkeit oft wichtiger als deren Volumen.

Die Wahl hier ist ganz einfach:

• P40 fasst größere Lasten;
• V100 verarbeitet Daten schneller innerhalb von 16 GB;
• bei Speichermangel reduziert sich der Vorteil der V100 schnell.

Training und Inferenz von neuronalen Netzen

Für das Training von Modellen ist die V100 fast immer vorzuziehen, solange 16 GB ausreichen. Tensor-Kerne, HBM2 und Unterstützung für gemischte Genauigkeit beschleunigen moderne Rechenlasten erheblich.

Die P40 ist logischerweise für die Bereitstellung bereits trainierter Modelle zu verwenden. Sie eignet sich gut für INT8-Inferenz, Batchverarbeitung von Anfragen und Szenarien, in denen die Kosten pro Gigabyte Videospeicher wichtig sind.

In lokalen KI-Systemen hängt die Wahl von der Größe des Modells ab. Ein kompaktes Modell funktioniert in der Regel schneller auf der V100. Sollte es jedoch nicht in 16 GB passen, kann die 24-GB-P40 praktischer sein, obwohl sie auf einer älteren Architektur basiert und keine Tensor-Kerne hat.

Wissenschaftliche Berechnungen und CUDA

In zweifacher Genauigkeit kann die P40 nicht mit der V100 konkurrieren. Der Pascal-Beschleuniger wurde für Inferenz und grafische Virtualisierung, nicht für intensive FP64-Aufgaben, konzipiert.

Die V100 hingegen wurde für HPC entwickelt. Sie eignet sich für ingenieurtechnische Modellierung, computergestützte Chemie, Physik, Datenanalyse und andere Lasten, die hohe doppelte Genauigkeit erfordern.

In normalen CUDA-Anwendungen ist die V100 auch häufig schneller dank eines leistungsstärkeren GPUs und einer hohen Speicherbandbreite. Eine Ausnahme tritt auf, wenn der Arbeitsdatensatz mehr als 16 GB benötigt.

Rendering

Im CUDA-Rendering ist die V100 in der Regel schneller als die P40, wenn die Szene im Speicher Platz hat. Beide Karten fehlen jedoch RT-Kerne, sodass sie neueren RTX-Beschleunigern in Engines mit Hardware-Raytracing unterlegen sind.

Die P40 könnte bei großen Szenen, die nicht in 16 GB passen, Vorteil haben. Hier ist zusätzlicher Speicher wichtiger als Geschwindigkeit: Die Szene muss entweder vollständig in den GPU passen, oder der Renderer muss in einen langsameren Umgehungsmodus wechseln.

Vor dem Kauf sollte die Unterstützung für die spezifische Engine überprüft werden. Ältere Tesla arbeiten nicht mit allen aktuellen Versionen von Programmen und Treibern.

Video und Virtualisierung

Die P40 wurde nicht nur für Berechnungen entwickelt. Sie eignet sich gut für virtuelle Workstations, Remote-Desktops, Transkodierung und die serverseitige Verarbeitung von Videos.

Für die V100 sind diese Aufgaben sekundär. Sie ausschließlich für Video-Codierung oder vGPU zu kaufen, ist in der Regel irrational: Der Großteil der Kosten entfällt auf die Rechenarchitektur, Tensor-Kerne und HPC-Funktionen.

Einbau in einen Standard-PC

Beide Karten verwenden passive Kühlung und sind auf serverbasierte Luftzirkulation ausgelegt. In einem Standardgehäuse ohne gerichteten Luftstrom überhitzen sie schnell und senken die Taktfrequenzen.

Vor dem Kauf sollten die folgenden Punkte berücksichtigt werden:

• fehlende eingebaute Lüfter;
• keine Videoausgänge;
• spezifische Anforderungen an den Stromanschluss;
• Länge und Doppel-Slot-Gehäuse;
• Kompatibilität der Treiber und Software;
• Stromverbrauch bis zu 250 W.

Ein niedriger Preis auf dem Sekundärmarkt bedeutet nicht, dass die Installation einfach ist. Für einen stabilen Betrieb wird ein starkes Netzteil, ein Luftstrom oder separate Lüfter sowie ein Gehäuse mit guter Belüftung benötigt.

Was beim Kauf zu überprüfen ist

Die Tesla P40 und V100 werden seit langem hauptsächlich auf dem Sekundärmarkt verkauft. Ihr Zustand hängt von den Betriebsbedingungen, der Temperatur und der Dauer des Einsatzes im Server ab.

Vor dem Kauf sollte man idealerweise überprüfen:

• Erkennung der Karte im System;
• Größe und Fehler des Speichers;
• Stabilität unter langer Last;
• Betriebstemperaturen;
• keine Drosselung;
• Kompatibilität mit der benötigten CUDA-Version;
• Unterstützung der Karte durch das gewählte Framework oder die Render-Software.

Die V100 kostet in der Regel deutlich mehr als die P40. Der Aufpreis ist für das Training von neuronalen Netzen, FP64 und intensive Berechnungen gerechtfertigt, macht aber nicht immer Sinn für einfache Inferenz.

Was auszuwählen ist

Tesla P40 sollte in Betracht gezogen werden, wenn:

• mehr als 16 GB Videospeicher benötigt werden;
• die Hauptaufgabe die Inferenz ist;
• große lokale Modelle gestartet werden;
• Virtualisierung verwendet wird;
• die Verarbeitung und Transkodierung von Videos wichtig ist;
• die Kosten pro Gigabyte Speicher kritisch sind.

Tesla V100 PCIe 16 GB ist besser, wenn:

• das Training von neuronalen Netzen geplant ist;
• Tensor-Kerne benötigt werden;
• gemischte Genauigkeit verwendet wird;
• wissenschaftliche Berechnungen durchgeführt werden;
• die Leistung von FP64 wichtig ist;
• die Arbeitslast in 16 GB paßt.

Fazit

Die Tesla V100 PCIe 16 GB ist ein schnellerer und universellerer Rechenbeschleuniger. Sie eignet sich erheblich besser für das Training von neuronalen Netzen, wissenschaftliche Berechnungen und anspruchsvolle CUDA-Aufgaben.

Die Tesla P40 macht Sinn, wenn 24 GB Speicher, kostengünstige Inferenz, Virtualisierung oder Videoverarbeitung benötigt werden. Wenn die Last in 16 GB passt, ist die V100 fast immer vorzuziehen. Wenn jedoch das Modell oder die Szene diesen Umfang überschreitet, können die zusätzlichen 8 GB der P40 wichtiger sein als die gesamte Rechenleistung von Volta.