NVIDIA Tesla P40 contre Tesla V100 PCIe 16 Go : 24 Go de mémoire ou une architecture plus puissante

NVIDIA Tesla P40 et Tesla V100 PCIe 16 Go consomment toutes deux 250 W, mais sont conçues pour des charges de travail différentes. La P40 mise sur 24 Go de mémoire, l'inférence, la virtualisation et le traitement vidéo. La V100 propose une architecture Volta plus avancée, des cœurs Tensor, une mémoire HBM2 rapide et des performances complètes en calcul scientifique.

Il est donc inutile de comparer ces accélérateurs uniquement sur la base des cœurs CUDA ou de la FP32. La P40 est choisie lorsque la charge de travail ne peut pas tenir dans 16 Go, tandis que la V100 est privilégiée lorsque la vitesse d'apprentissage, la bande passante mémoire et les calculs FP64 sont importants.

Différences clés

La différence en FP32 est faible, mais elle ne reflète pas bien le véritable rapport de force. La V100 a non seulement plus de cœurs CUDA, mais aussi des cœurs Tensor, une mémoire beaucoup plus rapide et des améliorations architecturales Volta.

Pascal contre Volta

La Tesla P40 est construite sur l'architecture Pascal et dispose de 3840 cœurs CUDA. Elle a été conçue comme un accélérateur serveur d'inférence capable de gérer plusieurs modèles ou utilisateurs simultanément. Le support de l'INT8 et 24 Go de mémoire en ont fait un produit recherché dans les systèmes d'apprentissage automatique, les postes de travail virtuels et les serveurs multimédias.

La Tesla V100 utilise l'architecture Volta, avec 5120 cœurs CUDA et 640 cœurs Tensor. Ces derniers accélèrent les calculs matriciels sur lesquels repose l'apprentissage des réseaux de neurones. Dans des tâches à précision mixte, la V100 bénéficie d'un avantage qui ne peut être perçu à partir de la seule performance FP32.

Les 47 TOPS annoncés pour la P40 et les résultats tensoriels de la V100 ne peuvent pas être comparés directement : ils concernent différents formats de données. La P40 excelle dans l'inférence optimisée INT8, tandis que la V100 est beaucoup plus polyvalente et mieux adaptée à l'apprentissage des modèles.

Mémoire : volume contre vitesse

L'avantage principal de la P40 est ses 24 Go de GDDR5. Les 8 Go supplémentaires peuvent s'avérer plus importants qu'un GPU plus puissant si le modèle, la scène ou le jeu de données ne peuvent pas tenir dans la mémoire de la V100.

Cela se remarque particulièrement lors de l'exécution locale de modèles linguistiques. Même un accélérateur plus rapide perd son avantage si une partie des poids doit être déchargée dans la RAM ou répartie entre plusieurs dispositifs.

La V100 est limitée à 16 Go, mais sa mémoire HBM2 offre une bande passante allant jusqu'à 900 Go/s - environ 2,6 fois plus que la P40. Pour l'entraînement des réseaux de neurones, le traitement de grandes matrices et les calculs scientifiques, une vitesse mémoire élevée est souvent plus importante que son volume.

Le choix ici est très simple :

• La P40 peut gérer des charges plus lourdes ;
• La V100 traite les données plus rapidement dans les 16 Go ;
• En cas de manque de mémoire, l'avantage de la V100 diminue rapidement.

Apprentissage et inférence des réseaux de neurones

Pour l'entraînement des modèles, la V100 est généralement préférée tant que 16 Go suffisent. Les cœurs Tensor, la HBM2 et le support de la précision mixte accélèrent clairement les charges de travail actuelles.

La P40 est plus logique à utiliser pour le déploiement de modèles déjà entraînés. Elle est adaptée pour l'inférence INT8, le traitement par lots des requêtes et les scénarios où le coût par gigaoctet de mémoire est important.

Dans les systèmes IA locaux, le choix dépend de la taille du modèle. Un modèle compact fonctionne généralement plus rapidement sur la V100. Cependant, si le modèle ne peut pas tenir dans 16 Go, la P40 de 24 Go peut se révéler plus pratique, malgré son architecture plus ancienne et l'absence de cœurs Tensor.

Calculs scientifiques et CUDA

Dans les calculs en double précision, la P40 ne rivalise pas avec la V100. L'accélérateur Pascal a été conçu pour l'inférence et la virtualisation graphique, et non pour des tâches lourdes en FP64.

La V100, au contraire, a été conçue pour le HPC. Elle est adaptée à la modélisation d'ingénierie, à la chimie computationnelle, à la physique, à l'analyse de données et à d'autres charges où des performances élevées en double précision sont requises.

Dans les applications CUDA classiques, la V100 s'avère également plus rapide grâce à son GPU plus puissant et sa bande passante mémoire élevée. L'exception se produit lorsque le jeu de travail nécessite plus de 16 Go.

Rendu

Dans le rendu CUDA, la V100 est généralement plus rapide que la P40, si la scène tient dans la mémoire. Cependant, les deux cartes manquent de cœurs RT, elles sont donc tributaires d'accélérateurs RTX plus récents dans les moteurs ayant un traçage de rayons matériel.

La P40 peut gagner sur des scènes importantes qui ne tiennent pas dans 16 Go. Ici, la mémoire supplémentaire est plus importante que la vitesse : la scène doit être entièrement chargée dans le GPU ou le moteur de rendu doit fonctionner en mode contournement plus lent.

Avant d'acheter, il convient de vérifier le support du moteur spécifique. Les anciennes Tesla ne fonctionnent pas avec toutes les versions récentes des logiciels et des pilotes.

Vidéo et virtualisation

La P40 a été conçue non seulement pour le calcul. Elle est bien adaptée aux postes de travail virtuels, aux bureaux distants, à la transcodage et au traitement vidéo sur serveur.

Pour la V100, ces tâches sont secondaires. L'acheter pour le codage vidéo ou la vGPU est généralement irrationnel : une grande partie de son coût est due à l'architecture de calcul, aux cœurs Tensor et aux capacités HPC.

Installation dans un ordinateur ordinaire

Les deux cartes utilisent un refroidissement passif et sont conçues pour un flux d'air de serveur. Dans un boîtier ordinaire sans circulation d'air dirigée, elles surchauffent rapidement et réduisent leurs fréquences.

Avant d'acheter, il est important de prendre en compte :

• l'absence de ventilateurs intégrés ;
• l'absence de sorties vidéo ;
• les spécificités de la connexion d'alimentation ;
• la longueur et le boîtier à deux emplacements ;
• la compatibilité des pilotes et des logiciels ;
• une consommation d'énergie allant jusqu'à 250 W.

Un prix bas sur le marché de l'occasion ne signifie pas une installation facile. Pour un fonctionnement stable, un bloc d'alimentation puissant, un conduit d'air ou des ventilateurs séparés et un boîtier bien ventilé sont nécessaires.

Ce qu'il faut vérifier lors de l'achat

Les Tesla P40 et V100 sont principalement vendues sur le marché de l'occasion depuis longtemps. Leur état dépend des conditions d'utilisation, de la température et de la durée d'exploitation dans le serveur.

Avant d'acheter, il est préférable de vérifier :

• la reconnaissance de la carte dans le système ;
• la taille et les erreurs de mémoire ;
• la stabilité sous charge prolongée ;
• les températures de fonctionnement ;
• l'absence de throttling ;
• la compatibilité avec la version de CUDA requise ;
• le support de la carte par le framework ou le moteur de rendu choisi.

La V100 coûte généralement beaucoup plus cher que la P40. Le surcoût est justifié pour l'entraînement des réseaux de neurones, la FP64 et les calculs lourds, mais n'a pas toujours de sens pour une simple inférence.

Que choisir

La Tesla P40 doit être envisagée si :

• plus de 16 Go de mémoire vidéo sont nécessaires ;
• la tâche principale est l'inférence ;
• des modèles locaux importants sont lancés ;
• la virtualisation est utilisée ;
• le traitement et le transcodage vidéo sont importants ;
• le coût par gigaoctet de mémoire est critique.

La Tesla V100 PCIe 16 Go est préférable si :

• l'entraînement des réseaux de neurones est prévu ;
• des cœurs Tensor sont nécessaires ;
• une précision mixte est utilisée ;
• des calculs scientifiques sont effectués ;
• la performance FP64 est importante ;
• la charge de travail rentre dans 16 Go.

Conclusion

La Tesla V100 PCIe 16 Go est un accélérateur de calcul plus rapide et polyvalent. Elle est nettement mieux adaptée à l'apprentissage des réseaux de neurones, aux calculs scientifiques et aux tâches CUDA lourdes.

Il est judicieux de choisir la Tesla P40 pour ses 24 Go de mémoire, son inférence à faible coût, sa virtualisation ou son traitement vidéo. Si la charge de travail est limitée à 16 Go, la V100 est presque toujours préférable. Cependant, si le modèle ou la scène dépassent ce volume, les 8 Go supplémentaires de la P40 peuvent s'avérer plus cruciaux que toute la puissance de calcul de la Volta.