NVIDIA Tesla P40 対 Tesla V100 PCIe 16 GB: 24 GB のメモリか、それともより強力なアーキテクチャか

NVIDIA Tesla P40 と Tesla V100 PCIe 16 GB は、同じく 250 W の消費電力を持っていますが、異なる負荷に対応しています。P40 は 24 GB のメモリ、推論、仮想化、およびビデオ処理に焦点を当てています。V100 は、より高度な Volta アーキテクチャ、Tensor コア、高速 HBM2 メモリを提供し、科学計算における完全なパフォーマンスを実現します。

したがって、これらのアクセラレーターを CUDA コア数や FP32 のみで比較するのは意味がありません。P40 は、ワークロードが 16 GB に収まらない場合に選ばれ、V100 はトレーニングの速度、メモリ帯域幅、FP64 の計算が重要な場合に選ばれます。

主な違い

FP32 の違いは小さいですが、それは実際のパフォーマンス比を適切に反映していません。V100 はより多くの CUDA コアと Tensor コア、高速のメモリ、そして Volta のアーキテクチャ改善を享受しています。

Pascal 対 Volta

Tesla P40 は Pascal アーキテクチャに基づき、3840 CUDA コアを搭載しています。これは、複数のモデルまたはユーザーを同時に処理できる推論用のサーバーアクセラレーターとして設計されました。INT8 のサポートと 24 GB のメモリにより、機械学習、仮想ワークステーション、メディアサーバーのシステムで需要が高くなりました。

Tesla V100 は Volta アーキテクチャを使用し、5120 CUDA コアと 640 Tensor コアを搭載しています。これらは、ニューラルネットワークのトレーニングの基盤となる行列計算を加速します。混合精度のタスクでは、V100 は FP32 のパフォーマンスだけでは見えないアドバンテージを得ます。

P40 の 47 TOPS の仕様と V100 のテンソルパフォーマンスは直接比較できません。これは異なるデータフォーマットに関連しています。P40 は最適化された INT8 推論でうまく機能しますが、V100 はより汎用的で、モデルのトレーニングに適しています。

メモリ: 容量と速度の比較

P40 の主な利点は 24 GB の GDDR5 メモリです。モデル、シーン、またはデータセットが V100 のメモリに収まらない場合、追加の 8 GB はより強力な GPU よりも重要になる可能性があります。

特に言語モデルをローカルで実行する場合には、見違えるほど顕著です。より高速なアクセラレーターでも、一部のウェイトを RAM に退避しなければならない場合、利点を失います。

V100 は 16 GB に制限されていますが、その HBM2 は最大 900 GB/s の帯域幅を提供し、これは P40 の約 2.6 倍です。ニューラルネットワークのトレーニング、大きな行列の処理、科学計算においては、高いメモリ速度がしばしば容量よりも重要です。

ここでの選択は非常に単純です：

• P40 は大きな負荷を扱える；
• V100 は 16 GB 内でのデータ処理が速い；
• メモリが不足している場合、V100 の利点は急速に減少します。

ニューラルネットワークのトレーニングと推論

モデルのトレーニングには、V100 がほぼ常に好ましい選択です。16 GB が十分である限りです。Tensor コア、HBM2、混合精度のサポートが現代の計算負荷を大幅に加速します。

P40 は、トレーニングされたモデルの導入によりロジブレです。INT8 の推論、バッチ処理の要求、およびメモリ 1 GB のコストが重要なシナリオで適しています。

ローカル AI システムでは、選択はモデルのサイズによって決まります。コンパクトなモデルは通常、V100 で高速に動作します。しかし、16 GB に収まらない場合、24 GB の P40 の方が実用的かもしれません。

科学計算と CUDA

ダブル精度の計算では、P40 は V100 に対抗できません。Pascal アクセラレーターは推論とグラフィック仮想化用に設計されており、重い FP64 タスクには対応していません。

一方、V100 は HPC 向けに設計されています。工学モデリング、計算化学、物理学、データ分析など、高いダブル精度のパフォーマンスが求められる負荷に最適です。

一般的な CUDA アプリケーションでも、V100 はより強力な GPU と高帯域幅により、しばしば高速です。ただし、ワークセットが 16 GB を超える場合はこの限りではありません。

レンダリング

CUDA レンダリングにおいて、V100 は通常 P40 よりも速いですが、シーンがメモリに収まる場合に限ります。しかし、両方のカードには RT コアが搭載されていないため、ハードウェアレイトレーシングを用いるエンジンでは最新の RTX アクセラレーターに劣ります。

P40 は 16 GB では足りない大きなシーンで有利になる場合があります。ここでは、追加のメモリが速度よりも重要です：シーンが GPU に全体が収まるか、レンダラーが遅い迂回モードを使用しなければならないからです。

購入前に、特定のエンジンのサポートを確認することも重要です。古い Tesla は、すべての最新のプログラムやドライバーのバージョンで動作するわけではありません。

ビデオと仮想化

P40 は計算だけでなく設計されています。仮想ワークステーション、リモートワークプレイス、トランスコード、およびサーバーでのビデオ処理に適しています。

一方 V100 では、これらのタスクは二次的です。ビデオコーディングや vGPU のために購入するのは通常非効率的で、コストのほとんどは計算アーキテクチャや Tensor コア、HPC の機能に由来します。

通常のコンピュータへの取り付け

両方のカードはパッシブ冷却を使用し、サーバー用の空気の流れに最適化されています。通常のケースでは、適切な冷却が無ければすぐに過熱し、クロックが低下します。

購入前に以下の点を考慮する必要があります：

• 内蔵ファンがない；
• ビデオ出力がない；
• 電源コネクタの特性；
• 長さとデュアルスロットのスペース；
• ドライバーやプログラムの互換性；
• 最大 250 W の電力消費。

中古市場での低価格は、簡単な取り付けを意味するものではありません。安定して動作させるには、強力な電源ユニット、適切なエアフロー、または追加のファンおよび良好な通気を持つケースが必要です。

購入時に確認すべきこと

Tesla P40 と V100 は、長らく中古市場で流通しています。状態は使用条件、温度、サーバーでの稼働時間に依存します。

購入前に確認することが望ましい点：

• システムにおけるカードの認識；
• メモリの量とエラー；
• 長時間の負荷下での安定性；
• 動作温度；
• サーマルスロットリングがないこと；
• 希望する CUDA のバージョンとの互換性；
• 選択したフレームワークやレンダラーでのカードのサポート。

V100 は通常、P40 よりもはるかに高価です。ニューラルネットワークのトレーニング、FP64、および重い計算に対する過剰支払いは正当化されますが、単純な推論のためには常に意味があるとは限りません。

どちらを選ぶべきか

Tesla P40 を検討すべき場合：

• 16 GB よりも多くのビデオメモリが必要；
• 主な用途は推論；
• 大規模なローカルモデルを実行；
• 仮想化を使用；
• ビデオの処理とトランスコードが重要；
• メモリ 1 GB のコストが重要。

Tesla V100 PCIe 16 GB の方が良い場合：

• ニューラルネットワークのトレーニングを計画；
• Tensor コアが必要；
• 混合精度を使用；
• 科学計算を行う；
• FP64 のパフォーマンスが重要；
• ワークロードが 16 GB に収まる。

結論

Tesla V100 PCIe 16 GB は、より高速で多目的な計算アクセラレーターです。ニューラルネットワークのトレーニング、科学計算、重い CUDA タスクににおいて、明らかに優れています。

Tesla P40 は、24 GB のメモリ、低コストの推論、仮想化、またはビデオ処理のために選択する意義があります。負荷が 16 GB で十分であれば、V100 がほぼ常に優れています。しかし、モデルやシーンがその容量を超える場合、追加の 8 GB の P40 が Volta の計算能力よりも重要になる可能性があります。