NVIDIA Tesla P40：なぜ2016年のGPUでLLMを動かすのか

NVIDIA Tesla P40は、ニューラルネットワーク向けのサーバー用アクセラレーターとして2016年に登場した。それから10年が経過した現在、24 GBのビデオメモリを搭載している点で注目を集めている。この容量があれば、安価なゲーミングGPUの多くではビデオメモリに収まらない、パラメーター数30～32 billionの一部の言語モデルを実行できる。

ただし、Pascalアーキテクチャによって性能は大きく制限される。Tesla P40にはTensor Coresがなく、FP16の計算は遅い。また、パッシブ冷却のため、一般的なコンピューターに搭載するには手を加える必要がある。2026年において、その24 GBはどれほど役立つのだろうか。

Pascalアーキテクチャで24 GBのメモリ

Tesla P40は、GeForce GTX 1080 Tiと同系統のGP102チップを採用している。CUDAコア数は3840基で、GPUクロックは1303～1531 MHz。384-bitバスと346 GB/sの帯域幅を備えたGDDR5メモリを搭載する。

GP100チップとHBM2メモリを採用するTesla P100とは異なり、P40は主にニューラルネットワークの推論を想定している。FP16性能は約0.19 TFLOPSで、FP32の約64分の1にとどまる。

NVIDIAはP40について、FP32で最大12 TFLOPS、INT8で47 TOPSを公称していた。しかし、これらの数値を現代のLLMの速度にそのまま置き換えることはできない。結果は、モデルのフォーマット、使用される演算、ソフトウェアの最適化によって変わる。

llama.cppのベンチマークにおける性能

Tesla P40では、テキスト生成のテストが最も参考になる。以下は、Q4_0量子化を適用したLlama 2 7Bを用いたllama.cppの結果だ。

llama-benchのテスト：入力トークン512個（pp512）の処理と、128トークン（tg128）の生成。Flash Attentionを使用しないCUDA。結果は異なるシステムとバージョンのllama.cppで取得されているため、比較は目安となる。

テキスト生成では、メモリ帯域幅が大幅に低いにもかかわらず、Tesla P40はP100にほとんど引けを取らない。RTX 3060は約38%高速で、RTX 3090はほぼ3倍高速だ。

入力リクエストの処理では差がさらに大きく、RTX 3090はP40を5倍以上上回る。これは、回答を生成する前に数千個の入力トークンを処理する必要がある、長いドキュメントを扱う場合に特に顕著になる。

ただし、Llama 2 7Bは8 GBのビデオメモリにも収まる。このテストで分かるのはGPUの速度であり、P40の最大の利点、つまりより大規模なモデルを実行できる点は明らかにならない。

24 GBに収まるLLM

良い例がQwen2.5-32B-Instructだ。Q4_K_M量子化を適用したGGUF形式では、モデルの重みが約19.9 GBを占める。Tesla P40にはKVキャッシュと計算用バッファーのための空きも残るが、利用できるコンテキスト長は起動設定によって異なる。

RTX 3060 12 GBには、このモデル全体を収めることはできない。より強い量子化を使うか、計算の一部をシステムメモリに移す必要がある。

Tesla P40で実行できるモデルは、モデルのサイズとフォーマットによって変わる。

• 7B～8B： Q4、Q8、比較的長いコンテキストを収めるのに十分なメモリがある。
• 14B： 多くのモデルはQ8_0でも収まり、補助データ用のメモリも残る。
• 30B～32B： KVキャッシュやその他のバッファーを適切なサイズにすれば、Q4で実行できる。

収まることと性能は混同してはならない。パラメーター数32 billionのモデルでは、Llama 2 7Bより大幅に多くの計算が必要になる。上記の結果を、そのモデルの速度評価に使うことはできない。別途テストが必要だ。

量子化されたGGUFモデルをローカルで実行するには、互換性のあるCUDAバックエンドを備えたllama.cppを利用できる。大きなドキュメントを頻繁に処理したり、複数のユーザーが同時に利用したりする場合は、P40の制限がより顕著になる。

一般的なコンピューターへの搭載

Tesla P40は、強制空冷を行うサーバー向けに設計されている。カード自体にファンはなく、最大消費電力は250 Wに達する。

搭載時には、以下の点を考慮する必要がある。

• 冷却。 ヒートシンクに向けて空気を流す必要があり、通常は専用のファンとダクトを用意する。
• 電源。 サーバー用のCPU/EPS 8ピンを使用する。通常のPCIe 8ピンケーブルを代わりに直接接続してはならない。
• 映像出力。 HDMIとDisplayPortは搭載していない。モニターは別のグラフィックスアダプターに接続する必要がある。
• サイズ。 基板の長さは約267 mmで、厚さは2スロット。

ソフトウェアサポートにも別の制限がある。Tesla P40のCompute Capabilityは6.1だ。CUDA Toolkit 13.0で、NVIDIAはPascal向けアプリケーションのコンパイルサポートを終了した。

このアーキテクチャ向けにプログラムをビルドするには、CUDA Toolkit 12.9以前の互換性のあるバージョンが必要になる。PascalをサポートするNVIDIAドライバーの最新系列はR580で、2028年6月までの保守が予定されている。

これは、記載された日付以降にP40が動作しなくなるという意味ではない。ただし、新しいバージョンの計算ライブラリでは、より新しいGPUが必要になる可能性があるため、プログラムの互換性は個別に確認する必要がある。

2026年にTesla P40を使う価値はあるか

Tesla P40は、24 GBのメモリによって実用的な価値を保っている。RTX 3060 12 GBやTesla P100 16 GBには収まらない量子化LLMを実行できるためだ。一方で、大容量のビデオメモリを必要としない処理では、どちらのカードのほうが高速な場合もある。

同じ24 GBを搭載するRTX 3090は、生成速度とリクエスト処理速度でP40を大幅に上回る。Tesla V100も大幅に高速だが、16 GB版では大規模モデルの選択肢が制限される。32 GB版ならこの問題を解決できる。

P40を選ぶ際は、カード本体の価格だけを考えてはならない。追加の冷却、適切な電源、最大250 Wの消費電力、互換性のあるソフトウェアスタックを使う必要性によって、運用コストは増加する。

ローカルLLMに必要なのがまさに24 GBのメモリで、高い速度が必須ではなく、完成したシステムの価格が代替製品より大幅に安い場合、Tesla P40には意味がある。 長期的な利用を前提とした新しいワークステーションでは、より新しいGPUのほうが望ましい。