NVIDIA L40S vs NVIDIA L20: 同じメモリ、異なるパフォーマンス

NVIDIA L40S と L20 は Ada Lovelace アーキテクチャに基づいており、ECC を搭載した 48 GB の GDDR6 メモリを備えています。どちらも 384 ビットのバス、864 GB/s の帯域幅、および PCIe 4.0 x16 インターフェースを持っています。これらの仕様において、両モデルは似たように見えますが、L40S は明らかに高いクラスに属しています。

L40S はより多くの CUDA、Tensor、RT コアを持っているため、生成的 AI、負荷の高い推論、レンダリング、および仮想ワークステーションにより適しています。L20 は大容量のメモリを維持していますが、計算速度は大きく劣ります。

主な違い

L40S は CUDA コアが約 54% 多いです。同様の傾向が FP32 計算にも見られ、テンソル演算ではその差はさらに大きくなる可能性があります。

48 GB メモリの利点

L20 の主な利点は L40S と同じ量のビデオメモリを持っていることです。これにより、大規模な言語モデル、複雑なシーン、大容量のデータセット、および複数の仮想デスクトップを読み込むことができます。

しかし、メモリの量は主にタスクが加速器に収まるかどうかを決定します。その実行速度は計算ブロックとテンソルパフォーマンスによって決まります。

両方のカードは同じモデルを起動できますが、L40S はリクエストをより迅速に処理し、より多くのユーザーをサポートし、トレーニングやファインチューニングにかかる時間も少なくて済みます。同じメモリ帯域幅は GPU の性能差を補うことはありません。

人工知能

L40S は混合サーバー負荷向けに設計されています：推論、ニューラルネットワークのトレーニング、生成的 AI、ビデオ処理、およびプロフェッショナルなビジュアライゼーションをサポートしています。第4世代の Tensor コア、FP8、およびトランスフォーマーエンジンをサポートします。

L20 はより穏健なシナリオでの使用が理にかなっています：

• 同時リクエストが少ない推論；
• 最大 48 GB のメモリを必要とするモデルの実行；
• 定期的なファインチューニング；
• 限られた電力消費のサーバー。

常に負荷がかかっているサービスでは、L40S の利点が特に顕著になります：1 つの加速器で、カードの数を増やさずにより多くのリクエストを処理できます。

レンダリングと仮想ワークステーション

L40S は 142 の RT コアを搭載しており、L20 の 92 を上回ります。これにより、レイトレーシング、フォトリアリスティックレンダリング、デジタルツインおよび複雑なシーンに対してより適しています。

追加の CUDA コアはシミュレーション、ジオメトリ処理、およびレンダリングの計算段階を加速します。両モデルはリモートのエンジニアリング、デザイン、およびメディア制作のワークステーションにも適しています。

L40S と L20 はパッシブ冷却を使用しているため、空気の流れが制御されるサーバーケースが必要です。特別な冷却設備がない通常のデスクトップコンピュータには適していません。

電力消費とスケーラビリティ

L40S の最大消費電力は 350 W であり、L20 は約 300 W を消費します。マルチカードサーバーでは、この差が電源、冷却、および機器の配置密度に影響を与えます。

これに対して L40S はより多くの電力を消費しますが、1 台の加速器ごとにより高いパフォーマンスを提供します。

両モデルは PCIe 経由で動作し、NVLink を介してのメモリ結合をサポートしません。複数の GPU を搭載したシステムでは、結果は PCIe のトポロジー、プロセッサプラットフォーム、およびソフトウェア最適化によって異なります。

どちらを選ぶべきか

NVIDIA L40S を選ぶべきです。加速器が生成的 AI、高負荷の推論、モデルのトレーニング、レンダリング、または複数の仮想ワークステーションに常に使用される場合は、非常に高速で、サーバースロットあたりの性能が高まります。

NVIDIA L20 は検討する価値があります。48 GB のメモリが重要ですが、最大速度が必要ない場合です。穏健な推論、グラフィック仮想化、ビデオ処理、およびプロフェッショナルなビジュアライゼーションに適しています。

L20 は L40S の直接のアナロジーとは見なせません。同じメモリ量と帯域幅を維持していますが、計算性能は低いクラスに属しています。穏健な負荷には十分ですが、常に負荷がかかっているシステムでは L40S の方が明らかに好ましいです。