NVIDIA L40S vs NVIDIA L20: 동일한 메모리, 다른 성능

NVIDIA L40S와 L20는 Ada Lovelace 아키텍처를 기반으로 하며, ECC가 포함된 48GB GDDR6 메모리를 탑재하고 있습니다. 두 모델 모두 384비트 버스, 864GB/s의 대역폭 및 PCIe 4.0 x16 인터페이스를 제공합니다. 이러한 사양으로 볼 때, 두 모델은 비슷해 보이지만, L40S는 훨씬 높은 클래스에 속합니다.

L40S는 더 많은 CUDA, Tensor 및 RT 코어를 보유하고 있어, 생성적 AI, 고부하 인퍼런스, 렌더링 및 가상 작업 공간에 더 적합합니다. L20 또한 대용량 메모리를 유지하지만, 계산 속도에서 상당히 뒤처집니다.

주요 차이점

L40S는 약 54% 더 많은 CUDA 코어를 포함하고 있습니다. FP32 계산에서도 비슷한 우세를 보이며, Tensor 연산에서는 더 큰 차이가 있을 수 있습니다.

48GB 메모리가 주는 이점

L20의 가장 큰 장점은 L40S와 동일한 용량의 비디오 메모리를 제공한다는 점입니다. 이는 대규모 언어 모델, 복잡한 장면, 대량 데이터 세트 및 여러 가상 데스크탑을 로드하는 데 도움이 됩니다.

하지만 메모리 용량은 주로 작업이 가속기에서 처리 가능한지를 결정합니다. 작업 실행 속도는 계산 블록과 Tensor 성능에 따라 달라집니다.

두 카드 모두 동일한 모델을 실행할 수 있지만, L40S는 요청을 더 빠르게 처리하고 더 많은 사용자 트래픽을 지원하며, 훈련 또는 재훈련에 필요한 시간이 더 적습니다. 동일한 메모리 대역폭은 GPU 성능 차이를 보완하지 못합니다.

인공지능

L40S는 혼합 서버 부하를 위해 설계되었습니다: 인퍼런스, 신경망 학습, 생성적 AI, 비디오 처리 및 전문 시각화 지원. L40S는 4세대 Tensor 코어, FP8 및 Transformer Engine을 지원합니다.

L20은 비교적 온건한 시나리오에서 사용하기에 더 적합합니다:

• 동시 요청 수가 적은 인퍼런스;
• 48GB 메모리를 요구하는 모델 실행;
• 주기적인 재훈련;
• 제한된 전력 소비 서버.

항상 부하가 걸리는 서비스에서는 L40S의 이점이 특히 두드러집니다: 하나의 가속기가 카드 수를 늘리지 않고도 더 많은 요청을 처리할 수 있습니다.

렌더링 및 가상 작업 공간

L40S는 142개의 RT 코어를 탑재하고 있으며, L20의 92개에 비해 더 많은 코어를 가지고 있어 레이 트레이싱, 사실적인 렌더링, 디지털 쌍생물 및 NVIDIA Omniverse에서의 복잡한 장면에 더 적합합니다.

추가 CUDA 코어는 시뮬레이션, 기하학 처리 및 렌더링 계산 단계의 속도를 높여줍니다. 두 모델 모두 원격 엔지니어링, 디자인 및 미디어 제작 작업 공간에 적합합니다.

L40S와 L20은 수동 냉각을 사용하므로, 공기가 잘 흐를 수 있는 서버 케이스가 필요합니다. 특별한 냉각 방식이 마련되지 않은 일반 데스크탑에서는 이러한 카드에 적합하지 않습니다.

에너지 소비 및 확장성

L40S의 최대 전력은 350W에 도달하며, L20은 약 300W를 소비합니다. 다중 카드 서버에서는 이 차이가 전원 공급 장치, 냉각 및 장비 배치 밀도에 영향을 미칩니다.

L40S는 더 많은 전력을 소모하지만, 하나의 설치된 가속기에 대해 훨씬 더 높은 성능을 제공합니다.

두 모델 모두 PCIe를 통해 작동하며, NVLink를 통한 메모리 통합을 지원하지 않습니다. 여러 GPU가 있는 시스템에서는 결과가 PCIe 토폴로지, 프로세서 플랫폼 및 소프트웨어 최적화에 따라 달라집니다.

무엇을 선택할까

NVIDIA L40S를 선택해야 합니다, 생성적 AI, 고부하 인퍼런스, 모델 학습, 렌더링 또는 여러 가상 작업 공간에 지속적으로 사용할 가속기가 필요할 때 유리합니다. 훨씬 더 빠르고 하나의 서버 슬롯 당 더 많은 성능을 제공합니다.

NVIDIA L20은 48GB 메모리가 중요하지만 최대 속도가 필요하지 않을 때 고려해야 합니다. 적당한 인퍼런스, 그래픽 가상화, 비디오 처리 및 전문 시각화에 적합합니다.

L20은 L40S의 직접적인 유사물로 볼 수는 없습니다. 동일한 용량의 메모리와 대역폭을 유지하지만, 더 낮은 클래스의 계산 성능에 해당합니다. 중간 부하의 경우 충분하지만, 항상 부하가 걸리는 시스템에서는 L40S가 훨씬 선호됩니다.