NVIDIA GB10: 1 PFLOP 및 128GB 메모리를 위한 로컬 AI

GB10은 NVIDIA DGX Spark와 같은 컴팩트 AI 스테이션을 위해 설계되었으며 일반적인 Blackwell 그래픽 카드와는 뚜렷한 차별점을 보입니다. 하나의 케이스에 20코어 Arm 프로세서, Blackwell 그래픽, 128GB의 LPDDR5X 공유 메모리가 통합되어 있습니다. NVIDIA는 최대 1 PFLOP FP4의 성능을 선언하며, 실제 테스트는 이 수치를 확인합니다. 실용적인 AI 작업에서는 메모리 대역폭이 중요한 제한 사항이 됩니다.

GB10과 GeForce의 차이점

GB10은 2025년 1월에 Project DIGITS의 일환으로 처음 공개되었습니다. 이후 이 개념은 DGX Spark의 기반이 되었고, 다른 제조사들도 이 플랫폼을 사용하게 되었습니다. GB10을 기반으로 한 모델로는 ASUS Ascent GX10, Lenovo ThinkStation PGX, HP ZGX Nano G1n, GIGABYTE AI TOP ATOM, Acer Veriton GN100 등이 있으며, 다른 컴팩트 AI 시스템도 포함됩니다.

GB10의 주요 장점은 CPU와 GPU를 위한 128GB의 공유 메모리입니다.

이와 같은 메모리 용량 덕분에 GB10은 일반 소비자 그래픽 카드의 16-32GB VRAM에 맞지 않는 모델을 로컬에서 실행할 수 있습니다. NVIDIA에 따르면, GB10 기반 시스템은 적절한 양자화 및 최적화 조건에서 최대 200억 개의 매개변수를 가진 모델과 작업할 수 있습니다.

테스트가 확인한 1 PFLOP

1 PFLOP의 값은 2:4 희소성의 FP4 계산을 나타냅니다. 이 수치를 기준으로 그래픽 성능의 전체 속도 또는 LLM에서의 토큰 생성 속도를 직접 판단할 수는 없습니다.

2026년에는 NVFP4 계산에서 GB10의 텐서 코어를 테스트하는 nvfp4bench의 재현 가능한 결과가 등장했습니다. 상용 시스템은 밀집 NVFP4에서 약 486-504 TFLOPS를 보여주며, 2:4 희소성에서 약 1 PFLOP에 도달합니다.

특정 장치에서의 GB10

모든 결과는 동일한 테스트 유형에서 얻어진 것으로, 직접 비교가 가능합니다. 시스템 간의 변동은 적으며, 케이스, 냉각 및 설정의 차이는 최종 결과에 미치는 영향이 미미합니다.

메모리 대역폭 제한

텐서 코어는 낮은 정밀도에서 높은 성능을 제공하지만, 공식적인 128GB LPDDR5X의 대역폭은 최대 273 GB/s입니다. 실용적인 테스트에서 시스템은 보통 약 200-214 GB/s의 대역폭을 보입니다.

로컬 LLM 추론에서는 이 수치가 특히 중요합니다. 순차적인 토큰 생성에서 모델의 가중치는 지속적으로 메모리에서 읽혀지기 때문에, 속도가 종종 메모리의 대역폭에 의해 제한됩니다.

따라서 1 PFLOP을 특정 신경망의 작업 속도로 직접 환산할 수는 없습니다.

긴 prefill, 배치 처리 및 병렬 요청에서는 텐서 코어가 더 효과적으로 로드됩니다. GB10은 일반 소비자 데스크탑 그래픽 카드의 VRAM에 맞지 않는 모델을 공유 메모리에 배치할 수 있습니다.

메모리 용량은 크지만, 그 대역폭은 강력한 개별 GPU의 GDDR7보다 상대적으로 낮습니다.

GB10의 초당 토큰 생성 수

실용적인 LLM 테스트는 GB10의 특성을 피크 FP4 성능보다 더 잘 보여줍니다. NVIDIA DGX Spark에서 Ollama 0.18.3과 CUDA 13.0을 사용할 경우, 밀집 모델이 커짐에 따라 속도가 크게 떨어지지만, 128GB의 메모리는 대부분의 소비자 그래픽 카드에 맞지 않는 모델을 실행할 수 있게 해줍니다.

결과는 LPDDR5X의 제한을 잘 보여줍니다. Llama 3.1 8B는 초당 약 43개의 토큰을 생성하며, Llama 3.1 70B의 경우 속도가 약 4.8 토큰/초로 줄어듭니다. Mistral Large 123B는 더 느리게 작동하지만, 이러한 크기의 모델을 하나의 컴팩트 시스템의 메모리에 배치할 수 있는 가능성이 GB10의 장점 중 하나입니다.

모델 아키텍처도 결과에 큰 영향을 미칩니다. 단일 테스트에서 llama.cpp Qwen3 30B 아키텍처의 MoE는 약 89개의 토큰을 초당 생성하는 반면, 밀집 Qwen3 32B는 약 11개의 토큰에 도달했습니다. MoE는 생성 시 일부 매개변수만을 사용하므로, 이러한 모델은 GB10의 메모리 대역폭에 덜 의존합니다.

GB10 장비의 가격

2026년 8월 기준으로 GB10은 여러 상용 시스템에서 사용되고 있습니다. 칩의 성능은 미미하게 다르지만, 가격과 스토리지 용량은 구체적인 모델에 따라 상당한 차이를 보입니다.

가격은 유럽 시장에서의 제안에 해당하며, 특정 구성에 따라 다릅니다.

가격 대비 성능 비율에서는 ASUS Ascent GX10이 다른 모델들보다 더 유리하게 보입니다. 이 모델은 일부 경쟁 모델보다 €1,000 이상 저렴하며, NVFP4 결과는 몇 퍼센트 차이만 있습니다.

더 비싼 모델의 추가 비용은 보통 SSD, 포트 구성, 보증 및 지원에 해당하며, GB10의 성능 향상에 실질적으로 기여하지 않습니다.

Project DIGITS, DGX Spark 및 GB10의 연관성

GB10은 플랫폼 발전의 여러 단계에서 등장한 여러 연관된 이름을 가지고 있습니다. 2025년 1월 NVIDIA는 Project DIGITS라는 이름으로 플랫폼을 발표했습니다. 이후 NVIDIA의 자체 시스템이 DGX Spark라는 이름을 받았고, GB10은 ASUS, Lenovo, HP, GIGABYTE 및 기타 제조사에서 사용되기 시작했습니다.

ASUS GX10, Lenovo PGX 및 HP ZGX는 동일한 GB10 컴퓨팅 플랫폼을 사용합니다. 이 시스템 간의 차이점은 주로 케이스, 저장 장치, 냉각 및 주변 장치와 관련이 있습니다.

GB10은 AI 워크스테이션을 위한 전문화된 SoC로 보는 것이 더 적절합니다. 그래픽 부분은 Blackwell 아키텍처를 사용하고, 플랫폼은 CPU, GPU 및 공유 메모리를 하나의 솔루션으로 통합합니다.

결론

약 €4,000의 가격으로 GB10은 제한된 작업에 집중되어 있습니다. 필요한 모델이 일반 RTX의 VRAM에 들어간다면, 디스플레이 카드가 같은 예산으로 더 많은 컴퓨팅 성능을 제공할 가능성이 높습니다.

GB10의 장점은 24-32GB VRAM으로는 부족한 작업에서 나타납니다. 128GB의 공유 메모리는 여러 디스crete GPU가 필요 없이 대형 AI 모델을 로컬로 실행할 수 있게 해줍니다.

실제 시스템은 2:4 희소성에서 약 1 PFLOP FP4의 수준을 확인합니다. 실용적인 LLM 테스트는 LPDDR5X의 대역폭 제한을 동시에 보여줍니다. 대형 밀집 모델이 메모리에 들어가지만, 상대적으로 느리게 토큰을 생성합니다. GB10의 강점은 128GB의 공유 메모리, CUDA 및 컴팩트 폼 팩터의 조합에 있습니다.