NVIDIA B200 SXM 180GB: бенчмарки инференса
Черновая программная страница. Данные выводятся из канонических записей результатов и не копируются в конфигурацию страницы.
Ключевые метрики
Offline
Токенов в секунду
160403 tokens/s
Offline
Сэмплов в секунду
1243.49 samples/s
Offline
TTFT p50
— ms
Offline
TPOT p50
— ms/token
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- NVIDIA B200 SXM 180GB
- Описание
- Blackwell-generation SXM accelerator with 180 GB HBM3e in the MLPerf v6.0 DGX B200 configuration and a submitted 1,000 W TGP.
- memory_type
- HBM3e
- interface
- PCIe Gen5 x16 host interface
- tdp_w
- 1000
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Сэмплов в секунду | TTFT p50 | TPOT p50 |
|---|---|---|---|---|---|---|---|
6.0-0062 Lambda_SIT | Offline | fp4 | 8× | 160403 | 1243.49 | — | — |
6.0-0062 Lambda_SIT | Server | fp4 | 8× | 130007.69 | 1007.85 | 179.27 | 17.17 |
Методология
Показывать только исходные полносистемные результаты с проверенным raw-артефактом; не делить результат на число GPU.
Оговорки
- MLPerf измеряет полную DGX-систему с восемью GPU.
- Доступны два Llama 3.1 8B результата; страница остаётся noindex до редакционной проверки.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.