NVIDIA H200 NVL 141GB: бенчмарки инференса
Черновая программная страница. Публикация разрешается только после выполнения порога данных и ручной проверки сопоставимости результатов.
Ключевые метрики
Offline
Токенов в секунду
53193.60 tokens/s
Offline
Запросов/сэмплов в секунду
412.38 samples/s
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- NVIDIA H200 NVL 141GB
- Описание
- Hopper-generation PCIe accelerator with 141 GB HBM3e, configurable up to 600 W, and optional 2- or 4-way NVLink bridging.
- memory_type
- HBM3e
- interface
- PCIe Gen5
- tdp_w
- 600
- mig_supported
- 1
- fp64_tflops
- 30
- fp32_tflops
- 60
- fp16_tflops
- 1671
- bf16_tflops
- 1671
- fp8_tflops
- 3341
- int8_tops
- 3341
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Запросов/сэмплов в секунду |
|---|---|---|---|---|---|
6.0-0021 MLCommons | Offline | fp8 | 8× | 53193.60 | 412.38 |
6.0-0021 MLCommons | Server | fp8 | 8× | 45075.81 | 349.43 |
6.0-0021 Dell | Offline | fp8 | 8× | 32004 | 109.09 |
Оговорки
- Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
- Нельзя делить многог GPU результат на число ускорителей без опубликованной нормализации.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.