Dell PowerEdge XE7740 8× H200 NVL: бенчмарки
Черновая программная страница. Публикация разрешается только после выполнения порога данных и ручной проверки сопоставимости результатов.
Ключевые метрики
Offline
Токенов в секунду
53193.60 tokens/s
Offline
Запросов/сэмплов в секунду
412.38 samples/s
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- Dell PowerEdge XE7740 with 8× NVIDIA H200 NVL 141GB
- Описание
- MLPerf-submitted Dell PowerEdge XE7740 system. The submitted JSON states 1.5 TB host memory but also lists 32×64 GB modules; 1.5 TB is retained provisionally and the conflict is open.
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Запросов/сэмплов в секунду |
|---|---|---|---|---|---|
6.0-0021 MLCommons | Offline | fp8 | 8× | 53193.60 | 412.38 |
6.0-0021 MLCommons | Server | fp8 | 8× | 45075.81 | 349.43 |
6.0-0021 Dell | Offline | fp8 | 8× | 32004 | 109.09 |
Оговорки
- Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
- Нельзя делить многог GPU результат на число ускорителей без опубликованной нормализации.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.