NVIDIA DGX B300 8× B300: бенчмарки

Черновая программная страница. Данные выводятся из канонических записей результатов и не копируются в конфигурацию страницы.

Ключевые метрики

Offline

Токенов в секунду

165432 tokens/s

Offline

Сэмплов в секунду

1282.63 samples/s

Offline

TTFT p50

— ms

Offline

TPOT p50

— ms/token

Все throughput-значения — полная система (не на одну GPU).

Спецификации

Название
NVIDIA DGX B300 with 8× B300 SXM 270GB (MLPerf v6.0 configuration)
Описание
MLPerf v6.0 submitted DGX B300 configuration. The submission lists Xeon Platinum 8570 CPUs, while the current NVIDIA product page lists Xeon 6776P processors.

Результаты

Таблица канонических результатов бенчмарка
Результат Сценарий Precision GPU Токенов в секунду Сэмплов в секунду TTFT p50 TPOT p50
6.0-0073
NVIDIA
Offline fp4 8× 165432 1282.63 — —
6.0-0073
NVIDIA
Server fp4 8× 141565.45 1097.56 260.98 21.65
6.0-0073
MLCommons
Offline fp4 8× 112954 413.71 — —
6.0-0073
MLCommons
Server fp4 8× 107317.80 393.11 325.95 118.74
6.0-0073
MLCommons
Offline fp4 8× 103961 79.40 — —
6.0-0073
MLCommons
Server fp4 8× 100327.65 76.66 156.44 47.81
6.0-0073
MLCommons
Offline fp4 8× 70325.70 18.75 — —
6.0-0073
MLCommons
Server fp4 8× 42721.39 11.39 512.14 60.68
6.0-0073
MLCommons
Offline fp4 8× 1951.60 3.07 — —
6.0-0073
MLCommons
Server fp4 8× 1460.25 2.29 1748.70 119.86

Методология

Показывать только исходные полносистемные результаты с проверенным raw-артефактом; не делить результат на число GPU.

Оговорки

  • MLPerf измеряет полную восьми-GPU систему, а не изолированную GPU.
  • CPU в MLPerf submission отличается от CPU на текущей продуктовой странице DGX B300.
  • Offline и Server нельзя объединять в один рейтинг без разделения по сценарию и модели.

Источники

Связанные страницы

Аренда GPU в CloudCompute

Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.

Цены GPUСравнить GPU