MLPerf Inference Datacenter: результаты v6.0

Черновая программная страница. Публикация разрешается только после выполнения порога данных и ручной проверки сопоставимости результатов.

Ключевые метрики

Offline

Токенов в секунду

165432 tokens/s

Offline

Запросов/сэмплов в секунду

1282.63 samples/s

Все throughput-значения — полная система (не на одну GPU).

Спецификации

Название
MLPerf Inference Datacenter
Описание
MLCommons benchmark suite for comparing complete datacenter inference systems under defined scenarios and compliance rules.

Результаты

Таблица канонических результатов бенчмарка
Результат Сценарий Precision GPU Токенов в секунду Запросов/сэмплов в секунду
6.0-0073
NVIDIA
Offline fp4 8× 165432 1282.63
6.0-0062
Lambda_SIT
Offline fp4 8× 160403 1243.49
6.0-0073
NVIDIA
Server fp4 8× 141565.45 1097.56
6.0-0062
Lambda_SIT
Server fp4 8× 130007.69 1007.85
6.0-0073
MLCommons
Offline fp4 8× 112954 413.71
6.0-0073
MLCommons
Server fp4 8× 107317.80 393.11
6.0-0073
MLCommons
Offline fp4 8× 103961 79.40
6.0-0073
MLCommons
Server fp4 8× 100327.65 76.66
6.0-0073
MLCommons
Offline fp4 8× 70325.70 18.75
6.0-0021
MLCommons
Offline fp8 8× 53193.60 412.38
6.0-0021
MLCommons
Server fp8 8× 45075.81 349.43
6.0-0073
MLCommons
Server fp4 8× 42721.39 11.39
6.0-0021
Dell
Offline fp8 8× 32004 109.09
6.0-0073
MLCommons
Offline fp4 8× 1951.60 3.07
6.0-0073
MLCommons
Server fp4 8× 1460.25 2.29

Оговорки

  • Результаты MLPerf относятся к полной системе, а не к изолированной GPU.

  • Нельзя делить многог GPU результат на число ускорителей без опубликованной нормализации.

Источники

Аренда GPU в CloudCompute

Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.

Цены GPUСравнить GPU