Бенчмарки NVIDIA TensorRT

Черновая программная страница. Публикация разрешается только после выполнения порога данных и ручной проверки сопоставимости результатов.

Ключевые метрики

Offline

Токенов в секунду

165432 tokens/s

Offline

Запросов/сэмплов в секунду

1282.63 samples/s

Все throughput-значения — полная система (не на одну GPU).

Спецификации

Название
NVIDIA TensorRT
Описание
NVIDIA deep-learning inference SDK and runtime. This entity represents generic TensorRT, not the separate TensorRT-LLM serving layer.

Результаты

Таблица канонических результатов бенчмарка
Результат Сценарий Precision GPU Токенов в секунду Запросов/сэмплов в секунду
6.0-0073
NVIDIA
Offline fp4 8× 165432 1282.63
6.0-0062
Lambda_SIT
Offline fp4 8× 160403 1243.49
6.0-0073
NVIDIA
Server fp4 8× 141565.45 1097.56
6.0-0062
Lambda_SIT
Server fp4 8× 130007.69 1007.85
6.0-0073
MLCommons
Offline fp4 8× 112954 413.71
6.0-0073
MLCommons
Server fp4 8× 107317.80 393.11
6.0-0073
MLCommons
Offline fp4 8× 103961 79.40
6.0-0073
MLCommons
Server fp4 8× 100327.65 76.66
6.0-0073
MLCommons
Offline fp4 8× 70325.70 18.75
6.0-0021
MLCommons
Offline fp8 8× 53193.60 412.38
6.0-0021
MLCommons
Server fp8 8× 45075.81 349.43
6.0-0073
MLCommons
Server fp4 8× 42721.39 11.39
6.0-0021
Dell
Offline fp8 8× 32004 109.09
6.0-0073
MLCommons
Offline fp4 8× 1951.60 3.07
6.0-0073
MLCommons
Server fp4 8× 1460.25 2.29

Оговорки

  • TensorRT — общий SDK и runtime; TensorRT-LLM хранится как отдельная сущность.
  • Импортированные MLPerf-записи пока сохраняют исходную маркировку TensorRT, хотя большинство также указывает ветку TensorRT-LLM.
  • Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
  • Многогиповый результат нельзя делить на число ускорителей без опубликованной нормализации.

Источники

Аренда GPU в CloudCompute

Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.

Цены GPUСравнить GPU