Бенчмарки Llama 3.1 8B на GPU и серверных системах

Черновая программная страница. Публикация разрешается только после выполнения порога данных и ручной проверки сопоставимости результатов.

Ключевые метрики

Offline

Токенов в секунду

165432 tokens/s

Offline

Запросов/сэмплов в секунду

1282.63 samples/s

Все throughput-значения — полная система (не на одну GPU).

Спецификации

Название
Meta Llama 3.1 8B Instruct
Описание
The instruction-tuned 8-billion-parameter Llama 3.1 checkpoint used by the MLPerf llama3.1-8b reference workload, with text input/output and a 128K-token context window.

Результаты

Таблица канонических результатов бенчмарка
Результат Сценарий Precision GPU Токенов в секунду Запросов/сэмплов в секунду
6.0-0073
NVIDIA
Offline fp4 8× 165432 1282.63
6.0-0062
Lambda_SIT
Offline fp4 8× 160403 1243.49
6.0-0073
NVIDIA
Server fp4 8× 141565.45 1097.56
6.0-0062
Lambda_SIT
Server fp4 8× 130007.69 1007.85
6.0-0021
MLCommons
Offline fp8 8× 53193.60 412.38
6.0-0021
MLCommons
Server fp8 8× 45075.81 349.43

Оговорки

  • Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
  • Результат системы с несколькими GPU нельзя делить на число ускорителей без опубликованной нормализации.
  • Сравнивать следует только одинаковые версию набора, сценарий, профиль, ревизию модели и точность.
  • MLCommons reference implementation указывает meta-llama/Llama-3.1-8B-Instruct, commit be673f326cab4cd22ccfef76109faf68e41aa5f1.

Источники

Связанные страницы

Аренда GPU в CloudCompute

Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.

Цены GPUСравнить GPU