MLPerf Llama 3.1 8B Offline: результаты
Черновая программная страница. Данные выводятся из канонических записей результатов и не копируются в конфигурацию страницы.
Ключевые метрики
Offline
Токенов в секунду
165432 tokens/s
Offline
Сэмплов в секунду
1282.63 samples/s
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- MLPerf v6.0 Llama 3.1 8B Offline workload
- Описание
- MLPerf Inference v6.0 Offline traffic profile for Llama 3.1 8B.
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Сэмплов в секунду |
|---|---|---|---|---|---|
6.0-0073 NVIDIA | Offline | fp4 | 8× | 165432 | 1282.63 |
6.0-0062 Lambda_SIT | Offline | fp4 | 8× | 160403 | 1243.49 |
6.0-0021 MLCommons | Offline | fp8 | 8× | 53193.60 | 412.38 |
Методология
Показывать только исходные полносистемные результаты с проверенным raw-артефактом; не делить результат на число GPU.
Оговорки
- Offline throughput нельзя сопоставлять с Server throughput.
- B200 и B300 используют FP4; H200 использует FP8 и не включается в прямое аппаратное сравнение.
- Результаты относятся к полной восьми-GPU системе и не нормализуются на одну GPU.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.