MLPerf Llama 3.1 8B Server: результаты
Черновая программная страница. Данные выводятся из канонических записей результатов и не копируются в конфигурацию страницы.
Ключевые метрики
Server
Токенов в секунду
141565.45 tokens/s
Server
Сэмплов в секунду
1097.56 samples/s
Server
TTFT p50
260.98 ms
Server
TPOT p50
21.65 ms/token
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- MLPerf v6.0 Llama 3.1 8B Server workload
- Описание
- MLPerf Inference v6.0 Server traffic profile for Llama 3.1 8B.
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Сэмплов в секунду | TTFT p50 | TPOT p50 |
|---|---|---|---|---|---|---|---|
6.0-0073 NVIDIA | Server | fp4 | 8× | 141565.45 | 1097.56 | 260.98 | 21.65 |
6.0-0062 Lambda_SIT | Server | fp4 | 8× | 130007.69 | 1007.85 | 179.27 | 17.17 |
6.0-0021 MLCommons | Server | fp8 | 8× | 45075.81 | 349.43 | 453.10 | 16.60 |
Методология
Показывать только исходные полносистемные результаты с проверенным raw-артефактом; не делить результат на число GPU.
Оговорки
- Server throughput нельзя сопоставлять с Offline throughput.
- B200 и B300 используют FP4; H200 использует FP8 и не включается в прямое аппаратное сравнение.
- Результаты относятся к полной восьми-GPU системе и не нормализуются на одну GPU.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.