Бенчмарки Llama 3.1 405B на GPU и серверных системах
Черновая программная страница. Результаты выводятся из канонических записей; публикация требует ручной проверки сопоставимости.
Ключевые метрики
Offline
Токенов в секунду
1951.60 tokens/s
Offline
Запросов/сэмплов в секунду
3.07 samples/s
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- Meta Llama 3.1 405B Instruct
- Описание
- The instruction-tuned 405-billion-parameter Llama 3.1 checkpoint mapped to the MLPerf llama3.1-405b workload, with text input/output and a 128K-token context window.
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Запросов/сэмплов в секунду |
|---|---|---|---|---|---|
6.0-0073 MLCommons | Offline | fp4 | 8× | 1951.60 | 3.07 |
6.0-0073 MLCommons | Server | fp4 | 8× | 1460.25 | 2.29 |
Оговорки
- Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
- Результат системы с несколькими GPU нельзя делить на число ускорителей без опубликованной нормализации.
- Сравнивать следует только одинаковые версию набора, сценарий, профиль, ревизию модели и точность.
- Профиль сопоставлен с meta-llama/Llama-3.1-405B-Instruct по MLCommons reference implementation.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.