Бенчмарки Llama 2 70B на GPU и серверных системах
Черновая программная страница. Публикация разрешается только после выполнения порога данных и ручной проверки сопоставимости результатов.
Ключевые метрики
Offline
Токенов в секунду
112954 tokens/s
Offline
Запросов/сэмплов в секунду
413.71 samples/s
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- Meta Llama 2 70B Chat
- Описание
- The chat-tuned 70-billion-parameter Llama 2 checkpoint mapped to the MLPerf llama2-70b benchmark profile, with text input/output and a 4K-token context window.
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Запросов/сэмплов в секунду |
|---|---|---|---|---|---|
6.0-0073 MLCommons | Offline | fp4 | 8× | 112954 | 413.71 |
6.0-0073 MLCommons | Server | fp4 | 8× | 107317.80 | 393.11 |
6.0-0021 Dell | Offline | fp8 | 8× | 32004 | 109.09 |
Оговорки
- Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
- Результат системы с несколькими GPU нельзя делить на число ускорителей без опубликованной нормализации.
- Сравнивать следует только одинаковые версию набора, сценарий, профиль, ревизию модели и точность.
- Профиль MLPerf llama2-70b сопоставлен с checkpoint meta-llama/Llama-2-70b-chat-hf; commit в reference README не закреплён.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.