Бенчмарки DeepSeek-R1 на GPU и серверных системах
Черновая программная страница. Результаты выводятся из канонических записей; публикация требует ручной проверки сопоставимости.
Ключевые метрики
Offline
Токенов в секунду
70325.70 tokens/s
Offline
Запросов/сэмплов в секунду
18.75 samples/s
Все throughput-значения — полная система (не на одну GPU).
Спецификации
- Название
- DeepSeek-R1
- Описание
- Open-weight mixture-of-experts reasoning model with 671 billion total parameters, 37 billion active parameters per token and a 128K-token context window.
Результаты
| Результат | Сценарий | Precision | GPU | Токенов в секунду | Запросов/сэмплов в секунду |
|---|---|---|---|---|---|
6.0-0073 MLCommons | Offline | fp4 | 8× | 70325.70 | 18.75 |
6.0-0073 MLCommons | Server | fp4 | 8× | 42721.39 | 11.39 |
Оговорки
- Результаты MLPerf относятся к полной системе, а не к изолированной GPU.
- Результат системы с несколькими GPU нельзя делить на число ускорителей без опубликованной нормализации.
- Сравнивать следует только одинаковые версию набора, сценарий, профиль, ревизию модели и точность.
- MLCommons reference implementation указывает deepseek-ai/DeepSeek-R1, revision 56d4cbbb4d29f4355bab4b9a39ccb717a14ad5ad.
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.