Бенчмарки SGLang
Черновая программная страница. Публикация разрешается только после появления проверенных результатов и ручной проверки сопоставимости.
Спецификации
- Название
- SGLang
- Описание
- Open-source serving framework for high-throughput, low-latency large language and multimodal model inference.
Оговорки
- Вендорские графики и release-блоги не становятся каноническими результатами без полной конфигурации и сырого артефакта.
- Версия, модель, точность, workload и concurrency должны совпадать для прямого сравнения.
- У страницы пока нет минимального набора канонических результатов, поэтому она остаётся noindex.
Источники
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.