Бенчмарки vLLM
Черновая программная страница. Публикация разрешается только после появления проверенных результатов и ручной проверки сопоставимости.
Спецификации
- Название
- vLLM
- Описание
- Open-source, high-throughput inference and serving engine for large language and multimodal models.
Оговорки
- Версия vLLM, модель, точность, длины входа и выхода, concurrency и GPU должны совпадать для прямого сравнения.
- Публичные результаты не описывают инфраструктуру CloudCompute, пока это не подтверждено отдельной записью.
- У страницы пока нет минимального набора канонических результатов, поэтому она остаётся noindex.
Источники
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.