Бенчмарки NVIDIA TensorRT-LLM
Черновая программная страница. Публикация разрешается только после появления проверенных результатов и ручной проверки сопоставимости.
Спецификации
- Название
- NVIDIA TensorRT-LLM
- Описание
- NVIDIA open-source library, runtime and serving stack for optimized LLM and multimodal inference on NVIDIA GPUs.
Оговорки
- TensorRT-LLM и общий TensorRT — разные сущности; их версии нельзя использовать взаимозаменяемо.
- Stable 1.2.1 и prerelease 1.3.x нельзя смешивать; prerelease объявляет смену backend-архитектуры.
- Существующие MLPerf-записи не переназначены на TensorRT-LLM до аудита исходных конфигураций.
- У страницы пока нет минимального набора канонических результатов, поэтому она остаётся noindex.
Источники
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.