trtllm-bench: throughput и latency
Черновая программная страница. Публикация разрешается только после появления достаточного числа конфигурационно полных результатов и ручной проверки сопоставимости.
Оговорки
- Результаты разных harness, сценариев и версий не объединяются в общий рейтинг.
- Публичные примеры из документации не считаются каноническими результатами без полной системы и raw-артефакта.
Источники
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.