Бенчмарки llama.cpp
Черновая программная страница. Публикация разрешается только после появления проверенных результатов и ручной проверки сопоставимости.
Спецификации
- Название
- llama.cpp
- Описание
- Portable C/C++ inference engine and server for GGUF models across CPUs, GPUs and local or edge systems.
Оговорки
- Сравнение требует одинакового GGUF-файла, quantization, commit/build, контекста и настроек offload.
- Prompt processing и text generation — разные тесты llama-bench и не должны объединяться в один показатель.
- llama.cpp выпускает частые rolling builds; каждый результат должен фиксировать точный build или commit.
- У страницы пока нет минимального набора канонических результатов, поэтому она остаётся noindex.
Источники
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.