BFCL benchmark: function calling моделей
Черновая программная страница. Результаты допускаются только при наличии точной версии модели, датасета, prompt, decoding и evaluator.
Методология
Качество относится к модели и протоколу оценки. GPU и система не используются как объяснение качества; данные скорости связываются отдельно.
Оговорки
- Результаты с разными версиями, split, prompt, shots, CoT, answer parser или числом попыток не объединяются.
- Leaderboard-значения без полного run manifest и первичного результата остаются кандидатами.
Источники
Аренда GPU в CloudCompute
Бенчмарки выше измеряют полные системы из публичных заявок. Для аренды отдельных GPU смотрите каталог и цены.