Инференс

Инференс — это доступ к языковым моделям (LLM) через единый OpenAI-совместимый API. Вы получаете один адрес и API-ключ, через которые можно обращаться к десяткам моделей — из своего кода, редактора, AI-чата или любого инструмента, поддерживающего OpenAI API.

Отдельный сервер арендовать не нужно: оплата идёт по факту использования, из баланса аккаунта — списывается стоимость обработанных токенов.

Ключевые особенности

OpenAI-совместимость — работает с официальными OpenAI SDK и любыми совместимыми клиентами (Cline, Continue.dev, Aider, curl и др.). Достаточно поменять базовый адрес и ключ.
Много моделей — один ключ — каталог моделей с ценами и в личном кабинете.
Оплата за использование — списания идут из общего баланса, как и за серверы. Абонентской платы нет.
Потоковая передача — поддерживается стандартный режим stream: true.

Содержание раздела

API-ключи — создание и отзыв ключей
Быстрый старт — базовый адрес и примеры на curl и Python
Оплата и лимиты — как считается стоимость и что нужно для работы

См. также

Инференс API — продуктовая страница и quickstart
Тарификация и цены — как устроен баланс и списания
CloudCompute Coder — наш редактор кода, который можно подключить к инференсу

API-ключи

Запросы к инференсу авторизуются по API-ключу. Ключ привязан к вашей команде (организации), и все списания идут с её баланса.

Быстрый старт

Инференс совместим с OpenAI API. Если у вас уже есть код или инструмент, работающий с OpenAI, достаточно поменять базовый адрес и ключ.

Оплата и лимиты

Оплата идёт по факту использования: после каждого запроса с баланса списывается стоимость обработанных токенов (ввод + вывод) по цене выбранной модели. Цены указаны в каталоге и в разделе API-доступ —...