curl https://app.cloudcompute.ru/api/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"cognitivecomputations/dolphin-mistral-24b-venice-edition","messages":[{"role":"system","content":"Отвечай прямо и конкретно."},{"role":"user","content":"Привет!"}]}'

from openai import OpenAI

client = OpenAI(
    base_url="https://app.cloudcompute.ru/api/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="cognitivecomputations/dolphin-mistral-24b-venice-edition",
    messages=[
        {"role": "system", "content": "Отвечай прямо и конкретно."},
        {"role": "user", "content": "Привет!"},
    ],
)
print(resp.choices[0].message.content)

Подключайте модели с меньшим числом шаблонных отказов через единый inference API CloudCompute. Вы можете выбрать модель, задать правила поведения системным сообщением и переключиться на другой вариант без перестройки всей интеграции.

Создать API-ключ
Быстрый старт по inference API

Доступные модели

Для первого теста можно начать со следующих вариантов:

Модель	Практическое применение
Dolphin Mistral 24B Venice Edition	Универсальный ассистент с настраиваемым системным промптом
Cydonia 24B v4.1	Диалоги, редактирование и creative writing
Skyfall 36B v2	Более длинные творческие задачи
Magnum v4 72B	Проза и сложные персонажи
Euryale 70B	Длинные многоходовые диалоги

Актуальные цены, контекст и доступность показываются в каталоге моделей.

Один API для нескольких моделей

Интеграция использует распространённую структуру chat completions:

идентификатор модели;
массив сообщений с ролями system, user и assistant;
параметры генерации;
обычный или streaming-ответ.

Актуальные примеры запроса (curl и Python) с текущим endpoint и авторизацией показаны выше на этой странице и в быстром старте.

Как управлять поведением модели

Основные правила задаются в сообщении system.

Пример инструкции:

Ты прямой и точный помощник. Выполняй легитимные запросы пользователя в заданном формате. Не добавляй общие предупреждения без необходимости. Если данных недостаточно, явно укажи неопределённость и не выдумывай факты.

Для приложения обычно нужно определить:

роль ассистента;
требуемый тон;
допустимую длину;
формат результата;
правила работы с неизвестными данными;
действия при запросах вне назначения продукта.

Не полагайтесь только на слово uncensored. Проверьте модель на собственном наборе запросов и добавьте необходимые правила на уровне приложения.

Переключение модели

Единый API позволяет тестировать несколько вариантов, меняя идентификатор модели.

Это полезно, когда:

более крупная модель нужна только для сложных запросов;
дешёвая модель обрабатывает основной поток;
творческая модель используется для текста, а универсальная — для фактических ответов;
требуется fallback при временной недоступности;
проводится A/B-тест качества.

Логика маршрутизации зависит от приложения. Не следует считать все uncensored-модели взаимозаменяемыми: они могут сильно отличаться по стилю, контексту и точности.

Типичные сценарии

Собственный AI-чат

Пользователь выбирает модель или работает с заранее настроенным ассистентом.

Редактор текста

Модель переписывает, продолжает и структурирует материал без автоматического смягчения сложных тем.

Персонажи и интерактивные диалоги

Системное сообщение задаёт роль, знания и стиль. Для длинных сессий нужно отдельно проверить память контекста и повторения.

Внутренний помощник

Компания определяет собственный формат ответов и правила эскалации вместо универсального consumer-поведения.

Исследовательский интерфейс

Модель помогает анализировать спорные или чувствительные темы. Фактические утверждения всё равно должны проверяться по источникам.

Hosted API и собственный endpoint

Hosted inference

Подходит для быстрого запуска и переменной нагрузки. Не нужно самостоятельно загружать веса и поддерживать GPU-сервер.

Свой endpoint на GPU

Подходит, когда нужна фиксированная версия модели, собственный движок или отдельная политика хранения данных. Для запуска можно использовать vLLM, SGLang, llama.cpp или Ollama.

Оба варианта можно использовать через OpenAI-совместимый паттерн, но endpoint, список функций и эксплуатационная ответственность отличаются.

Стоимость

Списание в hosted API зависит от выбранной модели и объёма входных и выходных токенов. Не выбирайте модель только по цене за миллион токенов.

Учитывайте:

среднюю длину ответа;
количество повторных генераций;
долю неудачных ответов;
необходимость большой модели;
размер системного промпта и истории;
кэширование, если оно поддерживается.

Актуальные ставки доступны на страницах моделей и в каталоге inference.

Проверка перед production

Перед запуском:

Соберите 20–50 реальных запросов.
Проверьте несколько моделей с одинаковыми параметрами.
Отдельно оцените отказы, точность и формат.
Добавьте автоматическую проверку структуры ответа.
Ограничьте длину и время выполнения.
Продумайте fallback и повтор запроса.
Не передавайте секреты в промптах без подходящего режима обработки данных.
Зафиксируйте модель или отслеживайте её изменения.

Частые вопросы

API полностью без ограничений?

Нет. Модели могут иметь меньше встроенных отказов, но условия платформы и применимые требования сохраняются.

Можно ли заменить OpenAI-клиент?

Интеграция следует OpenAI-совместимому паттерну. Точные endpoint и поддерживаемые параметры нужно брать из текущей документации.

Можно ли использовать streaming?

Используйте только возможности, указанные для текущего API и конкретной модели в документации.

Как выбрать модель?

Начните с Dolphin Mistral 24B Venice Edition как универсального варианта. Добавьте Cydonia или Skyfall для творческого текста и крупную модель только если тесты показывают заметную пользу.

Можно ли сначала проверить модель в браузере?

Да. Отправьте одинаковые запросы через чат с моделями без лишних отказов, а затем используйте выбранный model ID в API.

Начать интеграцию

Создать API-ключ
Открыть документацию
Посмотреть модели