VRAM по точности

Точность	VRAM	Качество	Рекомендация
FP16	208 ГБ	Максимальное	Для продакшена
FP8	104 ГБ	Отличное	Оптимально
INT8	104 ГБ	Хорошее
INT4/Q4	52 ГБ	Приемлемое	Для экспериментов

Совместимые GPU

GPU	VRAM	Поддерживает
Рек. NVIDIA H100 SXM	80 ГБ	FP16, FP8, INT8, INT4	Арендовать
NVIDIA H200 SXM	141 ГБ	FP16, FP8, INT8, INT4	Арендовать

Характеристики модели

Технические параметры

Разработчик: Cohere
Год выпуска: 2024
Параметры: 104B
Архитектура: Transformer
Контекстное окно: 128,000 токенов
Лицензия: Restricted

Применение

RAG Tool use Complex instruction following Enterprise tasks

Command R+ — позиционирование Cohere очень прямое: модель заточена под RAG, цитирование, многоязычные корпоративные сценарии и tool use, когда ассистент должен не «придумать», а опереться на источники и действия. В отличие от «универсальных болтушек», она полезна там, где важны воспроизводимые ответы с опорой на документы и дисциплина в многоходовых цепочках. Лицензия Restricted — внимательно прочитайте условия перед продакшеном.

Чекпоинт: CohereForAI/c4ai-command-r-plus, контекст 128k, масштаб 104B.

Запуск на cloudcompute.ru

Шаг 1 — Арендуйте GPU

Для Command R+ в fp16 нужны несколько H100 / H200 (или эквивалентный суммарный VRAM с запасом под KV-cache). Перейдите в каталог GPU и арендуйте multi-GPU инстанс.

Шаг 2 — Запустите vLLM

docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model CohereForAI/c4ai-command-r-plus \
  --dtype auto \
  --max-model-len 131072 \
  --tensor-parallel-size 4

Подстройте --tensor-parallel-size под фактическое число GPU в узле.

Шаг 3 — Отправьте запрос

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "CohereForAI/c4ai-command-r-plus",
    "messages": [{"role": "user", "content": "Суммаризируй этот текст: CloudCompute.ru — GPU-облако для ML-инженеров. Платформа поддерживает аренду инстансов с NVIDIA GPU и запуск inference через vLLM, Docker и стандартные API."}]
  }'

Оптимизация

В RAG чаще выигрывает качество извлечения и реранкер, а не «ещё +10k токенов контекста» — начните с жёсткого top-k фрагментов.
Если используете tool use, стандартизируйте JSON-схемы и валидацию на стороне приложения, иначе вырастет доля исполняемых ошибок.
На 104B держите отдельный пул для интерактива и отдельный для тяжёлых batch-задач — смешение трафика быстро убивает p95 latency.

Command R+