LLM MIT

DeepSeek R1 32B

32B параметров · Transformer · Контекст 128k · DeepSeek · 2025

Запустить на GPU HuggingFace →

VRAM по точности

Точность VRAM Качество Рекомендация
FP16 64 ГБ Максимальное Для продакшена
FP8 32 ГБ Отличное Оптимально
INT8 32 ГБ Хорошее
INT4/Q4 18 ГБ Приемлемое Для экспериментов

Совместимые GPU

GPU VRAM Поддерживает
Рек. NVIDIA H100 SXM
80 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA H200 SXM
141 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA A100
80 ГБ FP16, FP8, INT8, INT4 Арендовать

Рекомендуемые фреймворки

vLLM llama.cpp Ollama TGI

Быстрый старт

vllm 
docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model DeepSeek-R1-Distill-Qwen-32B \
  --quantization fp8

Характеристики модели

Технические параметры

Разработчик
DeepSeek
Год выпуска
2025
Параметры
32B
Архитектура
Transformer
Контекстное окно
128,000 токенов
Лицензия
MIT

Применение

Reasoning Code generation Instruction following Math

DeepSeek R1 32B — крупная дистилляция R1 на базе Qwen 32B: по математике и сложному reasoning часто близка к полноразмерному R1, оставаясь существенно дешевле в эксплуатации, чем 70B+ варианты. Удобная точка входа для команд, которым нужен «серьёзный» chain-of-thought без кластера.

Контекст 128k, лиценция MIT; для комфортного fp8-инференса на одной карте обычно нужен объём порядка 32 ГБ VRAM и выше.

Запуск на cloudcompute.ru

Шаг 1 — Арендуйте GPU

Для DeepSeek R1 32B в fp8 рекомендуем H100 или H200 (80 ГБ), на A100 80 ГБ тоже подходит. Перейдите в каталог GPU и арендуйте инстанс с Docker-образом.

Шаг 2 — Запустите vLLM

docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model deepseek-ai/DeepSeek-R1-Distill-Qwen-32B \
  --dtype auto \
  --max-model-len 65536

Шаг 3 — Отправьте запрос

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
    "messages": [{"role": "user", "content": "Сколько целых решений у уравнения x² + y² = 25? Обоснуй ответ по шагам."}]
  }'

Альтернативно, используйте Ollama для быстрого старта:

ollama run deepseek-r1:32b

Оптимизация

  • На одной H100 80 ГБ держите --max-model-len умеренным, если ожидаете несколько параллельных пользователей — KV-cache растёт с длиной контекста.
  • При нехватке VRAM используйте quant (AWQ/GPTQ) или снижайте concurrency в vLLM.
  • Длинные reasoning-ответы: настройте max_tokens и мониторьте TTFT/latency.