LLM Apache-2.0

Qwen 2.5 32B

32B параметров · Transformer · Контекст 128k · Alibaba · 2024

VRAM по точности

Точность	VRAM	Качество	Рекомендация
FP16	64 ГБ	Максимальное	Для продакшена
FP8	32 ГБ	Отличное	Оптимально
INT8	32 ГБ	Хорошее
INT4/Q4	16 ГБ	Приемлемое	Для экспериментов

vllm

docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model Qwen2.5-32B-Instruct \
  --quantization fp8

Reasoning Code generation Multilingual tasks Instruction following

Qwen 2.5 32B — мощная модель среднего размера, превосходящая многие 70B модели на coding и reasoning задачах. В fp8 помещается на одном H100 80GB.