Phi-4 Mini

Phi-4 Mini — попытка Microsoft уместить «phi-стиль» reasoning в формат около 3.8B, не жертвуя длинным контекстом: 128k открывает сценарии с большими вставками, а улучшения в math/logic заметны против Phi-3 Mini на типовых бенчмарках. Для команд, которым нужен лёгкий inference и всё же более взрослое мышление, чем у классических tiny-моделей, это сильный компромисс. В продакшене особенно хорошо заходит в связке с жёстким форматом ответа (JSON/schema) и пост-валидацией.

Чекпоинт: microsoft/Phi-4-mini-instruct (MIT).

Запуск на cloudcompute.ru

Шаг 1 — Арендуйте GPU

Для Phi-4 Mini в fp16 достаточно RTX 3090 или RTX 4090. Перейдите в каталог GPU и арендуйте инстанс.

Шаг 2 — Запустите vLLM

docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model microsoft/Phi-4-mini-instruct \
  --dtype auto \
  --max-model-len 131072

Альтернативно, для быстрого старта используйте Ollama:

ollama run phi4-mini

Шаг 3 — Отправьте запрос

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "microsoft/Phi-4-mini-instruct",
    "messages": [{"role": "user", "content": "Привет! Расскажи о себе."}]
  }'

Оптимизация

• На 128k контексте первым делом ограничьте реальную длину вставок и измерьте память — иначе легко упереться в OOM при concurrency > 1.
• Для math-задач добавляйте требование «ответ числом + краткое объяснение» — это улучшает парсинг на стороне приложения.
• Держите temperature низким для фактических/числовых сценариев.