LLM MIT

Phi-3 Mini 3.8B

3.8B параметров · Transformer · Контекст 128k · Microsoft · 2024

Запустить на GPU HuggingFace →

VRAM по точности

Точность VRAM Качество Рекомендация
FP16 8 ГБ Максимальное Для продакшена
FP8 4 ГБ Отличное Оптимально
INT8 4 ГБ Хорошее
INT4/Q4 2 ГБ Приемлемое Для экспериментов

Совместимые GPU

GPU VRAM Поддерживает
Рек. NVIDIA RTX 4090
24 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA RTX 3090
24 ГБ FP16, FP8, INT8, INT4 Арендовать

Рекомендуемые фреймворки

Ollama llama.cpp vLLM

Быстрый старт

ollama 
ollama run phi-3-mini-3.8b

Характеристики модели

Технические параметры

Разработчик
Microsoft
Год выпуска
2024
Параметры
3.8B
Архитектура
Transformer
Контекстное окно
128,000 токенов
Лицензия
MIT

Применение

Chatbots Edge inference Code generation Text summarization

Phi-3 Mini — компактная модель Microsoft с 128k контекстом, обученная на high-quality синтетических данных. Превосходит многие 7B модели при значительно меньшем размере.