LLM Apache-2.0

Mixtral 8×7B

47B параметров · MoE · Контекст 32k · Mistral AI · 2023

Запустить на GPU HuggingFace →

VRAM по точности

Точность VRAM Качество Рекомендация
FP16 90 ГБ Максимальное Для продакшена
FP8 45 ГБ Отличное Оптимально
INT8 45 ГБ Хорошее
INT4/Q4 24 ГБ Приемлемое Для экспериментов

Совместимые GPU

GPU VRAM Поддерживает
Рек. NVIDIA H100 SXM
80 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA A100
80 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA RTX 4090
24 ГБ FP16, FP8, INT8, INT4 Арендовать

Рекомендуемые фреймворки

vLLM llama.cpp TGI

Быстрый старт

vllm 
docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model Mixtral-8x7B-Instruct-v0.1 \
  --quantization fp8

Характеристики модели

Технические параметры

Разработчик
Mistral AI
Год выпуска
2023
Параметры
47B
Архитектура
MoE
Контекстное окно
32,000 токенов
Лицензия
Apache-2.0

Применение

Reasoning Code generation Instruction following Multi-turn dialogue

Mixtral 8×7B — Mixture-of-Experts модель: 47B общих параметров, но при инференсе активируются только 13B на токен. Качество уровня GPT-3.5 при умеренных требованиях к вычислениям.