LLM
Llama
Llama 3.2 3B
3B параметров · Transformer · Контекст 128k · Meta · 2024
VRAM по точности
| Точность | VRAM | Качество | Рекомендация |
|---|---|---|---|
| FP16 | 6 ГБ | Максимальное | Для продакшена |
| FP8 | 3 ГБ | Отличное | Оптимально |
| INT8 | 3 ГБ | Хорошее | |
| INT4/Q4 | 2 ГБ | Приемлемое | Для экспериментов |
Совместимые GPU
| GPU | VRAM | Поддерживает | |
|---|---|---|---|
|
Рек.
NVIDIA RTX 4090
|
24 ГБ | FP16, FP8, INT8, INT4 | Арендовать |
| 24 ГБ | FP16, FP8, INT8, INT4 | Арендовать |
Рекомендуемые фреймворки
Быстрый старт
ollama
ollama run llama-3.2-3b
Характеристики модели
Технические параметры
- Разработчик
- Meta
- Год выпуска
- 2024
- Параметры
- 3B
- Архитектура
- Transformer
- Контекстное окно
- 128,000 токенов
- Лицензия
- Llama
Применение
Chatbots
Text summarization
Instruction following
Low-latency applications
Llama 3.2 3B — малая модель с хорошим балансом качества и скорости. Умещается в 6 ГБ VRAM в fp16, что делает её доступной на большинстве потребительских GPU.