Мультимодальные
Llama
LLaVA 1.6 34B
34B параметров · Transformer · Контекст 4k · Haotian Liu · 2024
VRAM по точности
| Точность | VRAM | Качество | Рекомендация |
|---|---|---|---|
| FP16 | 68 ГБ | Максимальное | Для продакшена |
| FP8 | 34 ГБ | Отличное | Оптимально |
| INT8 | 34 ГБ | Хорошее | |
| INT4/Q4 | 17 ГБ | Приемлемое | Для экспериментов |
Совместимые GPU
| GPU | VRAM | Поддерживает | |
|---|---|---|---|
|
Рек.
NVIDIA H100 SXM
|
80 ГБ | FP16, FP8, INT8, INT4 | Арендовать |
| 80 ГБ | FP16, FP8, INT8, INT4 | Арендовать | |
| 24 ГБ | FP16, FP8, INT8, INT4 | Арендовать |
Рекомендуемые фреймворки
Быстрый старт
vllm
docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \ --model llava-v1.6-34b \ --quantization fp8
Характеристики модели
Технические параметры
- Разработчик
- Haotian Liu
- Год выпуска
- 2024
- Параметры
- 34B
- Архитектура
- Transformer
- Контекстное окно
- 4,096 токенов
- Лицензия
- Llama
Применение
Visual question answering
Image captioning
Document understanding
Multimodal chat
LLaVA 1.6 34B — мультимодальная модель на базе Nous-Hermes Yi-34B. Высокое качество понимания изображений, поддержка high-resolution (до 4× тайлов). Хорошо подходит для document understanding.