Мультимодальные MIT

InternVL2 8B

8B параметров · Transformer · Контекст 8k · Shanghai AI Lab · 2024

Запустить на GPU HuggingFace →

VRAM по точности

Точность VRAM Качество Рекомендация
FP16 16 ГБ Максимальное Для продакшена
FP8 8 ГБ Отличное Оптимально
INT8 8 ГБ Хорошее
INT4/Q4 4 ГБ Приемлемое Для экспериментов

Совместимые GPU

GPU VRAM Поддерживает
Рек. NVIDIA RTX 4090
24 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA RTX 3090
24 ГБ FP16, FP8, INT8, INT4 Арендовать

Рекомендуемые фреймворки

vLLM Ollama

Быстрый старт

vllm 
docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \
  --model InternVL2-8B \
  --quantization fp8

Характеристики модели

Технические параметры

Разработчик
Shanghai AI Lab
Год выпуска
2024
Параметры
8B
Архитектура
Transformer
Контекстное окно
8,192 токенов
Лицензия
MIT

Применение

Visual question answering Image captioning OCR Document understanding

InternVL2 8B — эффективная мультимодальная модель от Shanghai AI Lab. Отличается высоким качеством OCR и document understanding. MIT лицензия позволяет свободное коммерческое использование.