VRAM по точности

Точность	VRAM	Качество	Рекомендация
FP16	16 ГБ	Максимальное	Для продакшена
FP8	8 ГБ	Отличное	Оптимально
INT8	8 ГБ	Хорошее
INT4/Q4	4 ГБ	Приемлемое	Для экспериментов

Совместимые GPU

GPU	VRAM	Поддерживает
Рек. NVIDIA RTX 4090	24 ГБ	FP16, FP8, INT8, INT4	Арендовать
NVIDIA RTX 3090	24 ГБ	FP16, FP8, INT8, INT4	Арендовать

Характеристики модели

Технические параметры

Разработчик: Shanghai AI Lab
Год выпуска: 2024
Параметры: 8B
Архитектура: Transformer
Контекстное окно: 8,192 токенов
Лицензия: MIT

Применение

Visual question answering Image captioning OCR Document understanding

InternVL2 8B — компактная VLM от OpenGVLab / Shanghai AI Lab с сильным уклоном в OCR, таблицы и document understanding при умеренном размере (8B). На практике это часто «первая модель, которая читает скан как человек», не требуя гигантского кластера. MIT-лицензия упрощает внутренние и коммерческие пилоты.

Запуск на cloudcompute.ru

Шаг 1 — Арендуйте GPU

Ориентир — от ~16 ГБ VRAM в fp16; удобно RTX 4090 или RTX 3090 с запасом под vision-токены. Перейдите в каталог GPU.

Шаг 2 — Поднимите vLLM (OpenAI-compatible + multimodal)

docker run --gpus all --shm-size=8g -p 8000:8000 \
  vllm/vllm-openai:latest \
  --model OpenGVLab/InternVL2-8B \
  --trust-remote-code \
  --max-model-len 8192 \
  --limit-mm-per-prompt image=4

Флаги limit-mm-per-prompt и лимиты длины подберите под ваш сценарий (один скан vs несколько кропов).

Шаг 3 — Отправьте запрос с изображением

Используйте OpenAI-compatible /v1/chat/completions и положите картинку в messages[].content как image_url (HTTP URL или data:image/...;base64,...). Текстовый вопрос добавьте вторым элементом content с type: "text".

Оптимизация

Для PDF сначала рендерьте страницы в изображения разумного DPI — слишком большие тайлы бьют по VRAM сильнее, чем «ещё один слой» attention.
Если упираетесь в память, снизьте max-model-len, число изображений на промпт и разрешение входа.

InternVL2 8B