LLM Gemma

Gemma 2 2B

2B параметров · Transformer · Контекст 8k · Google · 2024

Запустить на GPU HuggingFace →

VRAM по точности

Точность VRAM Качество Рекомендация
FP16 4 ГБ Максимальное Для продакшена
FP8 2 ГБ Отличное Оптимально
INT8 2 ГБ Хорошее
INT4/Q4 1 ГБ Приемлемое Для экспериментов

Совместимые GPU

GPU VRAM Поддерживает
Рек. NVIDIA RTX 4090
24 ГБ FP16, FP8, INT8, INT4 Арендовать
NVIDIA RTX 3090
24 ГБ FP16, FP8, INT8, INT4 Арендовать

Рекомендуемые фреймворки

Ollama llama.cpp vLLM

Быстрый старт

ollama 
ollama run gemma-2-2b

Характеристики модели

Технические параметры

Разработчик
Google
Год выпуска
2024
Параметры
2B
Архитектура
Transformer
Контекстное окно
8,192 токенов
Лицензия
Gemma

Применение

Chatbots Text summarization Edge inference Mobile applications

Gemma 2 2B — компактная модель Google с улучшенной архитектурой (sliding window attention, logit softcapping). При малом размере показывает конкурентные результаты.