Oobabooga Text Gen

Для кого

Энтузиасты и исследователи, которым нужен гибкий интерфейс для экспериментов с различными LLM и бэкендами загрузки.

Что внутри

• Oobabooga text-generation-webui — веб-интерфейс с чатом, ноутбуком и playground-режимами
• Поддержка множества бэкендов: transformers, GPTQ, AWQ, ExLlamaV2, llama.cpp
• API-эндпоинт для интеграции

Как начать

1. Запустите инстанс с этим шаблоном
2. Откройте UI на порту 7860
3. Загрузите модель через интерфейс или скачайте вручную

Рекомендации по GPU

• 8–12 ГБ VRAM — квантизованные модели 7B
• 24 ГБ VRAM — модели до 34B
• 40+ ГБ VRAM — 70B модели