Open WebUI + Ollama

Для кого

Пользователи, которые хотят ChatGPT-подобный интерфейс с локальными моделями — для приватности, тестирования или демонстраций.

Что внутри

• Open WebUI — веб-интерфейс с историей чатов, мультимодальностью и загрузкой документов
• Ollama — управление и запуск моделей одной командой (ollama run llama3)
• Поддержка моделей из библиотеки Ollama: Llama 3, Mistral, Phi, Gemma и др.

Как начать

1. Запустите инстанс с этим шаблоном
2. Откройте веб-интерфейс в браузере
3. Скачайте модель: ollama pull llama3 — и начните диалог

Рекомендации по GPU

• 8–12 ГБ VRAM — модели 7B–8B
• 24 ГБ VRAM — модели до 34B, несколько моделей