Чат-бот в один клик: Open WebUI + Ollama

В каталоге приложений появилась новая запускалка — «Свой чат-бот с open-source LLM». По кнопке «Запустить» мы поднимаем на арендованной видеокарте Open WebUI (тот самый ChatGPT-подобный веб-чат) поверх Ollama, заранее докачиваем выбранную модель, и через 10–15 минут вы попадаете в готовый чат.

Что это даёт

• Приватность. Переписка живёт на вашем инстансе, в OpenAI / Anthropic / Google ничего не уходит. После удаления инстанса диск вайпается.
• Оплата по часам. RTX 3090 — около 30 ₽/час, RTX 4090 — около 35 ₽/час. Использовали час и закрыли — счётчик встал. Никакой подписки.
• Проверенные модели на старте. В мастере запуска доступны Llama 3.1 8B, Qwen2.5 7B и Mistral 7B. После запуска через админку Open WebUI можно подгрузить Llama 3.3 70B, Qwen 2.5, DeepSeek-R1, Mistral Small, Gemma 2 и десятки других. Для 70B-классов берите A6000 или A100.
• Документы и RAG из коробки. Загрузили PDF — спросили по содержимому. Документы остаются на вашем инстансе.
• OpenAI-совместимый API на том же инстансе. Подключайте Continue.dev, Cline, Aider, свои скрипты — приватный LLM-эндпоинт с почасовой оплатой.

Зачем

ChatGPT работает хорошо, но не для всех сценариев. Юристам, врачам и инженерам под NDA нельзя отправлять данные в чужое облако. Разработчикам хочется приватный LLM-эндпоинт для своих инструментов без подписки на API. Любителям open-source интересно покрутить DeepSeek-R1 или Qwen 32B — а для этого нужен GPU от 24 ГБ, которого нет под рукой.

Это приложение закрывает все три кейса одной кнопкой: 10–15 минут на запуск, и у вас собственный приватный чат-бот, к которому можно подключиться как через веб, так и через API.

Подробности

• Сервисная страница:/applications/chatbot — что это, зачем, чем отличается от ChatGPT, сравнение, FAQ.
• Туториал:/tutorials/chatbot — пошаговая инструкция, как нажимать кнопки, какие модели выбирать под русский/код/длинный контекст.
• GitHub: cloudcompute-ru/open-webui — provision.sh и манифест, которые исполняются на инстансе при запуске. Лицензия MIT.