Персональный AI-чат на облачном GPU с Open WebUI
Выберите Llama 3.1, Qwen2.5 или Mistral, запустите Open WebUI с Ollama и настройте собственную сессию с моделью.
- Open WebUI + Ollama
- Llama / Qwen / Mistral
- Выбор модели до запуска
Веб-чат на арендованном GPU
Приложение устанавливает Open WebUI с Ollama и скачивает выбранную при запуске модель. Текущие публичные пресеты: Llama 3.1 8B, Qwen2.5 7B и Mistral 7B. Выберите модель, проверьте совместимое предложение и следите за установкой в кабинете.
Open WebUI отвечает за интерфейс и историю, Ollama — за модель. Время установки и скорость ответа зависят от сервера, скачивания, модели и контекста; фиксированного обещания здесь нет.
Доступ и первая учётная запись
Рассматриваемый runtime использует HTTP на порту 7500. Перед вводом пароля или личного текста настройте доступ по SSH. Автоматический HTTPS-туннель в этот пресет не входит. Туннель защищает данное соединение; отдельно проверьте доступность публичных портов.
В новой установке Open WebUI первый зарегистрированный пользователь становится администратором. Это отдельный аккаунт, не учётная запись сайта аренды. Используйте уникальный пароль и проверьте доступ/регистрацию до передачи адреса другим людям.
Подберите интерфейс под задачу
| Задача | С чего начать |
|---|---|
| Обычные вопросы, черновики и редактирование | Запустите это приложение и проверьте короткий диалог |
| Интерфейс и история на своём компьютере | Ручная установка Open WebUI |
| Персонажи и lorebook | Установка SillyTavern и подключение Ollama |
| Другая модель через API | Подключение vLLM |
Различия разобраны в Open WebUI или SillyTavern. SillyTavern — отдельно устанавливаемый клиент; для его выбора не нужно новое управляемое приложение в кабинете.
Качество моделей, документы и данные
Выбор модели и бюджет контекста помогают проверить реальную задачу. Минимум 12 GB в форме запуска не гарантирует работу крупных моделей, длинного контекста и параллельных запросов. Большее число параметров не обязательно даёт лучший результат для вашего языка и сценария.
Работа с документами требует отдельных проверок извлечения и поиска. Начните с небольшого файла, проверьте ответ по источнику и изучите настроенные embeddings/внешние API до загрузки личных материалов. Фиксированное число документов и хранение всех подключённых сервисов только на инстансе здесь не обещаются.
История размещённого таким образом интерфейса находится на инстансе. Экспортируйте её и создайте независимую резервную копию до удаления или замены сервера. Обработка данных зависит от аренды, настроек клиента, доступа к серверу, внешних сервисов и ваших копий.
Учитывайте всю сессию
Проверьте текущее предложение и включите в бюджет установку, скачивание и простой. Закрытие браузера или остановка модели не завершают аренду. Используйте управление инстансом и проверьте итоговое состояние; сохранённое хранилище оплачивается по условиям предложения. См. планирование расходов.
Далее — первая сессия, все руководства по персональному чату и диагностика.