Open WebUI на арендованном GPU: первый диалог и резервные копии

Выберите модель и запустите чат

Приложение с чат-ботом устанавливает Open WebUI и Ollama на арендованном GPU. Open WebUI — интерфейс в браузере, Ollama — сервер выбранной локальной модели. Текущие публичные пресеты: Llama 3.1 8B, Qwen2.5 7B и Mistral 7B. Это отдельная услуга, не managed inference API с оплатой за токены.

1. Откройте приложение и войдите в личный кабинет.
2. Выберите пресет модели; до подтверждения аренды проверьте GPU, память, диск и цену предложения.
3. Следите за установкой. Срок зависит от сервера, сети и скачивания модели; фиксированного времени до первого ответа нет.
4. Дождитесь готовности, затем проверьте параметры подключения и сообщения об ошибках.

Минимум памяти в форме запуска — фильтр выбора, а не гарантия работы любой модели, контекста и базы документов. Перед загрузкой более крупной модели используйте расчёт памяти.

Подключитесь к Open WebUI

Рассматриваемый runtime открывает Open WebUI на порту 7500 по HTTP. Автоматический HTTPS-туннель в этот пресет не входит. Перед вводом пароля или личного текста предпочтителен SSH-туннель. На своём компьютере замените заглушки данными SSH инстанса; при необходимости добавьте путь к ключу:

ssh -N -o ExitOnForwardFailure=yes -p SSH_PORT -L 127.0.0.1:7501:127.0.0.1:7500 SSH_USER@GPU_HOST

Оставьте терминал открытым и перейдите на http://127.0.0.1:7501. SSH защищает это проброшенное соединение, но сам по себе не отключает отдельный публичный порт инстанса. Проверьте настройки доступа и оставьте авторизацию приложения включённой.

В новой установке Open WebUI предлагает создать первую учётную запись. Первый пользователь становится администратором этого Open WebUI. Это отдельная учётная запись, не аккаунт сайта аренды. Используйте уникальный пароль, своевременно создайте администратора и проверьте регистрацию/доступ до передачи адреса другим людям. Публичный HTTP-адрес сам по себе не защищает пароль при передаче.

Проверьте один диалог

Выберите модель из запуска. Отправьте короткий несекретный запрос, например «Объясни память GPU двумя предложениями». Проверьте завершение ответа и следующий ход. Первый запрос после загрузки может быть медленнее остальных. Сохраните эту рабочую конфигурацию до включения документов и дополнительных подключений.

Если список пуст, проверьте результат установки и подключение Ollama в административных настройках Open WebUI. Через SSH команды ollama list и curl --fail-with-body http://127.0.0.1:11434/api/tags проверяют backend отдельно. Не создавайте новые аренды подряд, не посмотрев состояние и ошибку уже запущенного инстанса.

Меняйте модели осознанно

Загрузите совместимую локальную модель через административные настройки либо ollama pull MODEL_ID по SSH, предварительно проверив диск и память. Названия пунктов зависят от установленной версии Open WebUI; runtime может устанавливать пакет без фиксированной версии, поэтому при диагностике записывайте фактическую.

Размер модели не определяет качество разговора. Используйте выбор модели для чата и настройку контекста. Облачные модели и подключения внешних провайдеров могут передавать промпты другим сервисам; проверьте backend, прежде чем считать все вычисления локальными для GPU.

Подключите другой клиент

Адрес браузерного интерфейса — не API Ollama. Для SillyTavern используйте Ollama через SSH: локальный 11435 пробрасывается на API 11434 удалённого сервера. У Open WebUI собственные API и правила авторизации. Для этого подключения используйте описанный endpoint Ollama; вход в браузерный интерфейс настраивается отдельно.

Для vLLM с endpoint и ключом есть отдельная инструкция API. Для разговоров с персонажами начните с раздела персонального чата и сравнения Open WebUI с SillyTavern.

Документы и данные

Open WebUI поддерживает работу с документами, но результат зависит от извлечения текста, разбиения, embeddings и модели. Начните с небольшого несекретного файла и проверяйте ответы по оригиналу. До загрузки личных данных проверьте внешние запросы настроенных embeddings, поиска и других сервисов. Эта инструкция не подтверждает вместимость определённого числа документов.

История размещённого таким образом интерфейса находится на арендованном инстансе. Экспортируйте нужные чаты и определите папку данных до удаления или замены сервера. Следуйте инструкции резервного копирования: файл на том же инстансе не является независимой копией.

Завершите сессию и проверьте начисления

Закрытие вкладки, SSH или процесса Ollama не освобождает аренду. Сохраните работу, используйте управление инстансом в кабинете и проверьте итоговое состояние. Время работы и сохранённое хранилище оплачиваются по условиям выбранного предложения. Смотрите актуальные предложения и расчёт расходов, а не фиксированную примерную ставку.

При ошибке сохраните HTTP-статус, ID модели, версию и текст без секретов. Диагностика разделяет проблемы доступа, модели и контекста. Пути runtime сверены с исходниками; платный запуск и реальный диалог для этой инструкции не выполнялись.