Как запустить свою LLM: модель, GPU, API и чат

Запустить свою LLM — значит загрузить веса модели в программу для инференса на компьютере или арендованном GPU-инстансе. Вы выбираете модель, длину контекста и способ подключения, а также отвечаете за процесс, файлы и доступ к серверу.

Для первого запуска удобно взять Ollama, одну квантованную модель и контекст 4 096 токенов. Сначала получите ответ на самом сервере. Затем подключите браузерный интерфейс или приложение. Менять движок имеет смысл под конкретное ограничение: нужный формат модели, параллельные запросы или возможности API.

С чего начать

Первый сеанс от начала до конца

1. Выберите одну instruction-модель. В примерах используется qwen2.5:7b-instruct-q4_K_M: это конкретная конфигурация для повторения, а не утверждение о лучшей или самой новой модели.
2. Оцените память с учётом контекста. На диске должны помещаться веса, программы и возможная повторная загрузка.
3. В каталоге GPU выберите окружение с SSH и доступом к NVIDIA GPU. Создайте инстанс и подключитесь командой из его карточки.
4. Проверьте nvidia-smi, установите движок и отправьте запрос на самом сервере.
5. Проверьте размещение модели: для Ollama это ollama ps. Сам факт получения ответа ещё не означает, что работает GPU.
6. Пробросьте локальный порт через SSH и подключите клиент.
7. Сохраните настройки запуска и идентификатор весов. Перед удалением инстанса скачайте нужные данные.

Арендованное GPU-окружение может само быть контейнером без systemd и без возможности запускать Docker внутри. Поэтому основная инструкция Ollama включает запуск обычного процесса. Compose — отдельный вариант для хоста, где Docker доступен.

Что измерить до выбора более дорогой видеокарты

Возьмите задачу с проверяемым результатом: русскоязычный ответ клиенту, извлечение дат из документа, краткое резюме или правку кода. Используйте один и тот же запрос и ограничение длины ответа. Запишите GPU, версию движка, digest модели, квантование и контекст.

Скрипт измерения Ollama выполняет прогрев и несколько последовательных запросов. Он отдельно показывает время загрузки модели, скорость генерации и полное время запроса. Это не тест параллельной нагрузки и не измерение времени до первого токена.

К инструкциям приложены скрипт запуска и Compose-файл. Это файлы для настройки вашего инстанса, а не услуга автоматического развёртывания.

Расходы на сеанс

Смотрите текущую стоимость вычислений и диска в тарифах GPU и выбранном предложении. Загрузка моделей и простой запущенного инстанса занимают оплачиваемое время. Остановка программы или закрытие SSH не останавливают инстанс: для этого используются его элементы управления. Подробности — в инструкции по остановке и удалению.

Для разового эксперимента сравнивайте весь расход за сеанс с полученным результатом. Для постоянно работающего API учитывайте часы простоя и реальную смесь запросов. Размер модели сам по себе не определяет окупаемость аренды.

После первого запуска

Сначала сохраните рабочую конфигурацию. Затем можно переходить к стримингу, нескольким моделям, наблюдаемости и расчёту стоимости инференса. Модели с меньшим числом отказов рассматриваются отдельно: нейросети без цензуры.

Персональный чат

Выбор интерфейса, подключение SillyTavern, модели, персонажи, контекст и резервные копии собраны в разделе персонального чата. Перед выбором клиента сравните Open WebUI и SillyTavern.

Используйте модель в автоматизации

Кластер n8n на VPS рассматривает сервер автоматизации отдельно от размещения модели. Инструкция inference-запроса содержит небольшой ручной workflow с хранением credentials, ограничением ответа и явными границами повторов.