Локальная нейросеть без цензуры: Ollama, GGUF и GPU

Локальная нейросеть без цензуры — это модель с меньшим числом встроенных отказов, которую пользователь запускает на собственном компьютере или на выделенной арендуемой GPU. В отличие от обычного hosted-чата, вы выбираете конкретные веса, версию, движок инференса и правила логирования.

«Локальная» не всегда означает «на ноутбуке под столом». Модель может работать:

• на домашнем ПК;
• на рабочей станции;
• на сервере в офисе;
• на выделенной облачной GPU;
• в контейнере с доступом только для вашей команды.

Главное отличие — вы управляете развёртыванием. Это даёт больше контроля, но добавляет настройку, хранение весов, обновления и требования к видеопамяти.

Посмотреть модели без лишних отказов
Запустить GPU-инстанс

Когда локальный запуск оправдан

Самостоятельное развёртывание имеет смысл, если нужно хотя бы одно из следующего:

• фиксировать точную версию модели;
• использовать собственный fine-tune или LoRA;
• хранить логи и историю в собственной инфраструктуре;
• исключить передачу запросов стороннему API;
• работать без зависимости от доступности конкретного hosted-провайдера;
• обрабатывать большой постоянный поток;
• подключить модель к закрытой сети или внутреннему интерфейсу;
• настраивать движок, квантование и контекст под свою нагрузку.

Для нескольких запросов в день это обычно избыточно. Сначала рациональнее проверить модели через онлайн-чат или API и только затем разворачивать победителя.

Что нужно выбрать

Локальный стек состоит не из одного продукта.

1. Модель

Нужны веса, лицензия, подходящий размер и корректный chat template. Ярлык uncensored сам по себе не гарантирует хорошее качество.

2. Формат весов

Наиболее распространённые варианты:

• оригинальные веса в форматах экосистемы Transformers;
• квантованные веса;
• GGUF для llama.cpp и многих локальных инструментов;
• отдельные форматы AWQ или GPTQ для GPU-инференса;
• адаптер LoRA поверх базовой модели.

3. Движок инференса

Он загружает модель и генерирует ответ.

4. Интерфейс

Это может быть командная строка, API, Open WebUI, собственный чат или приложение.

5. Железо

Нужно оценить VRAM, RAM, диск, скорость GPU и желаемый контекст.

Ollama, llama.cpp, vLLM и Open WebUI

Ollama — простой старт

Ollama удобна для загрузки и запуска моделей через CLI и локальный API. Она подходит для персонального использования, прототипов и сценариев, где важнее простота, чем максимальная пропускная способность.

Ollama поддерживает ускорение на разных аппаратных платформах, но реальная совместимость зависит от GPU, ОС и драйверов. Перед запуском на собственном компьютере нужно проверить текущий список поддерживаемого оборудования.

Подходит для:

• первого локального запуска;
• одного или нескольких пользователей;
• тестирования GGUF-моделей;
• подключения простого интерфейса;
• разработки приложения против локального endpoint.

llama.cpp — контроль и GGUF

llama.cpp — компактный движок для GGUF-моделей. Он умеет работать с CPU, различными GPU-бэкендами и частичной выгрузкой слоёв. Встроенный llama-server предоставляет OpenAI-совместимые endpoints, включая chat completions.

Подходит для:

• квантованных моделей;
• ограниченной VRAM;
• edge- и desktop-сценариев;
• точного контроля параметров;
• простого собственного API.

vLLM — серверный GPU-инференс

vLLM рассчитан на высокопроизводительный serving и одновременные запросы. Его архитектура оптимизирует работу с KV cache и batching, а сервер предоставляет OpenAI-совместимый API.

Подходит для:

• нескольких пользователей;
• production API;
• высокой пропускной способности;
• моделей в GPU-ориентированных форматах;
• multi-GPU при поддерживаемой конфигурации.

Для одного пользователя vLLM может быть сложнее, чем нужно.

Open WebUI — интерфейс, а не движок

Open WebUI предоставляет браузерный чат и подключается к Ollama, OpenAI-совместимым провайдерам, llama.cpp, vLLM и другим backend-системам.

Она не заменяет модельный сервер. Типичная схема:

Пользователь → Open WebUI → Ollama / llama.cpp / vLLM → модель

Open WebUI полезна для истории диалогов, управления пользователями, нескольких моделей и привычного интерфейса.

GGUF и квантование

Полноточные веса крупных моделей требуют много памяти. Квантование уменьшает размер весов, представляя параметры меньшим числом бит.

Упрощённо:

• более высокая точность обычно требует больше памяти;
• агрессивное квантование уменьшает размер и иногда ускоряет запуск;
• слишком сильное квантование может ухудшить качество;
• итог зависит от архитектуры, конкретного quant и задачи.

GGUF объединяет веса и метаданные в формате, используемом llama.cpp и совместимыми инструментами. Часто встречаются варианты вроде Q4, Q5 или Q8, но одинаковое обозначение не гарантирует одинаковый эффект для всех моделей.

Для первого теста разумно взять популярный, хорошо проверенный quant среднего уровня, а затем сравнить его с более точным вариантом на собственных промптах.

Сколько нужно VRAM

Нельзя надёжно определить требования только по числу параметров. На память влияют:

• формат и точность весов;
• длина контекста;
• KV cache;
• количество одновременных запросов;
• batching;
• дополнительные адаптеры;
• особенности движка;
• часть модели, выгруженная в RAM;
• мультимодальные компоненты.

Базовая оценка начинается с размера файла модели, но нужен запас для контекста и работы движка.

Практические ориентиры

Это не спецификация для конкретной модели. Перед арендой нужно посмотреть точный размер весов и конфигурацию запуска.

Сравнить доступные GPU
Открыть цены GPU

Частичная выгрузка в RAM

Некоторые движки могут держать часть слоёв в системной памяти. Это позволяет запустить модель, которая полностью не помещается в VRAM, но обычно снижает скорость.

Такой режим полезен для теста, но не всегда подходит для интерактивного чата или нескольких пользователей. Узкое место может переместиться с GPU на пропускную способность памяти и обмен между CPU и видеокартой.

Как выбрать модель

Универсальный помощник

Начните с Dolphin Mistral 24B Venice Edition, если доступна подходящая версия весов и лицензия соответствует задаче.

Творческий текст

Сравните Cydonia 24B v4.1 и Skyfall 36B v2. Не выбирайте модель только по описанию: прогоните одинаковые русские тексты.

Длинные диалоги

Модели уровня Magnum или Euryale могут дать более сложный результат, но 70B-класс заметно повышает требования к инфраструктуре.

Ограниченная GPU

Ищите меньшую модель или качественный GGUF-quant. Старая 13B-модель иногда быстрее, но может уступать современной 7B–12B по качеству.

Минимальная схема запуска

Для личного использования

Ollama → модель → локальный клиент

или:

Open WebUI → Ollama → модель

Для собственного API

Приложение → llama-server / vLLM → модель

Для команды

Пользователи → Open WebUI или внутренний frontend
             → защищённый inference endpoint
             → модель

В командной схеме дополнительно нужны авторизация, TLS, сетевые правила, лимиты и мониторинг.

Приватность: что нужно проверить

Self-hosting уменьшает число внешних сторон, но не делает систему приватной автоматически.

Проверьте:

• сохраняет ли интерфейс историю;
• куда пишутся серверные логи;
• есть ли telemetry;
• кто имеет SSH-доступ;
• открыт ли endpoint в интернет;
• зашифрованы ли диски и резервные копии;
• удаляются ли временные файлы;
• передаёт ли приложение данные другим сервисам;
• ограничены ли инструменты и доступ модели к файлам.

Если Open WebUI или endpoint доступен извне, используйте нормальную авторизацию и обратный proxy. Не публикуйте порт инференса без защиты.

Hosted API или своя GPU: как решить

Стоимость своей GPU складывается не только из аренды. Учитывайте простой, загрузку весов, хранение, настройку и время обслуживания.

Пошаговый план

1. Соберите 10–20 реальных промптов.
2. Сравните hosted-версии моделей.
3. Выберите одну модель и подходящий размер.
4. Проверьте лицензию и доступные веса.
5. Выберите движок:
   • Ollama для простоты;
   • llama.cpp для GGUF и компактного endpoint;
   • vLLM для серверной нагрузки.
6. Оцените VRAM с запасом под контекст.
7. Запустите закрытый тест.
8. Проверьте логи, доступ и восстановление.
9. Измерьте скорость и стоимость.
10. Только после этого переносите рабочую нагрузку.

Частые вопросы

Можно ли запустить нейросеть без цензуры на обычном компьютере?

Небольшие и квантованные модели — да, если хватает RAM или VRAM. Скорость и доступный контекст будут зависеть от железа.

Ollama снимает цензуру с модели?

Нет. Ollama запускает выбранные веса. Поведение определяется самой моделью и системным промптом.

Open WebUI — это модель?

Нет. Это интерфейс, который подключается к модельному backend.

Обязательно ли использовать NVIDIA?

Нет, но поддержка и производительность зависят от движка, ОС и конкретной GPU. Перед выбором проверяйте текущую документацию.

Что лучше: GGUF или vLLM?

GGUF с llama.cpp удобен для quant-моделей, ограниченного железа и локальных сценариев. vLLM чаще выбирают для высокопроизводительного GPU-serving и нескольких запросов.

Нужен ли интернет после загрузки модели?

Для полностью локального стека генерация может работать без внешнего API. Интернет может понадобиться для загрузки весов, обновлений или внешних функций приложения.

Следующий шаг

Сначала выберите модель через чат CloudCompute. Затем разверните её на GPU с помощью готового шаблона.

Открыть Ollama
Открыть Open WebUI
Открыть llama.cpp
Открыть vLLM
Выбрать GPU