LLM

Что такое LLM

LLM (Large Language Model, большая языковая модель) — нейросеть на архитектуре трансформера, обученная на больших корпусах текста предсказывать следующий токен. Из этой единственной задачи вырастает способность отвечать на вопросы, писать код, переводить и рассуждать: чтобы хорошо предсказывать продолжение текста, модель вынуждена усвоить синтаксис, факты и связи между понятиями.

«Большая» здесь означает число параметров — от единиц миллиардов до сотен миллиардов. Именно масштаб отделяет LLM от прежних языковых моделей: качество растёт с числом параметров и объёмом обучающих данных.

Как работает LLM

Модель не «понимает» текст целиком — она работает пошагово, по одному токену:

Промпт: "Столица Франции —"
    ↓
Токенизация → [12, 3405, 89, 1122]
    ↓
Прямой проход через N слоёв трансформера
    ↓
Logits: распределение вероятностей по словарю
    ↓
Сэмплирование → токен "Париж"
    ↓
Токен дописывается к контексту, шаг повторяется

Такая генерация называется авторегрессионной. Отсюда два следствия, важных на практике: ответ появляется постепенно (поэтому возможен streaming), а стоимость растёт с длиной ответа — каждый новый токен требует отдельного прохода.

Размеры моделей и требования к GPU

Ключевой ресурс — VRAM. Грубая оценка: в FP16 модель занимает примерно 2 ГБ на каждый миллиард параметров, плюс запас на KV-кеш.

Квантизация снижает требования в 3–4 раза ценой небольшой потери качества и часто решает вопрос запуска модели на одной карте.

Открытые и проприетарные модели

Открытые весы (Llama, Qwen, Mistral, DeepSeek): можно скачать и запустить на своём железе. Данные не покидают контур, стоимость предсказуема, модель дообучаема под домен.

Проприетарные API (GPT, Claude, Gemini): доступ только через API. Не требуют GPU и обслуживания, но каждый запрос уходит внешнему провайдеру.

Собственный инференс обычно выбирают из-за требований к данным, объёма нагрузки или необходимости fine-tuning.

Как запускают LLM

• Ollama — простой локальный запуск, подходит для разработки и прототипов
• vLLM — production-сервинг с continuous batching и высокой пропускной способностью
• llama.cpp — GGUF-модели, работает в том числе на CPU

Ограничения

• Галлюцинации: модель предсказывает правдоподобное продолжение, а не проверяет факты. Требует проверки там, где важна точность.
• Контекстное окно: за пределами лимита токенов модель не «видит» текст.
• Знания на момент обучения: свежие факты подтягивают через RAG или поиск.

Связанные термины

• трансформер — архитектура, лежащая в основе LLM
• токен — единица, которой оперирует модель
• параметр модели — то, что измеряется в «7B» и «70B»
• инференс — запуск обученной модели
• квантизация — сжатие модели под доступную VRAM
• fine-tuning — дообучение LLM под свою задачу