LoRA (image gen)

Что такое LoRA в генерации изображений

LoRA (Low-Rank Adaptation) в контексте генерации изображений — небольшой (~50–200 МБ) адаптер, встраиваемый в веса UNet (и иногда CLIP) Stable Diffusion. В отличие от LLM-LoRA, image LoRA обучается на наборе изображений и кодирует визуальный стиль, конкретного персонажа, объект, концепцию или позу.

LoRA накладываются поверх базовой модели: можно комбинировать несколько LoRA с разными весами.

Типы LoRA для изображений

Использование в ComfyUI / A1111

ComfyUI: нода Load LoRA + Apply LoRA, вес (strength) регулируется.

A1111: в промпте вставить <lora:имя_файла:0.8> (вес 0–1.5).

# Скачать LoRA с CivitAI (popular resource)
# Разместить в models/Lora/my_lora.safetensors

# A1111 промпт с LoRA
"beautiful portrait, <lora:face_enhancement:0.7>, <lora:anime_style:0.5>"

Обучение собственной LoRA

# kohya_ss (популярный инструмент обучения LoRA)
git clone https://github.com/kohya-ss/sd-scripts
pip install -r requirements.txt

python train_network.py \
  --pretrained_model_name_or_path="stabilityai/stable-diffusion-xl-base-1.0" \
  --dataset_config=dataset_config.toml \
  --output_dir="./lora_output" \
  --network_module=networks.lora \
  --network_dim=64 \          # LoRA rank
  --network_alpha=32 \
  --learning_rate=1e-4 \
  --max_train_steps=1000

Связанные термины

• Stable Diffusion — базовая модель
• UNet — где встраивается LoRA
• ComfyUI — node-based применение LoRA
• AUTOMATIC1111 — синтаксис <lora:name:weight>