LoRA для генерации изображений

LoRA добавляет обучаемые низкоранговые адаптеры к выбранным частям модели, сохраняя базовые веса замороженными. Готовый адаптер используется вместе с совместимой базой. Размер файла зависит от rank, выбранных слоёв и точности сохранения; универсального диапазона нет.

Обучение и применение — разные задачи

Для обучения нужны изображения, подписи, оптимизатор и trainer для конкретной модели. Чтобы подключить готовую LoRA в ComfyUI, достаточно совместимой базы, адаптера и workflow. Подключение не запускает повторное обучение.

Весь процесс собран в кластере обучения image LoRA. Рецепт SDXL использует sdxl_train_network.py, а FLUX.1 dev — flux_train_network.py. Общий train_network.py для ранних Stable Diffusion не является командой обучения SDXL.

Сначала проверьте совместимость

Переименование файла не превращает SDXL-адаптер в FLUX-адаптер. Даже модели одного семейства могут давать разный результат с одной LoRA. Сохраняйте точную базу обучения, версию trainer и workflow для генерации.

При обучении только U-Net в SDXL готовый пример ComfyUI задаёт силу влияния на модель, оставляя влияние на текстовый энкодер нулевым. Trigger word в промпте помогает обозначить объект, но не загружает файл адаптера.

Rank — один из параметров эксперимента

Rank влияет на ёмкость адаптера и число обучаемых параметров. Его увеличение не гарантирует лучшего сходства или более чистого стиля. Важны также разнообразие данных, подписи, learning rate и длительность обучения. Сравнивайте чекпоинты на фиксированных промптах и seed, включая запросы без триггера.

Для текстовых моделей есть LoRA/QLoRA для LLM. Также: Stable Diffusion, ComfyUI, настройки обучения.