Обучение LoRA для изображений на GPU: SDXL и FLUX.1
LoRA для изображений помогает научить совместимую модель определённому объекту или визуальному стилю. Базовая модель остаётся, а обучение меняет небольшой адаптер, который затем подключается при генерации. Аренда GPU даёт вычислительные ресурсы; датасет, параметры и удачный чекпоинт выбираете вы.
Здесь собран весь процесс. Для первого эксперимента возьмите один объект или один стиль, оставьте несколько изображений для проверки и оценивайте результат в сценах, которых не было в обучении.
Выберите маршрут
| Задача | Руководство | Что понадобится |
|---|---|---|
| Разобраться с обучением на SDXL | Пошаговое обучение SDXL LoRA | SDXL base 1.0, адаптер только для U-Net, готовые TOML-конфиги |
| Дообучить FLUX.1 dev | Обучение FLUX.1 LoRA | Отдельные transformer, два текстовых энкодера и AE; свои параметры |
| Подготовить исходные данные | Датасет и подписи | Разнообразие кадров, пары файлов, trigger word и отложенные примеры |
| Понять параметры | Настройки обучения | Rank, learning rate, шаги, кэширование и продолжение обучения |
| Подобрать GPU и бюджет | GPU и стоимость | VRAM, RAM сервера, диск и стоимость реального запуска |
| Выбрать лучший адаптер | Оценка результата | Фиксированные промпты и seed, сравнение чекпоинтов, критерии отбора |
| Генерировать с готовой LoRA | LoRA в ComfyUI | Совместимая база, подключение узлов и готовый SDXL workflow |
| Разобрать неудачный запуск | Устранение ошибок | OOM, подписи, NaN loss, кэш и совместимость |
Рецепты SDXL и FLUX независимы. Замена имени файла не превращает один в другой. SDXL LoRA не подходит к FLUX, а существующий пресет FLUX schnell не является средой обучения FLUX.1 dev из этого руководства.
Нужно ли вообще обучение
Сначала проверьте базовую модель с несколькими промптами и seed. Если стиль или объект уже получаются, возможно, достаточно сохранить промпт и workflow. Для одной композиции бывает удобнее img2img или inpainting, для контуров и расположения объектов — ControlNet.
LoRA полезна, когда один объект или стиль должен повторяться в разных сценах. Она не гарантирует точные надписи, размеры товара, идентичность или соответствие брендбуку. Проверяйте итоговые изображения перед публикацией в карточках товаров.
Первый эксперимент по шагам
- Выберите базовую модель и сохраните результат генерации без адаптера.
- Соберите небольшой разнообразный датасет. Несколько отличающихся референсов оставьте вне папки обучения.
- Опишите в подписях то, что меняется между кадрами. Имя объекта должно быть единообразным.
- Выберите GPU с SSH-доступом в каталоге предложений. Проверьте характеристики всего сервера, а не только видеокарту.
- Установите trainer в отдельное Python-окружение. Проверьте датасет, затем выполните короткий пробный запуск в отдельную папку результатов.
- Переходите к длинному обучению, когда кэширование, шаг оптимизатора и сохранение чекпоинта работают. Сравнивайте промежуточные адаптеры на одной проверочной сетке.
- Скачайте выбранную LoRA, сведения о базовой модели, конфиги и результаты проверки. Завершите аренду после сохранения работы.
В конфигурациях задано 1 000 шагов оптимизатора с сохранением каждые 200. Это отправная точка для сравнения, а не обещание готовой модели к определённому шагу.
Что можно скачать и что проверено
В руководствах есть четыре TOML-файла, проверка датасета без изменения файлов, таблица оценки и SDXL workflow в форматах canvas / API. Манифест примеров содержит версии исходного кода и имена файлов моделей.
Ключи конфигов и структура датасета сверены с закреплённой версией trainer; граф ComfyUI — с определениями узлов. Обучение и генерация на GPU здесь не выполнялись. Память, длительность и качество нужно измерить на вашем датасете и сервере. Веса моделей и обучающие изображения в комплект не входят.
Не смешивайте LoRA для изображений и LLM
Для текстовых моделей есть руководство по LoRA/QLoRA для LLM, для Kandinsky — отдельный обзор обучения. Их инструкции нельзя напрямую подставить вместо рецептов выше.
Учитывайте условия доступа: у SDXL base 1.0 лицензия Open RAIL++, у FLUX.1 dev — собственная некоммерческая лицензия на модель и доступ после принятия условий. Разрешение использовать результат генерации и разрешение эксплуатировать или изменять модель — разные вопросы. Сохраните условия для конкретной базовой модели.
Готовы запустить?
Запустить GPU-сервер