Как оценить LoRA: чекпоинты, переобучение и тестовые промпты

Снижения training loss недостаточно, чтобы выбрать image LoRA. Нужен объект или стиль, который переносится на новые запросы, не копирует датасет и не ломает полезное поведение базы. Определите критерии пригодности до просмотра последнего чекпоинта.

Сделайте небольшую повторяемую проверку

Зафиксируйте базовый чекпоинт, разрешение, sampler, шаги и промпты. Используйте несколько seed вместо одного удачного изображения. Сохраните workflow и результаты, чтобы сравнить следующий адаптер в тех же условиях.

Таблица оценки содержит шесть промптов и три seed для условной кружки: 18 строк на сочетание чекпоинта и силы LoRA. Готовых оценок и сгенерированных результатов в ней нет. До обучения замените объект и сцены на свои, затем сохраните эту версию неизменной.

Проверочные референсы должны оставаться вне папки обучения. Они помогают оценивать детали; автоматической метрики на holdout в готовых конфигах нет.

Сравните с базовой моделью

Сначала сгенерируйте те же промпты с отключённой LoRA или нулевой силой влияния на модель. Затем сравните промежуточные адаптеры, например 200, 600 и 1 000 шагов, при одной силе. После выбора перспективного чекпоинта сравните значения силы вроде 0.5, 0.8 и 1.0.

Для 18 сочетаний промпт/seed база плюс три чекпоинта требуют 72 изображения. Все три силы для всех трёх чекпоинтов — уже 180 изображений вместе с базой. Учитывайте время оценки; не расширяйте сетку автоматически, если первое сравнение уже даёт ответ.

Для SDXL-адаптера только с U-Net оставьте CLIP strength нулевым. Используйте совместимый ComfyUI workflow. Подмена адаптера под тем же именем или смена базы нарушает контролируемое сравнение.

Оценивайте разные свойства отдельно

Последовательно используйте колонки 0–2:

• Объект/стиль: 0 — отсутствует или неверен; 1 — частично узнаваем; 2 — характерные детали убедительны.
• Следование промпту: 0 — сцена игнорируется; 1 — выполнена частично; 2 — важные требования соблюдены.
• Дефекты: 0 — существенных нет; 1 — можно исправить; 2 — брак. Здесь меньше — лучше.

В keep отмечайте пригодность для конкретной задачи. Эти субъективные баллы не являются научным benchmark. Отдельно записывайте требования к буквам, логотипу, геометрии и другим деталям, которые общий балл может скрыть.

Отличайте переобучение от других проблем

Повторение композиций датасета, один и тот же фон вопреки промпту и сужение разнообразия могут указывать на переобучение. Проверьте, сохраняют ли ранние адаптеры сходство при лучшем следовании запросам. Снижение силы при inference иногда помогает, но может лишь скрывать проблему данных.

Если эффекта нет, до повторного обучения проверьте загрузку адаптера, базу, написание триггера и силу влияния. Если сама база не справляется с композицией, не считайте, что LoRA обязательно её исправит. Если работает только один ракурс, проверьте наличие полезных примеров остальных ракурсов в датасете.

Низкий loss, большой файл и высокий rank не заменяют этих проверок. Руководство по ошибкам отделяет проблемы запуска от слабого обучения.

Сохраните выбранную модель вместе с результатами проверки

Скачайте адаптер, контрольную сумму базы, версию trainer, конфиги обучения и датасета, подписи, таблицу оценки и inference workflow. Запишите шаг обучения и силу, при которых получены принятые примеры. Помечайте отредактированные и отобранные демонстрационные изображения; для выбора модели полезнее видеть сетку вместе с неудачами.

Выбирайте ранний чекпоинт, который стабильно решает задачу, вместо позднего, выглядящего сильнее только на знакомых запросах. Если не подходит ни один, пересмотрите датасет или цель до следующего большого запуска. Настройки обучения · Все руководства.