Какой GPU нужен для LoRA и сколько стоит обучение

Подбирайте GPU под полную конфигурацию обучения, а не размер готового адаптера. Небольшая LoRA может требовать много памяти: в процессе участвуют базовая модель, активации, текстовые энкодеры и оптимизатор.

Примеры SDXL и FLUX.1 dev дают конфигурацию для проверки. Они не устанавливают измеренный минимум VRAM.

Что сравнивать в предложениях

Для SDXLодна GPU с 24 ГБ — разумный кандидат для проверки этого рецепта с batch 1. Для FLUX.1 dev рассмотрите и более ёмкие карты, если хотите меньше CPU swapping. Это отправные точки выбора, а не подтверждённые гарантии вместимости. Небольшая карта может заработать после изменения настроек, а сервер с недостаточной RAM — не справиться даже при большом запасе VRAM.

Сравните RTX 3090, RTX 4090, RTX 5090, A100 и актуальные предложения. Уточните вариант GPU и объём памяти. Две карты не объединяют память автоматически для этого однопроцессного рецепта: подробнее о multi-GPU.

Найдите этап, на котором не хватает памяти

При сбое загрузки сначала проверьте точность модели и RAM хоста, а затем batch. При сбое первого шага вероятнее влияют разрешение, микробатч и активации. При ошибке сохранения проверьте диск и права записи. Генерация примеров во время обучения может добавить отдельный пик памяти; здесь оценка выполняется отдельно.

В готовых настройках используются batch 1, замороженные текстовые энкодеры, кэширование и gradient checkpointing. У FLUX дополнительно включены FP8 и перенос 18 блоков. Больше swapping может снизить расход VRAM, но увеличить время шага. Это измеряемый компромисс, а не бесплатная дополнительная память.

Оцените сеанс и проверьте измерением

Нужно время обновления оптимизатора после прогрева, включая gradient accumulation. Если лог показывает итерации в секунду, сначала переведите их в секунды на обновление. Не умножайте длительность микробатча на число шагов оптимизатора.

session_hours ≈ (setup_seconds + cache_seconds + optimizer_steps × seconds_per_update
                 + checkpoint_seconds + evaluation_seconds + idle_seconds) / 3600
compute_cost ≈ session_hours × selected_hourly_rate

Добавьте хранение, передачу и другие оплачиваемые позиции, если они есть в выбранном предложении. Десятиминутная проверка не даёт точного прогноза на несколько часов, когда загрузка, кэширование и сохранение работают иначе.

Пример сравнения, а не тариф

Предположим, два условных предложения выполняют одинаковую конфигурацию:

Все числа условные. Пример показывает, почему быстрая GPU заканчивает раньше, но может стоить чуть дороже, и почему одной почасовой ставки недостаточно. Это не benchmark и не тариф CloudCompute.

Считайте несколько попыток отдельно: три эксперимента с установкой окружения заново могут стоить больше трёх циклов в подготовленной среде. Учитывайте и ручную оценку: сравнивайте стоимость принятого результата, а не просто сохранённого адаптера.

Запишите параметры эксперимента

Сохраните предложение, GPU, драйвер, версию trainer, контрольные суммы базы, версию датасета, разрешение, rank, точность и swapping. Измерьте подготовку, установившееся время обновления, пик памяти и сохранение. Остановитесь после smoke test, если оставшаяся работа выходит за бюджет; позднее уменьшение max_train_steps не вернёт уже оплаченное время.

Скачайте адаптер и резервные копии перед завершением инстанса. Остановка обучения сама по себе не завершает аренду. Используйте актуальные цены, калькулятор и общую методику расчёта аренды. Все руководства по LoRA.

Источник: управление памятью FLUX.