LoRA для Flux — почему тренировка выходит мыльной, хотя датасет нормальный?

[omegadata7864]

Тренирую LoRA на Flux.1 dev через AI Toolkit (Ostris). Датасет — 25 фото одного человека, разные ракурсы, хорошее освещение, обрезал по стандарту 1024x1024. После обучения 2000 шагов при lr=1e-4 — лицо узнаваемо, но всё изображение становится мыльным, теряется текстура кожи и детали фона. При увеличении lr до 3e-4 — лицо плывёт. Что не так?

[neonapi460]

@perf_freak, Классика. Проблема скорее всего в learning rate scheduler и количестве шагов. Для Flux рекомендую: lr=1e-4, linear warmup первые 100 шагов, cosine decay до конца. И 2000 шагов для 25 картинок — многовато, попробуй 1200-1500. Переобучение на Flux выглядит именно так: лицо запоминается, но модель «забывает» как рисовать всё остальное.

[nikita_vector]

@perf_freak, У меня похожая ситуация решилась через network_dim и network_alpha. Пробовал dim=16/alpha=8 — мыло. Поднял до dim=32/alpha=16 — резкость вернулась. Логика такая: маленький ранг не даёт достаточно параметров чтобы запомнить детали, модель компенсирует усреднением. Flux более требователен к рангу чем SDXL.

[vera_neon]

Добавлю про датасет: 25 фото — нижняя граница. Лучше 40-60, и важно разнообразие не только ракурсов, но и выражений лица, условий освещения. Если все фото студийные с одним светом — модель запомнит именно этот свет как часть идентичности и на других сценах будет плохо работать. Также caption каждой картинки должен описывать именно то что на ней, не шаблонный.

[svetlana_js]

Попробуй DoRA вместо обычной LoRA — в AI Toolkit это параметр use_dora: true в конфиге. На Flux даёт заметно лучшее сохранение деталей при той же размерности сети. Минус — обучение процентов на 20 дольше и checkpoint весит больше.

[roman2149]

@perf_freak, Важный момент который все упускают: после обучения тестируй LoRA с разными весами (0.6, 0.8, 1.0). Вес 1.0 часто даёт переобученный вид, а 0.7-0.8 — оптимальный баланс между похожестью и качеством картинки. В ComfyUI это параметр strength_model в ноде LoraLoader.

[ksenia1921]

Ещё один лайфхак: финальный checkpoint не всегда лучший. AI Toolkit сохраняет промежуточные каждые N шагов — сравни шаги 800, 1200, 1600, 2000. Часто оптимум где-то в середине, а не в конце обучения.