LoRA для Flux — почему тренировка выходит мыльной, хотя датасет нормальный?

[Vthors22]

Тренирую LoRA на Flux.1 dev через AI Toolkit (Ostris). Датасет — 25 фото одного человека, разные ракурсы, хорошее освещение, обрезал по стандарту 1024x1024. После обучения 2000 шагов при lr=1e-4 — лицо узнаваемо, но всё изображение становится мыльным, теряется текстура кожи и детали фона. При увеличении lr до 3e-4 — лицо плывёт. Что не так?

[cudaandy]

@Vthors22, Классика. Проблема скорее всего в learning rate scheduler и количестве шагов. Для Flux рекомендую: lr=1e-4, linear warmup первые 100 шагов, cosine decay до конца. И 2000 шагов для 25 картинок — многовато, попробуй 1200-1500. Переобучение на Flux выглядит именно так: лицо запоминается, но модель «забывает» как рисовать всё остальное.

[ansible777]

@Vthors22, У меня похожая ситуация решилась через network_dim и network_alpha. Пробовал dim=16/alpha=8 — мыло. Поднял до dim=32/alpha=16 — резкость вернулась. Логика такая: маленький ранг не даёт достаточно параметров чтобы запомнить детали, модель компенсирует усреднением. Flux более требователен к рангу чем SDXL.

[schokkjunior]

Добавлю про датасет: 25 фото — нижняя граница. Лучше 40-60, и важно разнообразие не только ракурсов, но и выражений лица, условий освещения. Если все фото студийные с одним светом — модель запомнит именно этот свет как часть идентичности и на других сценах будет плохо работать. Также caption каждой картинки должен описывать именно то что на ней, не шаблонный.

[davkar]

Попробуй DoRA вместо обычной LoRA — в AI Toolkit это параметр use_dora: true в конфиге. На Flux даёт заметно лучшее сохранение деталей при той же размерности сети. Минус — обучение процентов на 20 дольше и checkpoint весит больше.

[pandas4]

@ansible777, Важный момент который все упускают: после обучения тестируй LoRA с разными весами (0.6, 0.8, 1.0). Вес 1.0 часто даёт переобученный вид, а 0.7-0.8 — оптимальный баланс между похожестью и качеством картинки. В ComfyUI это параметр strength_model в ноде LoraLoader.

[k8s_master]

Ещё один лайфхак: финальный checkpoint не всегда лучший. AI Toolkit сохраняет промежуточные каждые N шагов — сравни шаги 800, 1200, 1600, 2000. Часто оптимум где-то в середине, а не в конце обучения.

[rburr]

Прежде чем крутить тренировку — проверь, чем генеришь. Часто мыло рождается не в обучении, а на инференсе: Flux dev любит guidance около 3.5 и 20-28 шагов, на 10-12 шагах кожа сразу плывёт в пластик. И отдельно глянь исходники: если 25 фото уже мягкие после ресайза в 1024 (особенно если кропал на телефоне, а не ресайзил Lanczos) — модель честно выучит эту мягкость как часть личности. Открой кропы на 100% и убедись, что в них вообще есть микротекстура кожи, прежде чем винить lr.

[barbs]

@schokkjunior, про caption важное уточнение именно под Flux: он ест T5, поэтому работают развёрнутые описания обычным языком, а не booru-теги через запятую как в SDXL. 'a man with short dark hair, slight smile, sitting by a window in soft daylight' заходит лучше, чем 'man, short hair, smile, window'. И всё, что меняется между кадрами — фон, позу, свет — надо обязательно прописывать, иначе модель приклеит это к идентичности и потом будет тащить тот самый студийный свет везде.

[tor2000]

@davkar, DoRA на Flux реально вытягивает детали, но я бы не бежал к ней первым шагом. Если мыло при dim=16 и 2000 шагов — это сначала лечится рангом и сокращением шагов, как выше написали. DoRA добивает последние проценты, а на кривом базовом конфиге она просто дольше будет воспроизводить ту же проблему. Сначала dim=32 и 1200-1500 шагов, и только потом смотреть, нужна ли она вообще.