LoRA на 15 фоток пережаривается — кручу dim/alpha, всё равно вылезает один и тот же кадр

[b1llyn0m]

Тренирую LoRA на персонажа, датасет 15 фото. Через 8-10 эпох уже узнаваемо, но на любом промте лезет один и тот же ракурс и фон из трейна. Поднимаю/опускаю вес — либо клон датасета, либо не похоже вообще. Где золотая середина?

[add007]

Классический оверфит на маленьком датасете. Первое: dim 128 для персонажа это перебор, бери dim 16 / alpha 8 или даже 8/4. Меньше параметров — меньше шансов вызубрить фон. Второе: учи меньше шагов, не до 'идеально', а до 'чуть-чуть не дотянул'.

[kube88]

Вот про капшены я и не подумал, у меня там тупо 'sks woman' на всех. То есть надо детально расписывать каждое фото включая 'red dress, kitchen background'?

[krayzie]

И сохраняй чекпоинты каждые 2 эпохи, потом сделай xyz-сетку по ним. Почти всегда лучший — не последний, а где-то посередине. Последний уже пережарен. У меня на портретах обычно эпоха 6 из 12 идеальная.

[k8s_master]

Перетренил с dim 16/alpha 8, расписал капшены, взял чекпоинт с эпохи 6 — небо и земля. Теперь меняется одежда и фон, а лицо держится. Фон из кухни больше не телепортируется в каждый кадр. Спасибо, тема закрыта.

[valru]

Проблема скорее всего в некачественном датасете, а не в dim/alpha. 15 фото — это нормально, но если они все сняты в одной локации, с похожим освещением и под близким углом — сеть заучит именно фон и ракурс, а не персонажа. Базовый чеклист перед тренировкой: разнообразие фонов (хотя бы 4-5 разных), вариации освещения (студийное/уличное/контровой свет), разные ракурсы (фронт, 3/4, профиль), несколько дистанций. Даже 10 грамотно подобранных фото дадут лучший результат чем 15 однотипных.

[tashiro]

Конкретные цифры которые у меня работают под kohya_ss на Flux-LoRA: rank 16-32, alpha = rank/2, learning rate 1e-4 для сети и 5e-5 для text encoder, 10-15 эпох, batch size 1 с gradient accumulation 4. Важно включить noise_offset около 0.05-0.1 — это сильно помогает с разнообразием генерации и убирает залипание на конкретной позе. И caption каждое фото руками, не автоматом — автокептшн WD14 часто описывает фон вместо персонажа, и это вшивается в триггер.

[ralph42]

@kube88, ровно так, но логика простая: капшенишь то, что хочешь МЕНЯТЬ, а не то, что хочешь зашить. 'sks woman, red dress, kitchen background' — теперь токен sks тянет на себя лицо и телосложение, а 'red dress' и 'kitchen' становятся отделяемыми и редактируемыми на инференсе. А если хочешь, чтобы причёска всегда была одна — её как раз НЕ описывай, пусть впитается в токен. 'sks woman' на всех фото — это и есть твоя главная ошибка: сети некуда сложить фон, и она запекает его прямо в токен.

[postgres2]

@tashiro, по параметрам согласен, но noise_offset 0.1 на персонажа я бы поостерёгся — на светлых или тёмных фонах он уводит общую яркость и контраст, и лицо начинает плыть. 0.05 безопаснее как старт. И rank 32 для одного персонажа на 15 фото уже многовато, ловишь ровно тот же оверфит, с которого тема началась — 16 при alpha 8 обычно за глаза.

[jbosco]

Быстрый способ понять, оверфит это/капшены или нехватка ёмкости: возьми текущую LoRA и просто скрути вес на инференсе до 0.6-0.7. Если фон из трейна перестаёт телепортироваться, а лицо ещё держится — проблема не в dim, а в датасете и капшенах, дотренировка не нужна, нужен просто другой чекпоинт. А вот если на 0.6 лицо разваливается раньше, чем уходит фон — тогда да, копай в разнообразие датасета и капшены.