Flux лоры на лица перетягивают стиль как победить переобучение

[go4]

Тренирую лору на лицо человека под Flux, и она вытягивает не только лицо но и стиль с фона исходных фоток, лицо узнаётся но всё остальное становится как датасет. Делал 25 фоток, разные ракурсы но снимали в один день в одной комнате, и теперь лора при любом промпте подсовывает то освещение и тот задний план. Учил в kohya, 1800 шагов, dim 16, lr 1e-4. Как разорвать эту привязку чтобы лора брала только идентичность лица а не всю обстановку кадра. Снижать число шагов помогает но тогда сходство плывёт. Что крутить в первую очередь.

[vlad1]

датасет твоя проблема а не настройки. 25 фоток из одной комнаты в один день это гарантированное переобучение на фон. набери фотки с разным светом, разной одеждой, разными локациями, хотя бы 15-20 но разнообразных. лора учится тому что общего на всех кадрах, а у тебя общее это комната

[causious]

1800 шагов на 25 фоток это много для флакса. попробуй 1000-1200 и dim 8, на флаксе мелкого dim хватает для лица

[leewardms]

Снижать число шагов помогает но тогда сходство плывёт

значит у тебя датасет тянет в две стороны одновременно и ты ищешь компромисс там где его нет. правильный путь не балансировать шаги а почистить данные. вырежи фон в части кадров, оставь лицо на нейтральном, плюс добавь кропы только лица. и тегирование, если ты на флаксе пишешь подписи то описывай фон и одежду явно в caption, тогда модель поймёт что это переменное а не часть личности. то что описано в подписи лора учит как отделяемое, то что не описано прилипает к токену. это ключевой момент который все пропускают

[misha12]

+1 про captions. на флаксе они работают не как на sd15, нужны нормальные предложения а не теги через запятую

[aaannn]

@protozoa а можешь пример подписи кинуть, я тоже путаюсь как описывать. описывать ли само лицо или только окружение

[gowizard]

@kiro лицо НЕ описывай детально, иначе размоешь идентичность по словам. ставишь свой триггер типа ohwx man и дальше описываешь только то что хочешь чтобы менялось, in a kitchen, wearing blue shirt, soft daylight. триггер собирает на себя всё что ты НЕ назвал, то есть лицо. назвал кухню и рубашку значит они отвязались и в инференсе ты их меняешь свободно

[Vthors22]

@causious, можно ещё regularization images подкинуть, набор случайных лиц без триггера, тогда модель меньше уезжает в твой датасет по общим признакам. но это для упоротых, чаще хватает чистого датасета и подписей