Запорол лору на 800 фото из за кривого датасета, делитесь как вы чистите данные

[timur12]

Слил три дня и 1500 рублей аренды на тренировку лоры, а результат мусор потому что датасет был грязный. Собрал 800 картинок персонажа, накидал теги автотеггером и пустил тренить на 4090. На выходе лора тащит в кадр случайный мусор: водяные знаки, рамки, какой то текст снизу, и стиль плавает потому что фото были из разных источников с разной обработкой. Понял что проблема в данных а не в настройках, но уже после того как спалил деньги. Как вы реально чистите датасет перед тренировкой, есть нормальный воркфлоу или все руками перебирают.

[jbentley]

800 фото для лоры персонажа это перебор дикий. бери 30-50 хороших и получишь лучше чем из 800 помойки. меньше да лучше тут прям работает

[vuenerd]

автотеггер без ручной вычитки это и есть твоя ошибка. он тебе watermark не отметил, модель и выучила водяной знак как часть персонажа. классика

[sainty]

800 фото для лоры персонажа это перебор

не всегда. для стиля или для персонажа в куче ракурсов 800 норм, если они чистые. проблема не в количестве а в том что он не отсмотрел. но согласен что на 50 идеальных проще выйти на результат и дешевле тренить

[torch22]

Вот рабочий процесс чистки, выстрадал за пару лет тренировок. Первое и самое важное, отсмотреть руками каждое фото, да все, по другому никак, на 800 это вечер с сериалом на фоне. Выкидываешь все с водяными знаками, рамками, текстом, коллажи, мыло, кадры где персонаж мелкий или обрезан. Лучше 60 чистых чем 800 с мусором, модель учит ВСЕ что видит, включая логотип в углу. Второе, приводишь к единому виду: кропаешь под нужный аспект, апскейлишь мелкие если жалко выкидывать, но лучше выкинуть. Третье, теги. Автотеггер (wd-tagger) дает основу, но дальше руками: убираешь мусорные теги, и главное, добавляешь тег который НЕ хочешь чтобы лора выучила как постоянку. Звучит наоборот, но смысл такой: если на всех фото красная куртка и ты ее не затегал, лора вошьет куртку намертво. Затегал red jacket, теперь куртка отвязана и управляется промптом. То же с фоном, добавь simple background где он простой. Четвертое, перед полным прогоном гоняй тестовую тренировку на 10 эпохах и смотри превью, увидишь мусор сразу и не спалишь все деньги. И отзеркаленные дубли не добавляй, оверфитит. По деньгам: тестовый прогон на 30 минут аренды это рублей 30, дешевле чем твои 1500 в трубу.

[lucky1000]

watermark в датасете это боль номер один у всех новичков. еще совет, прогони пачку через детектор водяных знаков перед ручным отсмотром, хоть грубо отсеет очевидное и глаза меньше устанут

[nerd_max]

@автор полторашку не жалей, считай оплатил урок. все так учились. главное теперь не повторяй и руками смотри

[lorenzinoarq]

если на всех фото красная куртка и ты ее не затегал, лора вошьет куртку намертво

вот это золото, до меня этот принцип месяца три доходил. что тегаешь то отвязываешь, что не тегаешь то прибивается гвоздями к персонажу. как понял так качество лор подскочило резко