Тренил LoRA на товарку для маркетплейса, текстура ткани каждый раз разная хотя датасет чистый

[smith_kate]

Третью неделю мучаю LoRA для генерации карточек одежды под Wildberries, общий крой и цвет ловит отлично, а вот фактура ткани (рубчик трикотажа, плетение) каждый раз генерится разная, хотя датасет вычищен и фотки одного товара. Как заставить лору держать именно текстуру материала, а не только общую форму?

[softlurker]

текстура это высокочастотные детали, обычная лора их усредняет и теряет. тебе либо ранг повыше брать, либо это в принципе не лоре задача а апскейлу с правильным денойзом

[regexlover]

32 ранг попробуй вместо 16, и обязательно отдельные теги под тип ткани в капшенах. без тегов модель не понимает что рубчик это признак который надо держать

[johnmal]

это в принципе не лоре задача а апскейлу с правильным денойзом

плюсую, я ровно так и победил. лора держит крой и силуэт, а фактуру догоняю вторым проходом через tiled апскейл с контролнетом tile на низком денойзе 0.3. текстура из исходника подтягивается и не выдумывается заново

[makler]

а ты на чем тренишь, на flux или sdxl. для flux текстура мелкая это вообще боль известная, он любит все загладить в пластик

[rabbit8]

@smith_kate, Решал ровно эту задачу для трикотажа на заказ, делюсь рабочей связкой. Проблема в том что лора учит распределение, а мелкая повторяющаяся текстура для нее статистически это шум, и она его не запоминает как признак а ресэмплит каждый раз заново. Что помогло. Датасет не меньше 40 кадров, разные ракурсы и крупные планы фактуры отдельными кадрами, чтоб модель увидела рубчик вблизи. Капшены с явным токеном ribbed_knit_texture в каждом описании где он есть, иначе модель не привязывает фактуру к слову. На flux беру network_dim 32, alpha 16, и не переучиваю, на 1800-2200 шагах ловлю баланс, дальше идет мыло как раз. И главное: финальную текстуру я все равно не доверяю генерации, делаю второй проход. Tiled upscale через SD Ultimate, ControlNet tile, денойз 0.25-0.30, и подмешиваю реальный кроп ткани как референс. Вот тогда плетение стабильное и совпадает с реальным товаром. Чистая лора без апскейла мелкую фактуру стабильно не держит, это не лечится тренировкой, это архитектурное.

[ransome]

@автор поста6 спасибо, ribbed_knit_texture токен это то что я упускал. лепил generic теги типа sweater и удивлялся. пойду перекапшоню датасет

[klop45]

покупатель не увидит

вб жмет картинку, но при зуме увидит, а возвраты из за не та ткань на ощупь это реальные деньги продавца. так что автор не зря парится