Kohya тренит лору на Flux вечность, 30 фоток крутит 6 часов на 4070. У всех так медленно

[pyninja]

Тренирую лору на Flux в kohya_ss, датасет всего 30 фоток, 1500 шагов, и это крутится почти 6 часов на 4070 12 гигов. Нормально ли это или я где-то накосячил с настройками. Чувство что что-то жрет время впустую, карта в smi загружена на 100 но как будто ползет.

[nixos69]

6 часов на 12 гигах для flux это вообще норм, ты впритык по памяти и оно свопает в озу. flux тяжелый, не sdxl тебе

[aaannn]

fp8 base включи и block swap покрути. на 12 гигах без block swap ты постоянно в шину упираешься, оттуда и тормоза. но да, flux лору на 12 гигах это терпение

[corvet]

fp8 base включи и block swap покрути

block swap как раз и замедляет, он же блоки в системную память гоняет туда сюда. это спасает от OOM но не ускоряет, наоборот. на 12 гигах выбор простой: либо block swap и медленно, либо OOM. третьего нет пока 16+ гигов не возьмешь

[Macrano]

@nixos69, разверну что реально влияет на скорость лоры под flux, проверено на своих прогонах.
Главный пожиратель это разрешение датасета и кэш латентов. Если у тебя фотки 1024 и ты не закэшировал латенты, kohya на каждом шаге гоняет VAE энкод. Включи cache latents и cache latents to disk, это разово прожует датасет в начале и дальше тренит с диска, экономит прилично.
Второе, train_blocks. Тебе НЕ нужно тренить все блоки flux для лица или стиля. Ставь обучение только single blocks или урезай double, качество для портрета почти не падает а скорость и память сильно лучше.
Третье, learning rate и шаги. 1500 шагов на 30 фотках это много, ты переобучаешь. 30 фоток это реально 800-1000 шагов с lr 1e-4, дальше начинается пережарка и лишнее время. Считай примерно 25-30 шагов на изображение.
Четвертое, fp8 для base модели обязательно на 12 гигах, иначе block swap большой и привет тормоза. С fp8 свопа меньше.
И да, 6 часов это многовато, у меня 30 фоток на 4070 укладывается в 2.5-3 часа с этими настройками. Скорее всего у тебя не кэшируются латенты и тренятся все блоки.

[kernel2]

onetrainer попробуй вместо kohya, у меня на нем flux лоры быстрее идут и интерфейс человечнее

[android_roman]

6 часов на 12 гигах для flux это вообще норм

не норм если латенты не кэшированы, выше человек все верно расписал. у меня было так же 6 часов, включил cache latents to disk и обучение только single blocks, стало 2.5. так что не норм, а недонастроено

[overflown]

в облаке арендуй 4090 на 3 часа за 200 рублей и не мучай свою 4070, тренить лору на 12 гигах это мазохизм при текущих ценах на аренду