Ускорялки для Flux и Wan на 16 гигах: Nunchaku, TeaCache, SageAttention, fp8. Что из этого не плацебо?

[wasmhacker]

4070 Ti Super 16 ГБ, Windows 11, ComfyUI свежий. Flux dev fp8, 1024х1024, 28 шагов: 34 секунды. Для подбора вариантов клиенту это медленно, хочется секунд до 10 без жесткой потери качества.

Что вычитал, но не пробовал: Nunchaku с их 4-битным SVDQuant, обещают х3. SageAttention 2, но его на винде вроде надо собирать через triton-windows. TeaCache, про который пишут что мылит. torch.compile. У кого реальные цифры на похожем железе? Что прижилось, а что снесли через неделю?

[lentyaj]

Nunchaku бери первым, это лучшее что случилось с flux на средних картах. На моей 4060 Ti 16: dev, 25 шагов, было 58 сек, стало 19. Качество процентов 95 от fp8, кожа чуть проще, мелкий текст иногда хуже. Лоры работают через их конвертер, почти все мои завелись. Единственное, установка через одно место: колесо качай строго под свою связку torch и питона, иначе будешь как я полвечера читать трейсбеки.

[ollies]

sageattention 2 на винде завелся с третьего раза: python 3.12, triton-windows, и не обновляй torch вслепую, бери комбинацию которую люди в issues подтвердили. Выхлоп: на wan 2.2 плюс 25-27 процентов, на flux скромнее, процентов 15. Если видео не гоняешь, можно не страдать.

[sabaza]

теакеш на картинках это самообман. Поставишь threshold повыше, получишь мыло и потерю мелких деталей, поставишь пониже, ускорения кот наплакал. На видео норм, там межкадровая избыточность реальная. Для флакса честнее взять 8-шаговую turbo лору, чем обманывать семплер кешами.

[leelo]

не мучай флакс. z-image turbo на твоей карте рисует за 4-5 секунд, для подбора вариантов клиенту самое то, а финал уже добивай флаксом. Я так месяц работаю, клиент на черновиках разницы не видит вообще

[pythonfan]

з-имейдж хорош ровно до момента, когда нужен конкретный стиль. Экосистема лор у него пока тощая, фирменный стиль моего заказчика туда не переносится, пробовал. Как черновик да, как замена нет. И руки на сложных позах у него все еще веселые.

[vasya1]

torch.compile на винде: первый запуск курил 6 минут, выигрыш 8-10 процентов, после каждого обновления нод перекомпиляция. снес. на линуксе говорят живется лучше, под wsl2 кстати тоже вариант

[m3power]

Мой стек на той же 4070 Ti Super: nunchaku + sage 2 + 8 шагов с лорой, 1024 выходит за 6-7 секунд. Но честное предупреждение: каждый апдейт комфи это рулетка, неделю назад обновился и nunchaku-ноды отвалились до выхода фикса. Рабочую установку заморозь и не трогай, обновляйся в отдельной копии.