Z-Image на 8 гб vram реально запустить или забить

[Roost66]

Можно ли крутить Z-Image локально на видяхе с 8 гб vram или это сразу мимо. У меня 3060 на 8 гб (да, есть и такая версия, не 12), хочу понять стоит ли вообще ставить или сразу в облако идти. Народ пишет что fp8 квант влезает, но у меня после загрузки модели oom на первом же шаге. ComfyUI последний, портативка с питоном 3.12. Падает на ksampler, лог говорит CUDA out of memory, tried to allocate 2.3 GiB. Что крутить чтобы влезло, или 8 гигов это приговор.

[android_roman]

влезает, но впритык. ставь fp8_e4m3fn версию модели, не fp16. и тайловый vae обязательно, иначе на декоде ляжет. у меня на 3070 8гб идёт, 1024х1024 примерно 40 сек на шаг при первом прогоне, потом быстрее когда закешируется

[rqbyrd]

8 гб в 2026 это боль, чего ты хотел. я давно на 16

[archmaster]

подниму, у самого 8гб и тот же вопрос был. отпишусь: всё что выше работает, добавлю что свопалку питон не любит, если у тебя ram меньше 32 то при lowvram он начнёт в файл подкачки лезть и тогда вообще застрелишься ждать. так что 32 гига оперативки по сути обязательны для 8гб карты, парадокс но так

[wasmnerd]

ставь fp8_e4m3fn версию модели, не fp16

вот это ключевое, многие качают fp16 не глядя потому что она первая в списке и потом удивляются. ещё момент: у Z-Image text encoder отдельно жрёт прилично, его тоже надо в fp8 брать и можно выгружать на cpu через ноду. тогда на сэмплинге освобождается под полтора гига, как раз хватает чтобы не свалиться. я так на ноутбучной 4060 8гб гоняю, 1024 без апскейла идёт стабильно, шаг около 25 сек. для апскейла уже tiled diffusion или вторым проходом через облако догоняю. так что не приговор, просто терпение нужно и не лезь сразу в 1536

[roman2026]

@user2 тайловый vae спас, спасибо. но всё равно падало пока не добавил --lowvram в аргументы запуска. теперь не падает но медленно очень, минуты по две на картинку

[sepiatone]

в облаке runpod ты на A100 сто картинок сделаешь

ага только runpod с осени картой русской не оплатить, я уже задолбался искать кто принимает. сейчас через посредника с конской комиссией, по факту A100 выходит рублей 200 в час с накрутками. так что локально на своей затычке иногда дешевле выходит если не торопишься

[delphin]

минуты по две это же издевательство. за такое время в облаке runpod ты на A100 сто картинок сделаешь за те же деньги почти