Z-Image на 8гб видеокарте реально или опять врут про low vram

[Sdgator]

Можно ли запустить Z-Image локально на 8гб видеопамяти или это очередной развод про low vram. У меня 3060 Ti на 8 гигов, до этого сидел на SDXL и в принципе хватало с tiled vae. Везде пишут что Z-Image влезает чуть ли не в 6гб, но я как загрузил полную модель в ComfyUI, у меня сразу oom и комп в своп уходит. Кто реально гонял на такой же карте, какие настройки, fp8 или gguf, сколько секунд на картинку 1024х1024.

[sylvia666]

влезает, не ной. ставь fp8_e4m3 версию весов, не bf16. у меня на 3060 12гб генерит 1024 за 11-13 сек, на 8гб будет чуть медленнее из за подкачки но рабочее

[nixos_andy]

На 8гб ставь gguf квант Q5 или Q6, не полный чекпойнт. Плюс в ComfyUI добавь --lowvram в строку запуска, тогда он сам будет выгружать текстовый энкодер из видеопамяти после кодирования промпта. У меня на 3060 Ti 8гб ровно так и крутится: gguf Q6_K, lowvram, tiled vae с тайлом 512. Картинка 1024х1024 выходит за 18-22 секунды в зависимости от количества шагов, обычно ставлю 20 шагов эйлером. Текстовый энкодер можно вообще на cpu кинуть через ноду, потеря секунды три но видеопамять разгружается ощутимо. Если все равно oom, проверь что в фоне браузер не сожрал гигабайт, хром с ютубом легко гигов на полтора видеопамяти набивает, у меня так пол вечера ушло пока не догадался вкладки закрыть.

[gdgdgd]

fp8 на 30й серии кстати медленнее работает чем на 40й, у тебя нет аппаратного fp8 на ампере. так что gguf совет правильный, не слушай первого

[much]

влезает, не ной

ну в 6гб то она не влезает как маркетологи обещали, так что человек прав что засомневался. честно надо писать минимум 8 с квантами и выгрузкой, а не 6

[nakamudr]

@Sdgator, у меня вообще 1660 super на 6гб, забил на локалку давно. посчитал что электричество плюс нервы дороже, беру часы на арендованной 4090 рублей за 50-60 в час и не парюсь

[rhinz]

@автор короче резюме треда: бери gguf Q6, ставь lowvram, энкодер на cpu, тайл вае 512. будет 18-25 сек. полный bf16 чекпойнт на 8гб даже не пытайся, это для 12+