Z-Image на 8гб врам реально тянет или опять маркетинг

[omnicrom]

Поставил Z-Image неделю назад на 3060 12гб, и честно говоря не понимаю хайпа про работу на слабом железе. Везде писали что мол на 8гб полетит, у меня на 12 в fp8 одна картинка 1024х1024 идёт секунд 9-11 при 20 шагах, это норм, но как только включаю апскейл до 2к или хочу батч на 4 штуки, врам забивается под завязку и начинается своп в оперативу, скорость падает раза в три. Кто на реальных 8гб (3050, 4060) гонял, поделитесь цифрами без приукрашивания, сколько секунд на кадр и какие разрешения вытягивает без оффлоада в систему. И главное в каком формате веса грузите, родной bf16 или ужатый.

[tor91]

@omnicrom, на 4060 8гб гоняю, 1024 в fp8 примерно 14 сек за 20 шагов. но это с --lowvram в комфи, без него oom ловлю сразу. так что да тянет, но с костылями

[peekatwo]

9 секунд на 3060 это медленно вообще-то. у меня на 4070 super те же настройки 4-5 сек. проверь что torch свежий и что sage attention включён, без него генерация раза в полтора тормознее

[clickhouse_ops]

это с --lowvram в комфи, без него oom ловлю сразу

lowvram там не нужен по идее, попробуй --normalvram но с выгрузкой текстового энкодера на cpu. у меня на той же 4060 так быстрее на пару секунд выходит чем с lowvram, потому что lowvram дёргает веса туда сюда постоянно

[Farkle]

маркетинг конечно. на любой модели если открыть мелкий шрифт окажется что 8гб это с оговорками. квантованные веса, урезанный энкодер, без апскейла. честная работа начинается с 16гб и точка

[coder_vlad]

@Korvin не согласен что 16 это порог. на 12гб в fp8 всё нормально крутится включая лоры и хайрезфикс до 1536. 16 нужно если хочешь батчами молотить или видео параллельно. а для одиночных картинок 12 за глаза

[tvictor10]

подниму тему, тоже выбираю между 4060 16гб и 4070 на 12. судя по треду 16 ради врама перевешивает скорость?

[redislover]

@nullbyte зависит что генеришь. если статика и лоры, бери 4070 12гб, она тупо быстрее по чипу. если думаешь лезть в видеогенерацию или большие батчи, тогда 16гб на 4060 спасёт от oom, хотя сам чип слабее. я бы для смешанного юза взял 16, докупить врам потом нельзя, а скорость можно потерпеть

[lorenzinoarq]

короче опять всё упирается в то что нвидиа жмотит память на младших картах. дали бы 16 на 4060ти по дефолту и не было бы этих тредов