Flux на 8 гигах VRAM — OOM ровно на VAE decode, у всех так?

[coder_vlad]

3070 на 8 гигов. Семплинг проходит нормально, прогресс-бар добегает до конца, а потом краш на VAE decode, out of memory. Обидно до слёз — картинка же по сути готова. Что включить?

[alansmit]

Классика. Поставь в ComfyUI ноду VAE Decode (Tiled) вместо обычной, и запускай с флагом --lowvram. VAE у Flux прожорливый, тайлами он раскладывает по кускам и влезает в 8 гигов спокойно. Скорости почти не теряешь.

[sabaza]

Ещё возьми fp8 версию модели и t5 энкодер в fp8, а не fp16. На 8 гигах fp16 t5 один сжирает половину памяти. Связка fp8 + tiled vae + lowvram у меня на 2070 Super стабильно крутит 1024х1024.

[Vthors22]

Tiled VAE + fp8 t5 решили. Ни одного OOM за вечер, даже апскейл прошёл. Спасибо, а то я уже на свап грешил.

[Planed]

Классика на RTX 3070. Лечится флагом --lowvram или --medvram в WebUI, но в ComfyUI конкретно под Flux нужно поставить VAEDecode через tiled_vae — нода называется VAEDecodeTiled, тайл 512 или 256. Семплинг работает нормально потому что он в fp8/fp16, а VAE по умолчанию грузится в fp32 и жрёт ещё лишние ~3 ГБ. Добавь в начало воркфлоу ноду Load VAE и загрузи ae.safetensors явно с precision float16 — OOM на декоде пропадёт.

[sleepyraccoon]

Если не хочется возиться с tiled decode, есть радикальное решение: перегрузить VAE на CPU через ноду VAE Loader с override на cpu. Да, декод займёт 10-15 секунд вместо 1, но не крашится совсем. На 3070 я так и оставил — всё равно узкое место не декод а семплинг, итоговое время на картинку растёт несущественно. Flux fp8 checkpoint ещё освобождает ~2 ГБ по сравнению с fp16 версией, тоже вариант.

[Macrano]

Ещё один угол: проверь что у тебя включён pytorch 2.x с torch.compile и xformers. На 8 ГБ без xformers attention жрёт несравнимо больше памяти. И обязательно --disable-nan-check если используешь A1111 форк — он держит лишний буфер в памяти для дебага. Но если совсем упирается — rtx 3070 это 8 ГБ GDDR6 без поддержки fp8 через tensor cores, поэтому реальный потолок разрешения без тайлинга примерно 768x768 под Flux.

[kotlin123]

@sleepyraccoon, CPU-офлоад VAE — рабочий запасной вариант, но я бы держал его именно как fallback, а не дефолт. На 3070 tiled decode с тайлом 512 укладывается в память и декодит за пару секунд, тогда как CPU тянет твои 10-15. И засада CPU-офлоада вылезает на батчах и апскейле: эти 15 секунд множатся на каждую картинку, и вечер превращается в ожидание. Tiled решает ровно ту же проблему OOM, но без этого налога по времени.

[arich]

@Macrano, Про fp8 на 3070 нужна поправка: Ampere не умеет fp8 на tensor cores, поэтому fp8 там работает только как способ ужать веса в памяти — на инференсе они всё равно апкастятся, прироста скорости нет. То есть fp8 на 3070 берут не ради быстродействия, а чтобы банально влезть в 8 гигов, и в этом качестве оно работает. Native fp8-ускорение начинается с Ada, вот на 40-й серии оно реально даёт буст.

[archmaster]

По тайлам ещё подсказка: на тайле 256 на больших гладких градиентах — небо, кожа, размытый фон — иногда вылезают чуть заметные швы на стыках. Лечится не уменьшением тайла, а наоборот — ставь 512 если память позволяет, либо добавь overlap. На 8 гигах 512 под Flux обычно проходит, проверьте прежде чем садиться на 256.