Z-Image и Flux в одном воркфлоу ComfyUI: как переключать модели не словив OOM на 12 гигах

[go_pro]

Хочу в одном воркфлоу ComfyUI гонять Z-Image Turbo для черновиков и Flux.2 для финалок, но при переключении вторая модель не влезает в 12 гигов 3060 и валится в OOM. Кто как разруливает выгрузку первой модели из VRAM перед загрузкой второй?

[pkdunn8]

@go_pro, ставь ноду Clean VRAM Used или Unload Model между группами. она есть в comfyui-easy-use, чистит и модель и кэш. у меня на 3060 ровно твой кейс, без нее тоже ловил оом ровно на загрузке flux

[nodice]

есть встроенный костыль кстати. в настройках комфи Reserve VRAM поставь поменьше и включи --lowvram при старте. медленнее на чуть, но переключение не падает

[fpga87]

а зачем вообще два чекпойнта в одном графе держать. сделай два отдельных воркфлоу и не майся

[mvdelu]

потому что он черновик гонит на zimage, отбирает сид, и тот же сид прокидывает в flux на финалку. в двух файлах ты руками сиды копируешь как дед. чел все правильно хочет

[scottray]

@nodice, Распишу как у меня это работает стабильно на 3060 12гб, гоняю так месяца три. Ключевое это не держать обе модели резидентно. Ставлю две группы нодов через Fast Groups Muter из rgthree, по умолчанию активна только zimage группа. Между группами нода Unload All Models плюс Clean VRAM из comfyui-easy-use, она реально выкидывает чекпойнт из видеопамяти а не делает вид. Flux держу в fp8_e4m3fn, не в полном fp16, иначе даже один он впритык. text encoder t5 выгружаю на cpu, теряю секунды на загрузке энкодера но зато второй чекпойнт влезает. Сид прокидываю через примитив с control_after_generate fixed, один на оба сэмплера. По таймингам zimage черновик 5-6 сек, потом пауза 8-10 сек на своп моделей, потом flux финалка 40-50 сек за кадр. Своп это плата, но он стабильный и не падает. Если совсем туго, грузи flux в gguf Q4, тогда своп быстрее но качество чуть просядет.

[middleoverflow]

@автор это золото, спасибо. control_after_generate fixed я и проворонил, у меня сид прыгал между сэмплерами и я думал это модель разная, а это сид разный лол

[Bowden]

Flux держу в fp8_e4m3fn, не в полном fp16

вот это правильно, на 3060 fp16 flux это сразу мимо. но добавлю, на 30й серии fp8 идет без аппаратного ускорения, считается эмуляцией, так что скорости как от fp16 не жди. честный буст по fp8 только с 40й серии

[georgea]

@middleoverflow, блин а я думал у меня руки кривые что своп 10 секунд. оказывается это норма. ну хоть успокоили