FLUX.2 на 8 ГБ VRAM через GGUF — реально запустить или снова маркетинг?

[Manuelriere]

NVIDIA заявила что FLUX.2 в FP8-квантизации занимает на 40% меньше VRAM и работает на 40% быстрее. Звучит как реклама, но я решил проверить. У меня RTX 4060 Ti 8 ГБ. Взял FLUX.2 Dev в Q4_K_M GGUF, поставил ComfyUI v0.23, подключил нод через менеджер. При разрешении 1024x1024 в VRAM влезает впритык — 7.6 ГБ занято, 0.4 ГБ остаток. Генерация идёт около 45 секунд на 20 шагов. Для сравнения FLUX.1 Dev на той же карте без GGUF просто падало с OOM. Так что да, реально работает. Но 4K разрешение — уже нет, там нужно минимум 12 ГБ даже с квантизацией.

[davkar]

Подтверждаю. На RTX 3060 12 ГБ запустил FLUX.2 через ComfyUI GGUF-workflow, используя тайлинг для больших разрешений. 1536x1024 генерируется за 80 секунд — долго, но работает. Самое интересное — фотореализм реально лучше чем у FLUX.1: освещение, тени, текстуры кожи значительно точнее. Тест на читаемость текста на изображениях — FLUX.2 справляется с короткими фразами в ~80% случаев против ~40% у FLUX.1. Это заметный шаг вперёд.

[vasya87]

Хочу добавить про новый фичер ComfyUI 0.23 — Subgraph. Наконец-то можно упаковать свой сложный workflow из 30 нодов в один переиспользуемый блок. Я собрал свой стандартный пайплайн для портретов с upscale и face restoration в один Subgraph, теперь просто кидаю его в любой новый workflow. Это должны были сделать год назад, но лучше поздно чем никогда. Кто ещё не трогал — попробуйте, реально меняет удобство работы.

[squall1]

А как у людей дела с FLUX Kontext? Это же Multi-Image ControlNet по сути — даёшь несколько референсов и получаешь изображение с сохранением консистентности персонажа. Пробовал workflow из паблика для ComfyUI, но у меня стабильно вылетает на шаге энкодинга если референсов больше трёх. RTX 4090 24 ГБ, так что память не проблема. Подозреваю баг в конкретном кастомном ноде — кто нашёл рабочий вариант?

[cronk]

По Kontext: проблема скорее всего в версии кастомного ноде для multi-image reference. Мне помогло обновить ComfyUI-FLUX-Kontext до коммита от 3 июня — там пофиксили именно этот краш на >2 референсах. Обновляется через Manager, ищи по имени. После этого у меня 5 референсов обрабатываются без проблем. Консистентность персонажа реально впечатляет — лицо сохраняется даже при смене одежды и фона.

[Tcraw62981]

@davkar, Для тех кто только заходит в тему: если у вас 8 ГБ VRAM — берите FLUX.2 Klein 4B в Q4_K_M. Это специально облегчённая версия для локального запуска, вышла в январе. Качество немного хуже чем полный FLUX.2 Dev, но на практике для большинства задач не заметно. Скорость в два раза выше, VRAM нужно около 5 ГБ. Идеальный вариант для начала.