ControlNet в ComfyUI как подключить и какую модель выбрать для позы

[denis_hex97]

Разбираюсь с ControlNet в ComfyUI — хочу генерировать персонажей в конкретных позах. Скачал несколько моделей с huggingface, но непонятно куда их класть и как правильно построить воркфлоу. Видел разные ноды — Apply ControlNet, Apply Advanced ControlNet — в чём разница? И какую модель выбрать для контроля позы: openpose, depth или что-то ещё?

[rodion_root]

Модели ControlNet кладутся в папку ComfyUI/models/controlnet/ — это важно, иначе нода их не увидит. Для контроля позы под SDXL бери control-lora-openposeXL2-rank256.safetensors, под SD 1.5 — control_v11p_sd15_openpose.pth. Оба есть на huggingface у lllyasviel.

[grigory_go73]

Apply ControlNet — базовая нода, Apply Advanced ControlNet — расширенная с поддержкой маскирования и временного применения (для видео/анимаций). Для статичных картинок с позой достаточно базовой. Параметр strength от 0.5 до 0.8 — хороший диапазон для начала, выше 0.9 модель начинает слишком жёстко следовать скелету и теряет вариативность.

[stas_stack90]

Подробнее про воркфлоу для позы: тебе нужна нода Load Image (загружаешь референсное фото с позой), затем нода DWPose Estimator или OpenPose Estimator из пакета comfyui-controlnet-aux — она извлекает скелет. Полученный скелет идёт в Apply ControlNet вместе с conditioning от твоего промпта. Нода Apply ControlNet принимает: positive conditioning, negative conditioning, control_net (загруженная модель), image (скелет), strength (сила применения). Выход conditioning'а подключаешь к сэмплеру вместо стандартного. Для установки вспомогательных нод: в менеджере ComfyUI ищи comfyui-controlnet-aux и устанавливай — там сразу все препроцессоры для позы, глубины, линий.

[svetlana_js]

Важный момент про совместимость: модели ControlNet для SD 1.5 не работают с SDXL и наоборот. Если генеришь в SDXL — нужны именно SDXL-версии controlnet моделей. Это частая причина чёрных изображений или артефактов — люди берут первую попавшуюся модель, не смотря на совместимость.

[nethex8167]

Для сложных поз с перекрытиями (руки перед телом, необычные ракурсы) openpose иногда путается. В таком случае лучше работает комбинация depth map + openpose одновременно — два ControlNet в одном воркфлое, каждый со своей силой применения около 0.4-0.5. Глубина даёт общую объёмность, поза — скелет. Попробуй.