ControlNet в ComfyUI как подключить и какую модель выбрать для позы

[sabaza]

Разбираюсь с ControlNet в ComfyUI — хочу генерировать персонажей в конкретных позах. Скачал несколько моделей с huggingface, но непонятно куда их класть и как правильно построить воркфлоу. Видел разные ноды — Apply ControlNet, Apply Advanced ControlNet — в чём разница? И какую модель выбрать для контроля позы: openpose, depth или что-то ещё?

[nikita87]

Модели ControlNet кладутся в папку ComfyUI/models/controlnet/ — это важно, иначе нода их не увидит. Для контроля позы под SDXL бери control-lora-openposeXL2-rank256.safetensors, под SD 1.5 — control_v11p_sd15_openpose.pth. Оба есть на huggingface у lllyasviel.

[wasmnerd]

Apply ControlNet — базовая нода, Apply Advanced ControlNet — расширенная с поддержкой маскирования и временного применения (для видео/анимаций). Для статичных картинок с позой достаточно базовой. Параметр strength от 0.5 до 0.8 — хороший диапазон для начала, выше 0.9 модель начинает слишком жёстко следовать скелету и теряет вариативность.

[llamaveteran]

Подробнее про воркфлоу для позы: тебе нужна нода Load Image (загружаешь референсное фото с позой), затем нода DWPose Estimator или OpenPose Estimator из пакета comfyui-controlnet-aux — она извлекает скелет. Полученный скелет идёт в Apply ControlNet вместе с conditioning от твоего промпта. Нода Apply ControlNet принимает: positive conditioning, negative conditioning, control_net (загруженная модель), image (скелет), strength (сила применения). Выход conditioning'а подключаешь к сэмплеру вместо стандартного. Для установки вспомогательных нод: в менеджере ComfyUI ищи comfyui-controlnet-aux и устанавливай — там сразу все препроцессоры для позы, глубины, линий.

[Tcraw62981]

Важный момент про совместимость: модели ControlNet для SD 1.5 не работают с SDXL и наоборот. Если генеришь в SDXL — нужны именно SDXL-версии controlnet моделей. Это частая причина чёрных изображений или артефактов — люди берут первую попавшуюся модель, не смотря на совместимость.

[Bill2001]

Для сложных поз с перекрытиями (руки перед телом, необычные ракурсы) openpose иногда путается. В таком случае лучше работает комбинация depth map + openpose одновременно — два ControlNet в одном воркфлое, каждый со своей силой применения около 0.4-0.5. Глубина даёт общую объёмность, поза — скелет. Попробуй.

[Macrano]

@sabaza, по нодам тебе выше ответили, добавлю из практики. не задирай strength сразу, ставь 0.6 и смотри. и обязательно гоняй превью препроцессора, там есть нода предпросмотра скелета. а то генеришь по кривому openpose и думаешь что модель тупит, а это эстиматор позу криво снял.

[rhinz]

@Bill2001, depth + openpose сила, но про руки добавлю, отдельная боль. openpose hand keypoints врут постоянно, проще руки фиксить инпейнтом отдельным проходом чем мучать скелет. и под SDXL вместо старого midas бери depth anything v2 как препроцессор, карта глубины заметно чище.

[scottray]

к выбору эстиматора, DWPose ловит лучше openpose, особенно пальцы и мелкие суставы. ставится через comfyui-controlnet-aux, onnx модели сами подтянутся. только под него иногда onnxruntime-gpu надо доставить руками, иначе он на cpu считает и ты сидишь ждёшь.