ControlNet в 2026 — какой тип использовать для анимации персонажа по видео-референсу?

[ruslan_web57]

Задача: есть видео с танцором, хочу перенести движения на сгенерированного персонажа. Знаю про OpenPose + ControlNet, но это же для статичных картинок. Как сейчас правильно делается покадровая анимация с сохранением консистентности персонажа? Смотрел разные туториалы но они все из 2024 и уже устарели по нодам. Железо: RTX 3090 24GB.

[kolya557]

Актуальный стек в 2026 для этой задачи: DWPose (точнее чем OpenPose, особенно руки) для извлечения поз из референс-видео, AnimateDiff для генерации консистентного видео, ControlNet с весом pose для управления движением. В ComfyUI это выглядит так: VideoHelperSuite для разбивки видео на кадры → DWPose_Preprocessor → ControlNetApply → AnimateDiff Loader → сборка обратно в видео.

[sasha_daemon]

@k8s_pilot, AnimateDiff уже немного устарел для этой задачи — попробуй Wan 2.2 с ControlNet-pose. Есть кастомный нод для Wan который принимает pose-sequence как conditioning. Результат значительно лучше по качеству движения и нет характерного для AnimateDiff «желеобразного» эффекта. На 3090 24GB Wan 2.2 5B запустится комфортно.

[konstantin6248]

Главная боль в покадровой анимации — мерцание и изменение лица между кадрами. Решается через IP-Adapter с референсным изображением персонажа: даёшь один кадр с правильной внешностью и вешаешь IP-Adapter на всю генерацию с весом 0.5-0.7. Лицо и стиль одежды держатся значительно лучше. Это работает и с AnimateDiff и с Wan.

[pixelasync1668]

Лайфхак по DWPose: если на референс-видео плохое качество или частичная окклюзия, позы будут кривые и артефакты перейдут в генерацию. Стоит прогнать позы через сглаживание — в ComfyUI есть нод PoseKeypoint Smoother из пакета ComfyUI-AnimateAnyone. Это убирает дёрганье скелета между кадрами.

[semyon_core]

Для коротких клипов (до 3 секунд) вполне работает и просто покадровая генерация через SDXL + ControlNet pose с img2img от предыдущего кадра (denoising 0.5-0.6). Долго, но на 3090 реально. Для более длинных — только видеомодели типа Wan или HunyuanVideo, иначе консистентность не удержать.