ControlNet в 2026 — какой тип использовать для анимации персонажа по видео-референсу?

[thumper416]

Задача: есть видео с танцором, хочу перенести движения на сгенерированного персонажа. Знаю про OpenPose + ControlNet, но это же для статичных картинок. Как сейчас правильно делается покадровая анимация с сохранением консистентности персонажа? Смотрел разные туториалы но они все из 2024 и уже устарели по нодам. Железо: RTX 3090 24GB.

[alansmit]

Актуальный стек в 2026 для этой задачи: DWPose (точнее чем OpenPose, особенно руки) для извлечения поз из референс-видео, AnimateDiff для генерации консистентного видео, ControlNet с весом pose для управления движением. В ComfyUI это выглядит так: VideoHelperSuite для разбивки видео на кадры → DWPose_Preprocessor → ControlNetApply → AnimateDiff Loader → сборка обратно в видео.

[redislover]

@alansmit, AnimateDiff уже немного устарел для этой задачи — попробуй Wan 2.2 с ControlNet-pose. Есть кастомный нод для Wan который принимает pose-sequence как conditioning. Результат значительно лучше по качеству движения и нет характерного для AnimateDiff «желеобразного» эффекта. На 3090 24GB Wan 2.2 5B запустится комфортно.

[fosl0002]

Главная боль в покадровой анимации — мерцание и изменение лица между кадрами. Решается через IP-Adapter с референсным изображением персонажа: даёшь один кадр с правильной внешностью и вешаешь IP-Adapter на всю генерацию с весом 0.5-0.7. Лицо и стиль одежды держатся значительно лучше. Это работает и с AnimateDiff и с Wan.

[valru]

Лайфхак по DWPose: если на референс-видео плохое качество или частичная окклюзия, позы будут кривые и артефакты перейдут в генерацию. Стоит прогнать позы через сглаживание — в ComfyUI есть нод PoseKeypoint Smoother из пакета ComfyUI-AnimateAnyone. Это убирает дёрганье скелета между кадрами.

[svelte42]

Для коротких клипов (до 3 секунд) вполне работает и просто покадровая генерация через SDXL + ControlNet pose с img2img от предыдущего кадра (denoising 0.5-0.6). Долго, но на 3090 реально. Для более длинных — только видеомодели типа Wan или HunyuanVideo, иначе консистентность не удержать.

[ivan21]

Собирал почти такой же пайплайн в марте на той же 3090. Добавлю момент, который тут не прозвучал: частоту кадров референса лучше сразу резать до 12-16 fps перед извлечением поз, а готовый ролик потом интерполировать через RIFE обратно до 24-30. Экономит половину времени генерации, и консистентность даже выигрывает — меньше кадров, на которых модель может уехать. И ещё: генерите персонажа на простом фоне, а фон подкладывайте отдельно — мерцающий задник визуально портит даже идеально перенесённый скелет.

[ransome]

@fosl0002, по верхней границе веса IP-Adapter поспорю: на 0.7 он у меня начинал душить позу — персонаж норовит встать как на референсном портрете, а не как в pose-sequence. Стабильнее держать 0.5-0.55, а лицо добирать отдельным проходом face detailer по крупным планам. Насчёт одежды согласен полностью, она и на 0.5 держится отлично.

[lazyredteam]

@redislover, подтверждаю про Wan 2.2, но с оговоркой: 5B на 3090 комфортно живёт только до клипов секунд в пять, дальше упирается в VRAM даже с оффлоадом. И pose-conditioning у Wan заметно капризнее к качеству скелета, чем AnimateDiff — один кривой кадр от DWPose даёт вывих конечности на полсекунды видео. Так что сглаживание поз, про которое писал valru, с Wan не опция, а обязательный шаг.