ComfyUI не запускается ошибка CUDA out of memory как исправить

[vim_sre]

Поставил ComfyUI на видеокарту RTX 3060 (12 GB VRAM), пытаюсь запустить воркфлоу с SDXL-моделью — вылетает с ошибкой torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 2.00 GiB. Запускаю через python main.py, никаких дополнительных флагов не ставил. Что делать? Уже несколько часов бьюсь.

[infern]

Попробуй запустить с флагом --lowvram или --medvram — это первое что надо сделать при 12 GB с SDXL. Команда: python main.py --lowvram. У меня на 3060 Ti помогло, генерация чуть медленнее, но зато работает без крашей.

[redislover]

12 гигов должно хватать на SDXL в принципе, но проблема часто в том, что параллельно жрут VRAM другие приложения — браузер с кучей вкладок, Discord с аппаратным ускорением и т.д. Закрой всё лишнее и попробуй снова без lowvram, разница в скорости заметная.

[nerd_max]

Самое полное решение: сначала убедись что у тебя актуальная версия PyTorch с поддержкой CUDA — команда python -c "import torch; print(torch.version.cuda)" покажет версию. Если там None — PyTorch установлен без CUDA-поддержки и никакие флаги не помогут. Переустанавливай через pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 (для CUDA 12.1, подбери под свою версию драйвера). Если CUDA есть, но память всё равно кончается — добавь --lowvram и в настройках воркфлоу убери VAE decode в отдельный шаг, это экономит несколько гигабайт пиковой нагрузки. Ещё помогает включить опцию 'Disable upcasting of attention' в настройках ComfyUI если используешь кастомные ноды. При SDXL с батчем 1 и разрешением 1024x1024 реальное потребление около 8-9 GB, должно укладываться.

[ansible777]

У меня была похожая ситуация — оказалось, что в диспетчере задач Windows VRAM показывала меньше чем есть, потому что часть была зарезервирована системой. Лечится через реестр: HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\GraphicsDrivers, добавить TdrLevel = 0 типа DWORD. Не панацея, но иногда помогает при случайных вылетах.

[thumper416]

Ещё момент: если используешь модели с fp32 весами вместо fp16 — это в два раза больший расход памяти. Скачивай модели с пометкой fp16 или safetensors, они намного экономичнее. На civitai почти все нормальные модели уже идут в fp16.

[go9]

Смотри, на каком именно шаге падает — это ключевой вопрос. Если воркфлоу доходит до конца и вылетает на VAE Decode (а «Tried to allocate 2.00 GiB» в самом финале очень на это похоже), то сама модель ни при чём: декодирование картинки в полном разрешении — самый прожорливый шаг. Замени обычный VAE Decode на ноду VAE Decode (Tiled) — она режет декодинг на тайлы и спокойно живёт даже на 8 ГБ. У меня на такой же 3060 SDXL после этого ходит вообще без флагов.

[kingpaul]

@infern, маленькая поправка: --medvram — это флаг Automatic1111, в ComfyUI его нет, там --lowvram и --novram. И --lowvram на 12 ГБ обычно перебор: Comfy и так сам выгружает модели по мере надобности, а с этим флагом начинает таскать веса между RAM и VRAM на каждом семплинг-шаге — скорость падает в разы. Я бы оставил его на самый крайний случай, когда всё остальное не помогло.

[Austkin]

@redislover, в дополнение к твоему пункту: проще всего глянуть nvidia-smi перед запуском — там поимённо видно, кто держит память. У меня хром с аппаратным ускорением спокойно отъедал полтора гига, плюс Windows сам резервирует несколько сотен мегабайт под композитор. На 12 ГБ это ровно та разница между «влезло» и «упало с OOM».