CUDA out of memory — собрал список того, что реально помогает (а не магия)

[makar_root]

Третий день воюю с torch.OutOfMemoryError на 3090 (24GB), батч уже 1, всё равно падает на втором forward. Что вообще можно сделать кроме как купить A100?

[ksenia8901]

Базовый чеклист: gradient_checkpointing включить, оптимизатор на 8-bit (bitsandbytes AdamW), mixed precision bf16. Это обычно режет память в 2-3 раза без потери качества.

[apiflow8899]

И gradient accumulation вместо большого батча. batch=1, accum=16 даёт эффективный батч 16, а память как у единицы. Удивительно сколько людей про это забывает.

[ksenia1921]

gradient_checkpointing помогло, дошло до эпохи! Но скорость упала процентов на 30, это норма?

[semyon_null56]

Да, это плата за пересчёт активаций на backward. 20-30% оверхед это ожидаемо. Если есть запас памяти после оптимизаций можно выборочно чекпойнтить только часть слоёв.

[codelinux601]

Ещё совет: смотри на фрагментацию. PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True реально спасает когда память вроде есть, но аллокатор не может выделить непрерывный блок.

[opsops3377]

О, вот это последнее у меня и было — падало при наличии 3GB свободных. expandable_segments починил. Спасибо всем, записал в заметки.

[asyncdocker5848]

Сохранил тред, лучше любого стековерфлоу-ответа честно.