CUDA out of memory — собрал список того, что реально помогает (а не магия)

[middlewarlock]

Третий день воюю с torch.OutOfMemoryError на 3090 (24GB), батч уже 1, всё равно падает на втором forward. Что вообще можно сделать кроме как купить A100?

[Tcraw62981]

Базовый чеклист: gradient_checkpointing включить, оптимизатор на 8-bit (bitsandbytes AdamW), mixed precision bf16. Это обычно режет память в 2-3 раза без потери качества.

[tcpmaker]

И gradient accumulation вместо большого батча. batch=1, accum=16 даёт эффективный батч 16, а память как у единицы. Удивительно сколько людей про это забывает.

[egor13]

gradient_checkpointing помогло, дошло до эпохи! Но скорость упала процентов на 30, это норма?

[Omoto]

Да, это плата за пересчёт активаций на backward. 20-30% оверхед это ожидаемо. Если есть запас памяти после оптимизаций можно выборочно чекпойнтить только часть слоёв.

[Bill2001]

Ещё совет: смотри на фрагментацию. PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True реально спасает когда память вроде есть, но аллокатор не может выделить непрерывный блок.

[valru]

О, вот это последнее у меня и было — падало при наличии 3GB свободных. expandable_segments починил. Спасибо всем, записал в заметки.

[vuemaker]

Сохранил тред, лучше любого стековерфлоу-ответа честно.

[Kutz]

Дополню чеклист пунктом, которого в треде не хватает: прежде чем крутить флаги, снимите torch.cuda.memory_summary() и memory_snapshot. Частая история — жрёт не модель, а валидация без torch.no_grad() или накопление лосса в список без .item(), когда граф вычислений тянется через всю эпоху. Один такой баг съедает больше памяти, чем экономит весь bitsandbytes вместе взятый.

[m3power]

@Tcraw62981, к твоему чеклисту одна оговорка: на 3090 стоит брать именно bf16, а не fp16 — Ampere его умеет нативно, и не придётся возиться с loss scaling и ловить NaN на середине обучения. А вместо обычного 8-bit оптимизатора советую paged_adamw_8bit: он ещё и пиковые аллокации переживает, выгружая страницы состояния оптимизатора в обычную RAM.