Поставил все сиды, а loss всё равно гуляет между запусками — кто победил недетерминизм в PyTorch?

[vadim_daemon]

Кстати, между версиями torch вообще никто не обещает воспроизводимость. У меня модель обученная на 1.13 и 2.1 давала разный loss на одинаковом сиде, потому что поменяли реализацию SDPA (flash attention). Так что зафиксируйте ещё и версию в requirements намертво.

[tcploop1339]

+1 к фиксации версий. И не только torch, а cuda toolkit и драйвер. cudnn между минорными версиями тоже алгоритмы свопает.

[roman_ml29]

Замечу: bench=False убивает автотюнинг свёрток, для фиксированного размера входа это прям больно. Если у тебя image size постоянный, benchmark=True наоборот ускоряет, но ценой недетерминизма. Классический trade-off.

[arseny_cache]

А я думал поставил seed=42 и всё, как в туториалах пишут ))) оказывается там целый ад под капотом

[jscode1641]

@ai_enjoyer ага, seed=42 в ноутбуке на CPU работает прекрасно. А потом ты выкатываешь на мультигпу с DDP и понимаешь что у каждого ранка свой сид нужен, иначе все воркеры генерят одинаковые аугментации и ты фактически уменьшаешь разнообразие данных.

[ivan4259]

Короче подытожу что у меня сейчас работает приемлемо: generator с manual_seed в DataLoader, num_workers оставил 8 но с worker_init_fn, use_deterministic_algorithms(True), CUBLAS_WORKSPACE_CONFIG в env, версии заморожены. Bit-exact на GPU так и не получил между разными машинами, но на одной и той же — да. Между CPU и GPU даже не пытаюсь, это в доке прямо написано что не гарантируется.

[luka_lab]

Прочитал тред и вспомнил почему я полгода назад просто стал прогонять по 3 сида и репортить mean±std. Спокойствие дороже.

[roman_sigma]

@senior_burnout честно, к этому и иду. Спасибо всем, реально помогли.