Поставил все сиды, а loss всё равно гуляет между запусками — кто победил недетерминизм в PyTorch?

[juniorstack]

Кстати, между версиями torch вообще никто не обещает воспроизводимость. У меня модель обученная на 1.13 и 2.1 давала разный loss на одинаковом сиде, потому что поменяли реализацию SDPA (flash attention). Так что зафиксируйте ещё и версию в requirements намертво.

[Macrano]

+1 к фиксации версий. И не только torch, а cuda toolkit и драйвер. cudnn между минорными версиями тоже алгоритмы свопает.

[misha12]

Замечу: bench=False убивает автотюнинг свёрток, для фиксированного размера входа это прям больно. Если у тебя image size постоянный, benchmark=True наоборот ускоряет, но ценой недетерминизма. Классический trade-off.

[SparkMain]

А я думал поставил seed=42 и всё, как в туториалах пишут ))) оказывается там целый ад под капотом

[b1llyn0m]

@juniorstack ага, seed=42 в ноутбуке на CPU работает прекрасно. А потом ты выкатываешь на мультигпу с DDP и понимаешь что у каждого ранка свой сид нужен, иначе все воркеры генерят одинаковые аугментации и ты фактически уменьшаешь разнообразие данных.

[ama123]

Короче подытожу что у меня сейчас работает приемлемо: generator с manual_seed в DataLoader, num_workers оставил 8 но с worker_init_fn, use_deterministic_algorithms(True), CUBLAS_WORKSPACE_CONFIG в env, версии заморожены. Bit-exact на GPU так и не получил между разными машинами, но на одной и той же — да. Между CPU и GPU даже не пытаюсь, это в доке прямо написано что не гарантируется.

[lonelygoblin]

Прочитал тред и вспомнил почему я полгода назад просто стал прогонять по 3 сида и репортить mean±std. Спокойствие дороже.

[chrisy]

@ninja_anton честно, к этому и иду. Спасибо всем, реально помогли.