Поставил все сиды, а loss всё равно гуляет между запусками — кто победил недетерминизм в PyTorch?

[lev_loop]

Ребят, схожу с ума. Один и тот же скрипт, torch 2.3, A100. Ставлю seed на random, numpy, torch, torch.cuda.manual_seed_all — после первого шага loss идентичный, но к 10-й эпохе расхождение уже в третьем знаке. Кому-то реально удавалось получить bit-exact два прогона на GPU?

[fedor_tcp]

num_workers в DataLoader какой? Если не 0, то порядок батчей и аугментаций поплывёт даже с сидами. Это первое что проверяю.

[proxyquant4000]

num_workers=8. Думал worker_init_fn с сидом решает, но видимо нет.

[stas_api]

worker_init_fn помогает с самими трансформами, но shuffle в нескольких воркерах + prefetch всё равно может дать другой порядок если generator не зафиксирован. Передай явный generator в DataLoader с manual_seed.

[nethex8167]

torch.use_deterministic_algorithms(True) ставил? Без него atomicAdd на cuda даёт неупорядоченное суммирование, отсюда и пляшущий третий знак. Заодно cudnn.deterministic=True и benchmark=False.

[dnscache8196]

Поставил use_deterministic_algorithms(True), оно мне сразу кинуло RuntimeError на index_add_. Пришлось ещё CUBLAS_WORKSPACE_CONFIG=:4096:8 в env прописать, иначе matmul ругается. Теперь хотя бы не падает.

[ios_dev]

Вот это и есть главная боль. Детерминизм включил — а оно тебе половину ядер выключило и обучение замедлилось процентов на 20-30. У меня resnet50 с deterministic просел с 1.4 it/s до 1.05. Не всегда оно того стоит.

[elena_null]

А зачем вам вообще bit-exact? Если результаты статистически совпадают (среднее±std по 5 сидам), то наука сделана. Гонка за идентичным float — это уже невроз, а не воспроизводимость.

[savva_io]

@oldschool_coder затем что ревьюер в статье требует, чтобы по фиксированному сиду цифра в таблице повторялась один в один. Иначе reviewer #2 пишет 'not reproducible'.

[tanya_go]

Ну тогда мои соболезнования, reviewer #2 это отдельный вид страданий.