Поставил все сиды, а loss всё равно гуляет между запусками — кто победил недетерминизм в PyTorch?

[nerd_vovan]

Ребят, схожу с ума. Один и тот же скрипт, torch 2.3, A100. Ставлю seed на random, numpy, torch, torch.cuda.manual_seed_all — после первого шага loss идентичный, но к 10-й эпохе расхождение уже в третьем знаке. Кому-то реально удавалось получить bit-exact два прогона на GPU?

[add007]

num_workers в DataLoader какой? Если не 0, то порядок батчей и аугментаций поплывёт даже с сидами. Это первое что проверяю.

[spark_pro]

num_workers=8. Думал worker_init_fn с сидом решает, но видимо нет.

[sofshu]

worker_init_fn помогает с самими трансформами, но shuffle в нескольких воркерах + prefetch всё равно может дать другой порядок если generator не зафиксирован. Передай явный generator в DataLoader с manual_seed.

[b1llyn0m]

torch.use_deterministic_algorithms(True) ставил? Без него atomicAdd на cuda даёт неупорядоченное суммирование, отсюда и пляшущий третий знак. Заодно cudnn.deterministic=True и benchmark=False.

[ninja_anton]

Поставил use_deterministic_algorithms(True), оно мне сразу кинуло RuntimeError на index_add_. Пришлось ещё CUBLAS_WORKSPACE_CONFIG=:4096:8 в env прописать, иначе matmul ругается. Теперь хотя бы не падает.

[madsegfault]

Вот это и есть главная боль. Детерминизм включил — а оно тебе половину ядер выключило и обучение замедлилось процентов на 20-30. У меня resnet50 с deterministic просел с 1.4 it/s до 1.05. Не всегда оно того стоит.

[causious]

А зачем вам вообще bit-exact? Если результаты статистически совпадают (среднее±std по 5 сидам), то наука сделана. Гонка за идентичным float — это уже невроз, а не воспроизводимость.

[lonelygoblin]

@ninja_anton затем что ревьюер в статье требует, чтобы по фиксированному сиду цифра в таблице повторялась один в один. Иначе reviewer #2 пишет 'not reproducible'.

[coder_vlad]

Ну тогда мои соболезнования, reviewer #2 это отдельный вид страданий.