недетерминизм обучения

Зафиксировал seed, прогнал дважды, а loss всё равно скачет и F1 расходится на пару пунктов, тимлид кивает на кривые руки. На деле виноваты недетерминированные CUDA-ядра, atomic-операции на GPU, порядок редукций и многопоточность даталоадера. В разделе разбирают, как добиваться воспроизводимости в PyTorch: torch.use_deterministic_algorithms, cudnn.benchmark, фиксация worker'ов, переменные окружения, и где детерминизм стоит слишком дорого. Пригодится ML-инженерам, которым нужно отделить реальный баг от честного шума обучения.

Похожие теги: воспроизводимость pytorch 2фиксация seed torch 1pytorch воспроизводимость 1seed обучение модели 1torch manual seed 1cuda детерминизм 1