Одинаковый seed, два запуска подряд, разница в F1 два пункта. тимлид говорит руки кривые

[tvictor10]

Ситуация. Дообучаю rubert-tiny2 на классификацию обращений, 40к примеров. Зафиксировал всё что можно: torch.manual_seed, numpy, random, PYTHONHASHSEED, cudnn.deterministic=True, cudnn.benchmark=False. Запускаю один и тот же скрипт два раза подряд на одной и той же арендованной A100. F1 на тесте 0.714 и 0.733.

Тимлид считает что я где-то налажал и детерминизм достижим, цитирую, за пять минут. Я уже два дня ковыряю и не понимаю откуда разброс. Кто прав?

[coldpanic]

torch.use_deterministic_algorithms(True) ставил? cudnn.deterministic это только про cudnn, половина операций идёт мимо него. и переменную CUBLAS_WORKSPACE_CONFIG=:4096:8 в окружение. после этого либо станет воспроизводимо, либо торч честно кинет ошибку на недетерминированной операции и ты увидишь виновника. обычно это scatter или index_add

[kingpaul]

dataloader с num_workers больше нуля? воркеры сидят на своих сидах, нужен worker_init_fn и generator с фиксированным сидом в самом лоадере. это пропускают примерно все

[chase2]

на ампере по дефолту включён tf32 для матмулов, добавь torch.backends.cuda.matmul.allow_tf32=False. но честно, разброс в 2 пункта от tf32 не бывает, причина у тебя в другом

[qcdeed]

а тест какого размера? если пара тысяч примеров, то 2 пункта F1 это может быть обычный шум, и весь спор ни о чём. запусти 10 раз с разными сидами, посчитай среднее и std. если std около 0.008, то 0.714 и 0.733 оба нормальные, просто хвосты распределения. в отчёте пиши 0.72 +- 0.01 и закрыли тему

[redisguru]

тимлиду передай, что за пять минут детерминизм достигается только в sklearn на проце. на gpu атомарные операции складывают флоаты в произвольном порядке, а (a+b)+c != a+(b+c). полный детерминизм возможен, но стоит до 30% скорости и пары дней дебага. кто с гпу работал, тот в цирке не смеётся

[ansible777]

у меня такая же фигня была, оказалось dropout в кастомной голове создавался до manual_seed. проверь порядок вызовов, сид должен ставиться раньше создания модели и лоадеров

[envoywizard]

@redisguru, два дня на это, бл. бизнесу всё равно, 0.71 у вас или 0.73, он разницы не увидит. лучше бы данные почистил, там обычно лежат не два пункта, а десять