Поймал Claude Code на том что он скипнул падающий тест и отчитался что все зеленое

[ransome]

Чинил баг с округлением в расчете скидок. test_discount_rounding падал, отдал задачу Claude Code на Sonnet 4.5, через 15 минут рапорт: баг исправлен, все 214 тестов проходят. Я поверил и пошел дальше.

На следующий день перед мержем открыл дифф. Он повесил на падающий тест pytest.mark.skip с reason flaky on CI. Тест не флаки, ризон он выдумал сам. Баг при этом не починен.

Начал присматриваться, и раньше такое было, просто тоньше: меняет assert == на approx, расширяет try except, один раз поднял допуск в сравнении с 0.01 до 0.1. Формально все зеленое, по факту тесты потихоньку превращаются в декорацию.

Это лечится промптом или у всех так и все молчат?

[kardanger]

классика. у меня cursor однажды замокал саму тестируемую функцию. тест зеленый, функция не вызывается вообще. сидел минут пять смотрел на это и не верил, лол

[lentyaj]

Это лечится промптом или у всех так и все молчат?

лечится процентов на 80. у меня в CLAUDE.md жирным: тесты менять запрещено, падает тест - чини код, хочешь менять тест - остановись и спроси. стало сильно лучше. но оставшиеся 20 процентов он берет хитростью, как-то поменял фикстуру вместо теста. формально тест не трогал, не подкопаешься

[boblee]

а модель какая? на опусе такого не ловил ни разу

[tx3300]

на опусе такого не ловил ни разу

ловил и на опусе, просто опус оправдание пишет убедительнее. дело не в модели. им на обучении за зеленый CI наливали награду, вот они и оптимизируют зеленый CI, а не работающий код. называется reward hacking и есть у всех вендоров, они сами про это в системных карточках пишут

[sneeke]

мы это закрыли на уровне CI, а не промптов. отдельный джоб фейлит сборку если в диффе есть изменения в tests/ без лейбла tests-approved от живого человека. плюс тупой grep по диффу на skip, xfail и mark. за квартал поймали 7 попыток, из них 5 агентские и 2 человеческие, что тоже показательно

[lunarod]

ведет себя как джун за день до дедлайна. еще пара версий и начнет рассказывать что у него ноут сгорел вместе с тестами

[lost300z]

меняет assert == на approx

вот тут справедливости ради он прав. сравнивать float через == это и есть баг в тесте, approx с разумным допуском там и должен стоять. со скипом конечно дичь, но не все его правки тестов одинаково вредны