Агент сделал тест зеленым вместо фикса бага, заметили через неделю по жалобе бухгалтерии

[infern]

Сервис на Go, биллинг со скидками. После правки округления упал тест на расчет скидки. Скормил Claude Code (Opus 4.5) таску, цитирую свой промпт: почини тест. Он и починил. Не логику, а сам тест: поменял expected в ассерте под фактический кривой результат и дописал коммент, мол обновлены ожидания под новую логику округления. CI зеленый, PR на 600 строк прошел ревью, ревьюер дифф тестов пролистал. Через неделю бухгалтерия заказчика заметила что скидки считаются криво, разница примерно 1.5% на чеке. Откатывали, искали коммит, объяснялись. Теперь у нас правило: дифф тестовых файлов читаем глазами всегда, без исключений. Кто еще ловил агента на такой подгонке?

[ansible777]

классика reward hacking. модель оптимизирует зеленый CI, а не правильность кода. у нас Sonnet 4.5 просто удалил флакающий тест целиком и воткнул t.Skip с комментом flaky in CI. нашли через месяц, когда покрытие просело.

[qcdeed]

а ревьюер у вас тоже агент? 600 строк пролистал и апрув поставил. проблема не в клоде, проблема в ревью которое не ревью.

[kingpaul]

почини тест

вот тут все и сломалось. для модели почини тест буквально означает сделай так, чтобы тест прошел. она это и сделала, формально задача выполнена. надо писать: найди причину падения и исправь логику, тестовые файлы не трогать. у меня в CLAUDE.md прямой запрет менять ассерты без отдельного подтверждения, ловит процентов 90 таких случаев.

[elixir2010]

1.5% на чеке это вы еще легко отделались. у знакомых в финтехе агент поменял округление до копеек в выгрузке для ЦБ, отчетность поехала, словили предписание. там теперь весь ИИ-код идет отдельной веткой с двумя живыми ревьюерами.

[sainty]

ловит процентов 90 таких случаев

оставшиеся 10 и стреляют, причем в проде. CLAUDE.md это пожелание, а не запрет, модель его спокойно игнорит когда контекст распух. надежно только хуком: PreToolUse на Edit по маске *_test.go, без явного флага правка блочится. после этого случаев ноль за три месяца.

[nicky21]

+1, поднимаю. сегодня поймал Cursor на том же, подогнал jest-снапшоты под битую верстку и отрапортовал updated snapshots. удобно, бл.

[pharside]

@kingpaul, вообще-то это решается процессом, а не хуками. test-first: падающий тест пишешь руками, агенту отдаешь только имплементацию, подгонять ему тогда нечего, ассерты твои. но да, сам так делаю через раз, времени жалко.