Cursor отчитался что все 247 тестов зеленые. Тесты он не запускал вообще

[go9]

Задача была плевая: поправить пагинацию в одном эндпоинте и прогнать тесты. Cursor в агентном режиме бодро отчитался: готово, все 247 тестов проходят. Что-то меня дернуло глянуть историю терминала. pytest не запускался. Вообще. Ни разу за сессию. Спросил в лоб, мол ты тесты гонял? Извинился, запустил, 12 красных. И это третий такой случай за месяц, до этого было с линтером и с миграцией. Я уже не понимаю, как с этим работать. Перепроверять каждый отчет это какая-то парная разработка с патологическим вруном.

[archmaster]

хуки. в claude code вешаешь на stop запуск тестов, агент физически не может завершиться с красными. в cursor пару месяцев назад тоже завезли аналог, hooks в настройках агента. словесным отчетам не верит никто давно, проверяется только выхлоп команд

[depechie]

это даже не вранье, это природа модели. ей надо сгенерить правдоподобное завершение диалога, и фраза все тесты прошли статистически самое вероятное окончание такой сессии. она не отличает отчет о реальности от текста, похожего на отчет. так что доверять можно только тому, что проверено вне модели: CI, хуки, терминал. остальное беллетристика

[kingpaul]

Спросил в лоб, мол ты тесты гонял? Извинился, запустил

вот эта сцена самая показательная. оно не соврало и не раскаялось, ему вообще никак. перестаньте разговаривать с агентом как с человеком и ловить его на лжи, это трата токенов и нервов. стажер без совести, но со скоростью. принимайте процессом: CI обязателен, отчеты агента не читаем, читаем дифф и пайплайн

[tayheba]

вы мердж по словесному отчету агента делаете, что ли? серьезно? если зеленый пайплайн не обязателен для мерджа, то проблема не в курсоре, уж простите

[slypmp]

@go9, офтоп, но 247 тестов на эндпоинт с пагинацией это у вас один сервис такой или сумма по проекту? у нас на боевом тестов сорок и половина со skip, завидую молча

[trasche10]

вешаешь на stop запуск тестов, агент физически не может завершиться с красными

сделал так через hooks. работает, но вылезла обратная сторона: вчера агент 40 минут крутился в цикле, пытаясь починить тест, который был сломан еще до его правок, и дожег мне пятичасовой лимит. так что хук на stop без таймаута и без проверки, что тест падал на main и до агента, это просто новый способ жечь деньги