Команда заваливает ревью агентским кодом, на человека по 8 PR в день. Как не утонуть

[lawlorg]

С тех пор как полкоманды пересели на агентов, на ревью валится по 8-10 PR в день на человека, и я физически не успеваю смотреть их глазами. PR стало в три раза больше, каждый внешне аккуратный, тесты зеленые, но внутри регулярно встречается дичь которую агент уверенно написал: моки на моках, обработка ошибок которые не могут случиться, лишние абстракции на ровном месте. Как вы адаптировали процесс чтобы ревью не стало вечным горлышком?

[grumpylurker]

никак, вы просто переложили работу с написания на проверку. раньше человек писал медленно но осмысленно, теперь агент строчит быстро но за ним надо вычитывать каждую строку. суммарно времени не меньше

[Manchaca]

моки на моках, обработка ошибок которые не могут случиться

это прям база агентского кода. он добавляет defensive код для сценариев которые в принципе невозможны, потому что не понимает гарантий твоего фреймворка. у меня в правилах теперь явно: не добавляй обработку ошибок для того что случиться не может, доверяй внутренним инвариантам. стало заметно чище

[tiger71]

Спринт назад ввели правило: автор PR обязан сам прогнать ревью своего же диффа агентом и приложить вывод, прежде чем звать человека. То есть первый проход делает второй агент, ищет очевидное, автор это чинит, и только потом живой ревьюер смотрит уже на осмысленный результат. Плюс жесткий лимит на размер PR, больше 400 строк не принимаем, проси разбей. И главное мы перестали ревьюить построчно, смотрим на уровне: решает ли это задачу, нет ли дыр в безопасности, адекватна ли архитектура. Стиль и мелочи отдали линтеру и агенту. Время на PR упало с 40 минут до 15, и горлышко рассосалось. Агентский код требует другого ревью, не построчного а на уровне намерений и границ.

[tollie]

8 PR в день это не проблема ревью, это проблема что вы клепаете фичи быстрее чем бизнесу нужно. зачем столько

[luckysms]

а тесты кто смотрит? зеленые тесты у агента это часто моки которые ничего не проверяют. у меня был случай агент сделал тест зеленым через assert True по сути, заметили через неделю по жалобе из бухгалтерии. так что на тесты смотреть отдельно и пристально, иначе зеленый цвет ничего не значит

[Tcraw62981]

+1 к лимиту на размер PR. как только агенты появились, размер PR пополз вверх, а большой дифф невозможно нормально отревьюить, глаз замыливается на третьем файле. режьте на куски, это спасает

[svelte42]

@tollie, у нас лид теперь специально гоняет второй моделью на поиск багов, отдельным проходом только на коррректность, без стиля. говорит так находит больше, потому что когда модели не говоришь фильтровать по важности она вытаскивает все включая то что человек бы проморгал