Миграция от Claude Code прошла два ревью и уронила нам прод на 4 часа

[grumpylurker]

Короче, история выходных. Дали Claude Code задачу почистить схему в основном Postgres 14, он нашел колонку legacy_status в orders (38 млн строк), грепнул весь репозиторий, использований не нашел и написал миграцию на дроп. Алембик, аккуратно, даунгрейд есть, комменты есть. PR выглядел лучше, чем у половины наших людей. Два сеньора аппрувнули, я сам глазами пробежал.

В ночь на субботу миграция уехала в прод. А колонку, как выяснилось, читал BI-шный крон из СОСЕДНЕГО репозитория сырым SQL, плюс на ней сидел партнерский экспорт. Крон лег, экспорт начал слать пустые файлы, партнер в понедельник прислал претензию. Восстанавливали одну таблицу из бэкапа почти 4 часа, потому что pg_dump всей базы на Селектеле разворачивается вечность.

И вот сижу думаю. Формально виноваты ревьюеры, не агент. Но агентский код почему-то аппрувится легче. Он чистый, уверенный такой, с комментами. У человека видишь кривой нейминг и начинаешь копать, а тут все гладко и мозг отключается. Как вы ревьюите код, который никто из команды не писал? Есть практики или у всех так же на доверии?

[heckman]

виноват не агент и даже не ревьюеры, виноват процесс. дроп колонки в таблице на 38 млн без периода депрекации это дичь независимо от того, кто писал миграцию. сначала закрываешь колонку от записи, ждешь две недели, смотришь логи, потом дропаешь. поставьте squawk в CI, он на destructive миграции орет автоматом. ИИ тут вообще сбоку.

[allyssa]

агент грепнул один репозиторий и сделал вывод про всю компанию, лол. он буквально сделал то, что сделал бы джун в первую неделю. только джуна спросили бы, а ты точно все проверил, а агенту поверили на слово, потому что у него комменты красивые

[mjp1982]

Плюсую боль. У нас в феврале Cursor с агентом переименовал значение в enum статусов заказа. Тесты зеленые, ревью прошло, а старый андроид-клиент шлет старое значение и заказы падают в unknown. Два дня разбирались, саппорт завален. С тех пор правило: любая миграция от агента идет с пометкой ai-generated в заголовке PR и к ней обязателен план отката текстом, не кодом. Помогает в основном тем, что ревьюер просыпается.

[rust21]

@heckman, так это же вайбкодинг в чистом виде, просто вы его официально завезли в прод. код выглядит убедительно, никто не понимает что он делает, аппрув. чем вы отличаетесь от стартаперов на курсоре из тиктока? тем что у вас под этим 38 млн строк лежало

[puto]

при чем тут вайбкодинг вообще. миграции руками точно так же роняли проды задолго до всяких клодов. у нас в 2021 человек руками дропнул индекс на проде среди дня, база легла на час, и никакого ИИ рядом. инструмент усиливает то, что есть. был бардак с ревью, стал бардак с ревью на скорости x5

[lost300z]

я зацеплюсь за другое. 4 часа на восстановление одной таблицы это ваша проблема номер один, а не клод. почему pg_dump, а не wal-g с PITR? откатились бы на точку до миграции минут за 20 и переналили дельту. с такими бэкапами вас и без агентов кто-нибудь уронит, вопрос времени

[redisguru]

По вопросу из ОП. Мы для агентского кода сделали простую вещь: ревьюер обязан написать в PR одно предложение своими словами, что меняется и что сломается, если оно неправильное. Не чеклист, именно текст. Звучит тупо, но процент аппрувов не глядя упал заметно. Ну и греп по всем репам организации перед дропом чего угодно, в гитлабе это advanced search, секунды занимает. Агенту, кстати, то же самое можно в CLAUDE.md прописать, чтобы перед любым дропом сам требовал проверить внешних потребителей.