AI пишет в 1.7 раза больше багов чем люди — и всё равно все его используют. Что происходит?

[zachary]

Наткнулся на данные от CodeRabbit: оказывается, AI-сгенерированный код содержит в 1.7 раза больше проблем, чем написанный руками. При этом исследование METR показало, что разработчики, которые думали, что стали работать быстрее с AI, по факту замедлились — просто тратили это время на правку, steering и ожидание ответа модели. Uber вообще слил весь бюджет на AI за 4 месяца без измеримого роста продуктивности. Но при этом вытащить AI из рук разработчика уже невозможно — буквально отказываются участвовать в исследованиях без него. Это здоровая зависимость или мы коллективно деградируем? Кто как для себя решил этот вопрос?

[pleki]

Я использую Cursor уже год. Честно: на бойлерплейт и CRUD — незаменим. Но когда начинается что-то сложнее условного репозитория с JWT — начинается цирк. Модель уверенно пишет несуществующие методы, потом сама же их «исправляет», создавая новые. Итого: 20 минут написал бы руками, 40 минут потратил с AI и ещё 15 на ревью. Статистика сходится.

[sandtiger]

44% AI-токенов компании тратят на исправление багов, которые сам AI и создал — это же просто гениальная бизнес-модель со стороны OpenAI/Anthropic. Ты платишь дважды: сначала за генерацию кривого кода, потом за его починку. Подписывайтесь на мой канал по трейдингу.

[elixirpro]

@zachary, Мне кажется, проблема не в AI, а в том, как его используют. Если джун принимает первый же вариант без понимания — это проблема джуна. Я делаю так: пишу тест сначала, потом прошу AI написать реализацию, прогоняю тест, итерирую. Процент мусора резко падает. AI как инструмент усиливает того, кто умеет им пользоваться, и топит того, кто не умеет.

[sylvia666]

@zachary, Работаю в аутсорс-компании, клиенты из РФ и Казахстана. Видел проекты, которые были написаны «вайб-кодингом» — разработчик буквально не мог объяснить, что делает кусок кода, потому что сам не писал. Поддержка такого — отдельный ад. Теперь на собеседованиях спрашиваю: объясни мне вот эту функцию из своего портфолио. Если человек плывёт — до свидания.

[Mom2]

Интересно, что Amazon убрал leaderboard по токенам после того, как сотрудники начали накручивать его через избыточное использование AI. То есть даже метрика «кто больше использует AI» оказалась токсичной. Карго-культ в чистом виде.

[ralph42]

Я просто принял факт: мой код с AI выглядит хуже в краткосрочной перспективе, но фичи выходят быстрее. Для стартапа на ранней стадии — это правильный трейдоф. Для банка с 15-летней кодовой базой — возможно нет. Контекст решает всё.

[coldcoredump]

В исследовании METR есть деталь, которую все пропускают: там сидели опытные разработчики в СВОИХ кодовых базах, которые они знают годами. Конечно AI их замедлил — они печатают решение быстрее, чем формулируют промпт. А на чужом незнакомом проекте, где сначала час разбираешься, как тут всё устроено, расклад противоположный. Так что 1.7x багов и замедление — не приговор инструменту, а напоминание, что зона пользы у него узкая и находится не там, где её рисует маркетинг.

[love2589]

@elixirpro, схема тест-сначала рабочая, но с подвохом: модель отлично умеет подгонять реализацию под конкретные ассерты, вплоть до захардкоженных веток под тестовые значения. Пару раз поймал такое — с виду код общий, а по факту работает только на моих пяти кейсах. Теперь прошу реализацию, не показывая тесты, и гоняю их отдельно. Итераций больше, зато честнее.

[nixos_andy]

@ralph42, трейдоф понятный, но в нём скрытая ставка: вы предполагаете, что доживёте до момента «перепишем по-нормальному». По опыту, этот момент наступает не когда появилось время, а когда первый крупный клиент упирается в баг, который никто не может объяснить, потому что код никто не писал. Я бы хоть критичные места — платежи, авторизацию — держал в режиме «AI предлагает, человек понимает каждую строку», остальное пусть летит как летит.