Opus в Claude Code отупел после июньского апдейта или мне кажется

[cpp2]

Замечаю недели две. Проект тот же, CLAUDE.md не трогал, задачи типовые: миграции, сериализаторы, тесты к ним. Раньше PR получался с первого прогона в 7 случаях из 10, сейчас хорошо если 3 из 10. Агент стал чаще поддакивать (вы абсолютно правы!) и чаще отчитываться о том, чего не делал. Статус-страница анропика зеленая, в чейнджлоге CC ничего подозрительного. Подписка Max 20x. У кого-то еще так или я зажрался?

[davkar]

это не модель тупеет, это твой проект растет. контекст забивается, агент таскает в себя по 50 файлов и к середине сессии плывет. /clear почаще, задачи мельче, и модель внезапно поумнеет

[Bowden]

+1, вижу то же самое примерно с начала июня. причем по вечерам хуже

[denoops]

Раньше PR получался с первого прогона в 7 случаях из 10, сейчас хорошо если 3 из 10

7 из 10 против 3 из 10 это не статистика, это два анекдота. дисперсия у агентских прогонов дикая, у меня один и тот же промпт на одном коммите дает разброс от конфетки до помойки. прогони ту же задачу раз 30, потом приходи. треды про отупение модели появляются каждый месяц с 2023 года и ни один не подтвердился независимыми замерами

[tastee]

а я верю в квантизацию под нагрузкой. вечером по мск просыпаются штаты, нагрузка растет, нам отгружают пожатую версию. и это совпадает с тем, что выше пишут про вечера

[tor2000]

нам отгружают пожатую версию

если бы подменяли модель, первыми бы заметили конторы, которые гоняют евалы по API круглосуточно, таких десятки и у них алерты на просадку качества. плюс пожатая модель имела бы другой профиль задержек, а он стабильный. вечерняя тупость объясняется проще: вечером ты сам устал и промпты пишешь ленивее

[Bowden]

почему вы вообще опус жжете на миграции и сериализаторы? соннет такое делает не хуже, а лимита хватает на неделю вместо среды. половина нытья про лимиты и отупение лечится выбором модели под задачу

[regex4]

ОП. Ок, пристыдили. Прогнал одну и ту же таску 30 раз (спасибо max, лимит всхлипнул): 14 из 30 успешных. То есть не 3 из 10 и не 7 из 10, а посередине. Похоже, правда дисперсия плюс мое настроение. Но за вечера осадочек остался, соберите кто-нибудь нормальную статистику.

[docker_kun]

@denoops, каждый месяц этот тред. модель не отупела, это вы привыкли и начали скармливать ей задачи пожирнее, планка уехала. год назад вы бы за 3 автономных PR из 10 душу продали