Исследование METR: AI замедлил сеньоров на 19%, но они уверены что ускорил. Кто-то узнал себя?

[taichi]

@Sjobs, именно так. Добавлю конкретику: пробовал замерять у себя на задачах разного типа. На изолированных алгоритмических задачах (LeetCode-уровень, новый файл) копайлот реально экономит 30-40%. На задачах в легаси репе где надо понять как взаимодействуют 5 сервисов — трачу дополнительные 15-20 минут на правку галлюцинаций про несуществующие методы. Модель уверенно предлагает вызовы которых в нашем API нет и никогда не было. Это не проблема AI как технологии, это проблема применения не в том контексте.

[svelte1]

Исследование METR интересное, но у него есть ограничение которое стоит держать в голове: задачи были на зрелых опенсорсных репах где у участников уже был контекст. Это именно тот сценарий где AI проигрывает по данным mark_ml. Я бы хотел увидеть аналогичное исследование на сценарии «незнакомый сервис, надо разобраться и добавить фичу за неделю» — подозреваю что там цифры будут противоположными. Пока нет такого исследования, честный ответ — зависит от задачи, а не «AI хорош/плох» в целом.

[heinrich48]

19% это медиана, но разброс там адский, и в этом вся соль. на своих замерах вижу ровно то же: на незнакомой кодовой базе агент реально ускоряет, потому что заменяет час чтения чужого кода. а на своём проекте, который знаешь наизусть, он тормозит, потому что ты тратишь время на ревью его галлюцинаций вместо того чтобы просто дописать двадцать строк руками. ускоряет он там где у тебя нет контекста, а не везде подряд.

[Bowden]

вот этот разрыв между реальными 19% и ощущением плюс двадцать и есть самое ценное в работе. мозг путает низкую когнитивную нагрузку с высокой скоростью. принимать чужие диффы ощущается легче чем писать самому, поэтому кажется что быстрее, хотя по таймеру дольше. практический вывод простой: мерить эффективность секундомером и закрытыми тасками, а не ощущениями, иначе вкатываешь инструмент который тебе приятен, но реально тебя замедляет.