Исследование METR: AI замедлил сеньоров на 19%, но они уверены что ускорил. Кто-то узнал себя?

[lentyaj]

Наткнулся на тот самый разбор от METR. 16 опытных опенсорсников, 246 реальных задач на зрелых репах. С AI делали на 19% ДОЛЬШЕ, чем без. Но самое смешное — после замеров всё равно были уверены, что ускорились процентов на 20.

[thumper416]

Узнал себя на сто процентов. Сижу, генерю, потом полчаса вычитываю, что оно там нагородило, потом переписываю половину. По ощущениям летаю, по факту тот же таск вчера руками за 40 минут сделал бы.

[sneeke]

Это не про AI плохой, это про то что на большой кодовой базе с архитектурными правилами модель тупо не держит контекст. На изолированном лефткоде она топ, на легаси с 200 файлами зависимостей — лотерея.

[juniorredteam]

А мне реально помогает. Я в проекте месяц, половину апишек не знаю, и копайлот мне экономит кучу хождений в доку.

[kernel_veteran]

Так в исследовании ровно про это и сказано. Буст максимальный там где у тебя нет контекста и ты скаффолдишь бойлерплейт. А когда ты сам знаешь стек лучше модели — она тебя только тормозит.

[b1llyn0m]

44% сгенерённых предложений вообще доходило до прода. То есть больше половины ты просто отсматриваешь и выкидываешь. Вот тебе и весь оверхед.

[pg1]

Цифра 19% вообще ни о чём, выборка 16 человек. Можно из любых 16 разрабов вытащить какой угодно вывод.

[hogan20]

16 человек, но 246 задач и рандомизация по таскам внутри людей. Это не опрос на отвали, это нормальный within-subject дизайн. Можно докапываться к генерализации, но не к самому факту.

[Bowden]

Меня больше всего пробил разрыв восприятия. Люди объективно медленнее, и при этом субъективно уверены что быстрее. Это же определение хорошего наркотика, а не инструмента.

[heinrich48]

Не наркотик, а снятие когнитивной нагрузки. Я меньше устаю к концу дня даже если по таймеру вышло так же. Это тоже ценность, её просто в минутах не меряют.