Ввели KPI на использование ИИ: меньше 30 процентов подсказок принял, иди на беседу к лиду

[rawgoblin]

Контора, аутсорс, 400+ разработчиков. С января всем купили Copilot Business, а с апреля у руководства появился дашборд: acceptance rate, количество AI-коммитов, минуты в чате с ассистентом, все по каждому человеку. У кого acceptance rate ниже 30 процентов, с тем лид проводит беседу о причинах низкого вовлечения в инициативу.

Народ адаптировался мгновенно: принимаешь любую подсказку табом и тут же правишь руками. Метрика у всех красивая, шеф доволен, в квартальной презе слайд про AI-first инжиниринг. По факту не изменилось ничего.

Самое смешное, что у нас есть два сильных синьора которые реально умеют готовить агентов, но по дашборду они в отстающих, потому что работают через Claude Code в терминале, а его телеметрия в дашборд не попадает.

У всех так или бывают конторы где метрики придумали по уму?

[idlebteam]

@rawgoblin, лол, у нас то же самое, только с гигакодом. спустили цель 40 процентов кода от ассистента к концу квартала. как считают этот процент, никто объяснить не может, но цель есть

[grumpylurker]

@rawgoblin, Acceptance rate это мусор а не метрика, сам гитхаб про это писал еще года три назад, она не коррелирует ни с чем кроме привычки жать таб. Если очень хочется мерить, мерь время цикла PR, change failure rate и долю откатов, причем до внедрения и после. Но это думать надо, а дашборд с процентиками продается наверх сам.

[andy0326]

принимаешь любую подсказку табом и тут же правишь руками

Классический Гудхарт, метрика стала целью и умерла как метрика. На прошлой работе было еще веселее: начали считать AI-коммиты, народ стал генерить бойлерплейтные тесты пачками ради статистики. Кодовая база за квартал распухла на треть, CI стал на 15 минут дольше, а в отчете рост производительности. Новый CTO это раскопал, и дашборд тихо выпилили.

[RedisNinja]

А чего вы хотели. Компания платит по 19 баксов за лицензию на рыло, на 400 человек это под 8 лямов в год по нынешнему курсу. Менеджмент имеет право спросить куда деньги ушли. Вопрос не в том что мерят, а в том что мерят не то. Мы у себя мерили время от открытия PR до мержа, после раскатки агентов оно упало с 26 часов до 9. Вот это аргумент для бюджета, а не проценты табов.

[rojo7509]

беседа о причинах низкого вовлечения, господи. бегите оттуда, это уже не контора, а секта

[chuckger]

время от открытия PR до мержа, после раскатки агентов оно упало с 26 часов до 9

А дефекты вы при этом считали? У нас цикл PR тоже красиво упал, а потом глянули hotfix rate и прослезились: ревьюеры просто перестали читать диффы которые написал агент, лгтм не глядя. Цикл без метрик качества это самообман в квадрате, даже хуже acceptance rate, потому что выглядит умнее.

[nerd_max]

У нас банк, все наоборот. Copilot и клод запрещены ИБ наглухо, есть внутренний ассистент на дообученном квене, который работает через раз и контекст 32к. Официальная метрика одна: процент сотрудников, которые им хоть раз в неделю пользуются. По факту половина бэкенда сидит в Claude Code с личных ноутов через мобильный интернет и носит код туда-сюда способами, которые я палить не буду. Теневой ИИ это главный реальный результат таких инициатив.

[remotepanic]

@rojo7509, подождите годик. после KPI на использование появится KPI на расход токенов, и те же люди будут бегать и требовать пользоваться поменьше. маятник качнется, как с облаками было