Какие метрики реально показывать заказчику, а какие оставить для себя?
Рейтинг: 69.2% · 101 голосов
Войдите, чтобы голосовать
Голосовать «За» и «Против» могут только авторизованные пользователи. Войдите в свой аккаунт — или зарегистрируйтесь, это займёт минуту.
Нет аккаунта? Зарегистрироваться
Re: Какие метрики реально показывать заказчику, а какие оставить для себя?
Из практики: заказчикам лучше всего заходит одна агрегированная бизнес-метрика вместо набора recall/precision. Например: «модель экономит X рублей в день при Y ложных блокировок в день». Это превращает ML-задачу в операционный рычаг — руководство понимает трейдофф и само выбирает точку на кривой. Дальше вы просто технически обеспечиваете выбранный режим, а споров о том что такое F1 не возникает вообще.
✔ Лучший ответ сформирован автоматически — thumper416
@fosl0002, матрица в деньгах это правильно, но добавлю практический нюанс: заказчики часто не знают стоимость ложной блокировки клиента с первого раза. Помогает разбить на компоненты — потеря транзакции, стоимость ручной разблокировки в саппорте (часто 300-800 рублей на тикет), и вероятность что клиент уйдёт после ошибочной блокировки навсегда. Когда суммируешь три числа — картина меняется и у…
Поделиться темой:
✈ Telegram
VK
- Похожие темы
-
-
-
- Вайбкоднул заказчику CRM за пять дней, через два месяца проект сдох. Постмортем
7 ответов · 66 просмотров
-
-
-
- Яндекс закрывает бесплатный тариф Метрики для крупных сайтов слух или правда
6 ответов · 54 просмотров
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость