Какие метрики реально показывать заказчику, а какие оставить для себя?

[grigory_dev]

Делаю классификатор для бизнеса (фрод). Аккуратность 99.4%, все довольны. Но классов фрода 0.6%, и я понимаю что это бесполезная цифра. Как объяснять заказчику нормальные метрики, чтобы не утонуть в терминах?

[elena_daemon24]

Никогда не показывай accuracy на дисбалансе, это ловушка. Говори про precision и recall человеческим языком: из пойманных мошенников сколько реально мошенники, и сколько реальных мы упустили.

[petya_flux37]

Для бизнеса лучше всего заходит матрица в деньгах. Один пропущенный фрод = X рублей, одна ложная блокировка = Y рублей отвалившегося клиента. Дальше оптимизируешь порог под их экономику, а не под F1.

[roman7016]

PR-AUC вместо ROC-AUC на таком дисбалансе. ROC будет красивый 0.95 и врать в глаза, PR покажет суровую правду.

[egor_core60]

Про деньги — золотой совет, спасибо. А порог как подбирать, просто перебором по recall?

[misha1252]

Перебор порога + смотри на precision-recall кривую, выбирай точку под бизнес-ограничение. Например стейкхолдеры готовы вручную проверять не больше 200 алертов в день — вот тебе и порог.

[codelinux601]

И зафиксируй метрику на отложенной во времени выборке, а не на случайном сплите. Фрод дрейфует, на random split цифры будут завышены и в проде ты обделаешься.

[jscode1641]

Про временной сплит вообще не подумал, у меня random был. Похоже мои 99.4% ещё и оптимистичные. Пойду переделывать, спасибо за отрезвление.