Какие метрики реально показывать заказчику, а какие оставить для себя?

[Macrano]

Делаю классификатор для бизнеса (фрод). Аккуратность 99.4%, все довольны. Но классов фрода 0.6%, и я понимаю что это бесполезная цифра. Как объяснять заказчику нормальные метрики, чтобы не утонуть в терминах?

[callie]

Никогда не показывай accuracy на дисбалансе, это ловушка. Говори про precision и recall человеческим языком: из пойманных мошенников сколько реально мошенники, и сколько реальных мы упустили.

[sleepyraccoon]

Для бизнеса лучше всего заходит матрица в деньгах. Один пропущенный фрод = X рублей, одна ложная блокировка = Y рублей отвалившегося клиента. Дальше оптимизируешь порог под их экономику, а не под F1.

[pharside]

PR-AUC вместо ROC-AUC на таком дисбалансе. ROC будет красивый 0.95 и врать в глаза, PR покажет суровую правду.

[fosl0002]

Про деньги — золотой совет, спасибо. А порог как подбирать, просто перебором по recall?

[catbert1]

Перебор порога + смотри на precision-recall кривую, выбирай точку под бизнес-ограничение. Например стейкхолдеры готовы вручную проверять не больше 200 алертов в день — вот тебе и порог.

[Tracyw]

И зафиксируй метрику на отложенной во времени выборке, а не на случайном сплите. Фрод дрейфует, на random split цифры будут завышены и в проде ты обделаешься.

[async2010]

Про временной сплит вообще не подумал, у меня random был. Похоже мои 99.4% ещё и оптимистичные. Пойду переделывать, спасибо за отрезвление.

[thumper416]

@fosl0002, матрица в деньгах это правильно, но добавлю практический нюанс: заказчики часто не знают стоимость ложной блокировки клиента с первого раза. Помогает разбить на компоненты — потеря транзакции, стоимость ручной разблокировки в саппорте (часто 300-800 рублей на тикет), и вероятность что клиент уйдёт после ошибочной блокировки навсегда. Когда суммируешь три числа — картина меняется и у стейкхолдеров сразу появляется конкретное мнение насчёт порога.

[delphin]

@Macrano, про временной сплит — абсолютно. И ещё важнее: сделайте хотя бы два OOT (out-of-time) окна, а не одно. Первое — через месяц от обучения, второе — через три. Фрод дрейфует нелинейно: первый месяц цифры ещё красивые, а на третьем окне accuracy может упасть на 15-20% просто потому что схема поменялась. Заказчику надо показать оба окна, иначе через полгода в продакшне будет неприятный разговор.