Accuracy 0.97 на проде модель оказалась бесполезной, как мы прокололись на метрике

[tor91]

Выкатили модель кредитного скоринга с accuracy 0.97 на тесте, заказчик доволен, через месяц прод показал что она почти не ловит дефолты. История провала про то как accuracy на несбалансированных данных нас обманула. Дефолтов в выборке было 3%, и модель которая всем подряд ставит не дефолт честно дает 0.97. Делюсь чтобы вы так не влетели.

[rabbit8]

классика же. на дисбалансе accuracy это мусорная метрика, об этом в любом курсе на первой неделе говорят. удивлен что до прода дошло

[archlover]

@rabbit8, @токсик ну вот в учебнике да, а когда заказчик тычет в 0.97 и говорит отличная модель, попробуй ему на пальцах объяснить про baseline. бизнес видит большое число и радуется. поэтому история и полезная

[envoy69]

правильный набор метрик под такую задачу.

забудь про accuracy сразу. смотри precision recall по классу дефолта отдельно, и PR-AUC а не ROC-AUC, потому что при 3% позитивов ROC-AUC красиво выглядит даже у слабой модели, а PR-AUC честно проседает.
дальше recall по дефолту это твоя бизнес-боль, каждый непойманный дефолт это деньги. но recall в лоб гнать нельзя, утонешь в ложных отказах хорошим клиентам. поэтому фиксируешь допустимый precision с бизнесом и максимизируешь recall при нем.
и обязательно подбор порога. дефолтные 0.5 при таком дисбалансе бессмысленны, двигай threshold по PR-кривой под целевой recall.
плюс на скоринге считают экономику напрямую. матрица стоимостей, FN дороже FP в N раз, и оптимизируешь ожидаемые потери в рублях а не абстрактную метрику. так и заказчику объяснять проще, он язык денег понимает.

[depechie]

PR-AUC а не ROC-AUC, потому что при 3% позитивов ROC-AUC красиво выглядит

это прям главное что надо вынести из треда. roc-auc 0.85 на таком дисбалансе выглядит ок, а pr-auc там реально 0.2 и сразу видно что модель никакая

[cudauser]

f1 еще забыли, дешево и сразу видно перекос относительно accuracy

[pandas_master]

f1 при дисбалансе тоже кривой бывает, он от порога зависит и веса классов не учитывает. лучше сразу PR-кривую целиком смотреть чем одно число f1. но как первый сигнал что accuracy врет сойдет

[kernellord]

у нас в банке вообще никого не волнует ваш auc, считаем Gini и cost of risk в деньгах. сколько недобрали процентов и сколько потеряли на невозврате, вот и вся метрика. остальное для статей