Является ли точность единственным показателем оценки??? «Да» и «Нет».

Является ли точность единственным показателем оценки??? Да! и нет!

Ответ: Да, а также Нет. Каждый из них приходит со своими условиями.

Когда ответ будет "Да"???

Точность может быть единственным показателем оценки производительности модели, если данные сбалансированы.

Рассмотрим другой пример. В приведенных ниже данных мы визуализируем количество собак для соответствующего класса пород. Как мы поступим в таком случае? Является ли точность единственным показателем оценки? Покажи нам.

Ответ по-прежнему Да. Потому что это зависит от порогового значения данных. Хотя данные в приведенном выше условии несбалансированы, количество вкладов в каждую породу превышает пороговое значение (т.е. 30). Следовательно, точность можно использовать для оценки производительности модели таких данных.

Итак, когда ответ будет "Нет"???

Точность не может быть единственным показателем для оценки производительности модели, когда данные полностью несбалансированы.

Одним из таких примеров вышеуказанного условия являются мошеннические данные. Количество мошеннических транзакций довольно мало по сравнению с обычной транзакцией.

В таком случае прогнозируется, что модель даст хорошую точность, но модель также предвзята и в значительной степени ориентирована на обычную транзакцию. По этой причине точность не является хорошим показателем для оценки производительности модели.

Какие еще метрики, кроме точности, можно использовать для оценки при таком дисбалансе данных???

Это Точность и Отзыв.

Точность:

Отношение истинных положительных результатов к фактическим результатам, данным моделью.

Напомнить:

Отношение истинных положительных результатов к прогнозируемым результатам, данным моделью.

Замечено, что всегда есть дополнительная метрика наряду с точностью для оценки производительности модели. Необходимо найти компромисс между точностью и точностью или точностью и полнотой.

Используя стратегию компромисса показателей, мы можем сделать хороший реалистичный вывод о результатах, которые предсказываются моделью, а также о ее производительности.

Счастливого обучения!