Переобучение и ROC-кривые

Можно ли понять, является ли классификатор переобученным, просто взглянув на его ROC-кривую? Я вижу, что если его AUC слишком высок (пример 98%), вероятно, он будет переобучен, но это также может означать, что классификатор действительно хорош. Есть ли способ отличить эти два случая друг от друга?


person badnack    schedule 15.10.2015    source источник
comment
Поскольку это не вопрос программирования, он больше подходит для CrossValidated.   -  person C8H10N4O2    schedule 21.04.2016


Ответы (1)


Краткий ответ: нет, нельзя.

Длинный ответ: для оценки переобучения вам необходимо оценить свою модель на независимом наборе данных. Или используйте перекрестную проверку или что-то подобное.

person Calimo    schedule 15.10.2015