Матрица неточностей - это матрица N * N (N = количество целевых классов), состоящая из числа прогнозируемых и фактических целевых значений. Это помогает в оценке эффективности модели классификации.

Давайте взглянем на матрицу путаницы для двоичной классификации, чтобы понять используемую терминологию.

Независимо от того, является ли сообщение спамом или нет, страдает ли пациент диабетом или нет, откажется клиент от него или нет - это несколько примеров бинарной классификации. Скажем, наша классификационная модель говорит нам, является ли животное собакой или кошкой. Нулевая гипотеза или положительное утверждение для этого примера - «Собака», а отрицательное утверждение «Кошка».

  • Истинно-положительный: положительный случай правильно предсказывается как положительный, т. е. собака предсказывается как "собака".
  • True Negative: отрицательный регистр правильно предсказывается как отрицательный, т. е. кошка предсказывается как "кошка".
  • Ложно-положительный: если отрицательный случай предсказывается как положительный, т. е. собака предсказывается как "кошка". Это ошибка типа I.
  • Ложноотрицательный: если положительный случай прогнозируется как отрицательный, т. е. кошка прогнозируется как "собака". Это ошибка типа II .

Теперь давайте посмотрим, как эти значения из матрицы неточностей помогают нам оценить эффективность классификатора.

Точность
Как часто модель классификации предсказывает правильно?
Точность 80% означает, что из 10 случаев 8 предсказываются правильно.

Точность
Всякий раз, когда классификатор предсказывает положительный результат, как часто он оказывается верным?
Значение точности 70% будет означать, что если 10 случаев предсказываются как собак, из них 3 кошки .

Отзыв / чувствительность
Это истинно положительный показатель, т. е. он отвечает на вопрос:
Из всех фактических положительных случаев, сколько из них правильно предсказаны как положительные. классификатор?
90% запоминаемости означает, что из 10 случаев собак мы пропустили 1 собаку.

Специфичность
Это истинно отрицательный коэффициент, то есть он отвечает на вопрос:
Из всех фактических отрицательных случаев, сколько из них правильно спрогнозированы классификатором как отрицательные. ?
60% специфичность означает, что мы пропустили 4 из 10 кошек и ошибочно отнесли их к собакам.

Давайте поговорим об обычном вопросе: В чем разница между Precision и Recall? или Как решить, какой из двух использовать?

Точность используется, когда ложноположительный результат важнее, чем ложноотрицательный.
Например, неправильные результаты в системе рекомендаций по музыке могут расстроить клиентов и привести к уходу.

Напомним, с другой стороны, используется в тех случаях, когда ложные срабатывания не действительно вредны, а ложные отрицательные. Например, классификатор сообщает нам, болен ли пациент диабетом или нет. Если пациент ошибочно классифицируется как диабетик (FP), другие проведенные тесты могут решить эту проблему. Но представьте, что если диабетик классифицируется как недиабетический (FN), это вызовет проблему, так как пациент останется без присмотра.

В некоторых случаях мы не можем понять, какая из Точность или Напоминание важнее, поэтому лучше их комбинировать. Итак, мы используем F-score.

F-Score / F1-Score
Это гармоническое среднее значение запоминания и точности.
Значение F1-балла, стремящееся к 1, считается быть лучшим, а стремление к 0 - худшим. Это может быть полезно в классификациях, в которых истинное отрицание не имеет большого значения.

AUC-ROC
Кривая ROC - это характеристика оператора приемника. AUC-ROC - это площадь под кривой ROC. ROC - это график истинно положительной скорости (TPR) против истинно отрицательной скорости (TNR) с TPR на оси y и FPR на оси x. Он дает общую оценку эффективности классификатора.
Чем больше площадь под кривой ROC, тем лучше модель различает классы.

AUC около 1 - классификатор хорошо умеет различать классы, т. е. как положительные, так и отрицательные случаи будут предсказаны правильно.
AUC около 0,5 - w или в лучшем случае, как классификатор вообще не способен различать классы.
AUC около 0 - классификатор будет иметь обратный эффект, т.е. все положительные результаты будут предсказаны как отрицательные и наоборот.

Спасибо за внимание!

Подключиться: «https://www.linkedin.com/in/akshada-gaonkar-9b8886189 секс/