Когда мы строим модель машинного обучения после ее обучения на обучающих данных, мы часто хотим знать, как эта модель будет работать в реальном мире. Следовательно, мы также тестируем его на невидимых данных перед развертыванием в облаке для производства. Но как можно быть уверенным, что наша модель действительно работает хорошо или нет? Таким образом, оценка моделей машинного обучения до их развертывания является решающим шагом для оценки его производительности. В этом случае на помощь приходит Матрица путаницы.
Когда я впервые столкнулся с этим термином, разбираясь в машинном обучении, моя первая реакция была похожа на описанную ниже. 😝
Матрица путаницы ? Шутки в сторону? Как они вообще пришли к этим условиям?
Однако, как бы расплывчато и запутанно это ни звучало, матрица неточностей, также известная как матрица ошибок, является одним из наиболее полезных показателей для оценки эффективности вашего классификатор (модель классификации).
Определение
Матрица путаницы - это, по сути, квадратная матрица размера nXn, которая описывает производительность модели, где n представляет количество классификаций, которые модель пытается предсказать. Это может быть двоичная классификация (матрица 2X2) или мультиклассовая классификация (nXn).
Понимание работы Матрицы путаницы
Давайте теперь поймем, как матрица неточностей помогает нам оценить производительность модели по бинарной классификации 2X2.
Например, допустим, мы хотим предсказать, страдает ли человек диабетом или нет, что явно является бинарным классификация (0/1 или Да / Нет).
Строки представляют собой прогнозируемые значения, которые прогнозирует наша модель.
Столбцы представляют собой фактические значения, которые мы знаем заранее.
Основная диагональ, то есть ячейки (1, 1) и (2, 2), представляют значения, которые правильно предсказываются нашей моделью.
В то время как все остальные ячейки представляют значения, которые неверно предсказываются нашей моделью.
Давайте глубже разберемся с каждой ячейкой, с которой мы имеем дело.
- Ячейка (1, 1) показывает, что наша модель классифицирует человека как диабетика, и он / она на самом деле диабетик. Это также известно как Истинно положительный.
- Ячейка (2, 2) показывает, что наша модель классифицирует человека как НЕ диабетик, и он / она на самом деле НЕ диабетик. Это также известно как Истинно-отрицательное.
- Ячейка (1, 2) означает, что наша модель классифицирует человека как диабетика, и он / она на самом деле НЕ диабетик. Это также известно как ложное срабатывание.
- Ячейка (2, 1) показывает, что наша модель классифицирует человека как НЕ диабетик, и он / она на самом деле диабетик. Это также известно как Ложноотрицательный.
ЗАМЕТКА:
Ложно-отрицательный результат также известен как ошибка типа 1.
Точно так же ложноотрицательный результат также известен как ошибка типа II.
Одними из показателей, которые можно вывести из матрицы неточностей, являются точность и ошибка в процентах.
- точность (%) = (истинно положительное + истинно отрицательное) * 100 / Total_values
- error (%) = (False Negative + False Negative) * 100 / Total_Values
где Total_values = TP + TN + FP + FN
В идеале в нашей модели машинного обучения количество ошибок типа I и типа II должно быть как можно меньше.
В зависимости от постановки задачи и ее варианта использования мы должны знать, до какого процента ошибок наша модель приемлема.
Например, постановка задачи для обнаружения рака груди должна иметь чрезвычайно низкий уровень ошибки. Только представьте себе ситуацию, если мы скажем, что кто-то НЕ болеет раком, хотя на самом деле он болен. 😲
Существуют определенные методы повышения производительности модели, но в этом посте мы сосредоточимся только на аспекте оценки.
Из приведенной выше матрицы неточностей мы могли бы также рассчитать некоторые дополнительные меры для оценки и дальнейшего понимания нашей модели. Некоторые из них перечислены ниже:
- Чувствительность и специфичность
Чувствительность измеряет, насколько хорошо модель способна обнаруживать события положительного класса. Он рассчитывается как количество правильных положительных прогнозов, разделенное на общее количество фактических положительных значений.
Чувствительность = Истинно-положительный / (Истинно-положительный + ложно-отрицательный)
Специфичность измеряет, насколько хорошо модель способна обнаруживать события отрицательного класса. Он рассчитывается как количество правильных отрицательных прогнозов, разделенное на общее количество фактических отрицательных значений.
Специфичность = Истинно отрицательный / (Истинный отрицательный + ложноположительный)
- Точность и отзывчивость
Точность - это отношение количества правильных положительных прогнозов к общему количеству предсказанных положительных значений.
Точность = истинно положительное / (истинное положительное + ложное положительное)
Напомнить - это отношение количества правильных положительных прогнозов к общему количеству фактических положительных значений. (Чувствительность)
Отзыв = Истинно положительный / (Истинно положительный + ложноотрицательный)
- Оценка F
Оценка F или F-мера сочетает в себе точность и отзыв.
Это среднее гармоническое значение точности и отзыва.
Оценка F = 2 * (отзыв * точность) / (отзыв + точность )
