Матрица путаницы и ROC, AUC

Определения:

Матрица путаницы — — также называется таблицей непредвиденных обстоятельств, таблицами ошибок, она используется в машинном обучении для оценки производительности классификатора.
Коэффициент ошибок типа I — — – это вероятность отклонения нулевой гипотезы при условии, что она верна. Обычно уровень вероятности значимости устанавливается равным α=0,05.
P-значение — —вероятность получения результатов, столь же экстремальных, как (или более экстремальных), чем наблюдаемые результаты эксперимента, при условии, что нулевая гипотеза верна.
Статистически значимый — —Если в результате проверки гипотезы p-значение меньше уровня значимости, результат проверки гипотезы называетсястатистически значимым.
Связь между ошибкой типа I и p-значением — —Если уровень значимой вероятности α установлен равным 0,05, а результат теста статистически значим, мы отклоним нулевую гипотезу. Однако нулевая гипотеза на самом деле верна, поэтому мы ложно отвергаем (истинную) нулевую гипотезу, и максимальная вероятность принятия неправильного решения равна α = 0,05.
Коэффициент ошибок типа II — — это вероятность не отвергнуть нулевую гипотезу, когда на самом деле верна альтернативная гипотеза.

При диагностике болезни учитывают:

Чувствительность — —относится к способности теста правильно выявлять больных пациентов, у которых действительно есть заболевание (= ошибка 1-типа 2).
Специфичность —относится к способности теста правильно отклонять здоровых пациентов без состояния (= 1- ошибка типа 1).

Связи между приведенными выше определениями:

где: TP = True Positive; FP = ложное срабатывание;

TN = True Negative; FN = ложноотрицательный результат

Пороги дискриминации:

Зачем нужно смотреть на пороги?

В медицинских исследованиях иногда мы хотим более точно идентифицировать болезнь, тогда мы хотим выбрать модель с более высокой чувствительностью за счет пониженной специфичности. Но иногда важнее правильно идентифицировать здоровых людей, тогда мы выберем модель с более высокой специфичностью. Однако взаимосвязь между ними показана на графике ниже. Когда мы повышаем чувствительность, специфичность снижается, и наоборот.

ROC (рабочая характеристика приемника)Кривая

Кривая ROC представляет собой график зависимости чувствительности от (100 - специфичность). Он иллюстрирует диагностические возможности классификатора при изменении порога различения.

На следующей кривой ROC две точки (красная и зеленая) находятся на двух разных порогах принятия решения. Зеленая точка имеет очень высокую чувствительность, но низкую специфичность. Хотя красная точка имеет чуть меньшую чувствительность, она обладает большей специфичностью по сравнению с жадной точкой.

AUC (площадь под кривой) и C-статистика

1, AUC обеспечивает совокупную меру производительности по всем возможным пороговым значениям классификации. Так что это порогово-инвариантно.

2, AUC = C-статистика = Статистика соответствия: измеряет вероятность совпадения в случайно выбранной паре субъектов. Точнее, они берут все возможные пары больных и здоровых людей, затем вычисляют долю пар (p(болеют среди больных) › p(болят среди здоровых) всех пар.

3. Они обычно используются в моделях логистической регрессии и выживания.

4. Чем ближе к 1, тем лучше модель способна правильно классифицировать результаты.

Матрица путаницы и ROC, AUC