Наука о данных
Часть 2 Метрики оценки для задач классификации в машинном обучении
Полное руководство по оценке точности модели и эффективности модели классификации машинного обучения
Машинное обучение охватывает два основных типа задач: регрессию и классификацию. Регрессионные модели подходят для сценариев, в которых зависимая переменная является непрерывной, тогда как методы классификации используются, когда зависимая переменная является категориальной.
Для моделей регрессии, пожалуйста, прочитайте статью ниже
Существует множество способов измерения эффективности классификации. мы подробно обсудим эти показатели:
- Точность
- Матрица путаницы (не метрика, но фундаментальная для других)
- Отчет о классификации (точность и отзыв, оценка F1)
- АУК-РПЦ
Точность-отзыв является широко используемой метрикой для задач классификации.
Что такое матрица путаницы
Прежде чем углубиться в тему, давайте проясним некоторые фундаментальные термины, которые важно понимать:
Матрицы путаницы – это набор показателей, используемых для оценки эффективности модели классификации. Они предоставляют информацию о том, насколько хорошо модель способна предсказывать различные классы в наборе данных. Метрики включают истинные положительные, истинные отрицательные, ложноположительные и ложноотрицательные результаты, которые помогают понять точность, прецизионность, полноту и оценку F1 прогнозов модели.
Проще говоря, метрики путаницы позволяют измерить, насколько хорошо работает модель классификации, и выявить любые потенциальные ошибки или неправильные классификации.
Матрица путаницы представляет собой таблицу с 4 различными комбинациями прогнозируемых и фактических значений.
Это очень полезно для определения полноты, прецизионности, специфичности, правильности и, что наиболее важно, кривых AUC-ROC.
Показатели элементов путаницы:
Истинный положительный результат:
Интерпретация: вы предсказали положительный результат, и это правда (на самом деле он положительный).
Вы предсказали, что женщина беременна, и она действительно беременна.
Верно отрицательный:
Интерпретация: предсказано отрицательное, и это правда (на самом деле это положительно).
Толстяку не предсказывают беременность, и на самом деле это не так.
Ложное срабатывание: (ошибка типа 1)
Интерпретация: вы предсказали положительный результат, но он оказался ложным (на самом деле отрицательным).
Толстяку предсказывают беременность, но на самом деле это не так.
Ложноотрицательный результат: (ошибка типа 2)
Интерпретация: вы предсказали отрицательный результат, и он оказался ложным (на самом деле отрицательным).
Женщине предсказывают, что она не беременна, но на самом деле она беременна.
Точность
Общее количество правильных прогнозов/все прогнозы.
Значение точностиварьируется от 0 до 1, где 1 указывает на идеальную точность, а 0 указывает на отсутствие правильных прогнозов.
Точность
фактически положительные предсказанные/всегоположительно предсказанные результаты.
Значение точности колеблется от 0 до 1, где 1 указывает на идеальную точность (все положительные прогнозы верны), а 0 указывает на отсутствие правильных положительных прогнозов.
Отзыв/Чувствительность/Частота попаданий
правильно положительные предсказанные /общее число f фактических положительных результатов.
Значение полноты варьируется от 0 до 1, где 1 указывает на идеальную полноту (модель правильно идентифицирует все положительные экземпляры), а 0 указывает на отсутствие правильно идентифицированных положительных экземпляров.
Оценка F1
Показатель F1 определяется как среднее гармоническое точности и полноты. Он объединяет точность и полноту модели в единую оценку. Он максимален, когда Точность равна Отзыву.
Оценка F1 варьируется от 0 до 1, где оценка 1 представляет идеальную точность и полноту, а оценка 0 указывает на худшую производительность.
🎯 Ключевые моменты, которые следует помнить:
1️⃣ Оценка F1 полезна, когда вы хотите одновременно учитывать как точность, так и полноту, особенно когда классы несбалансированы, и вы хотите найти баланс между правильным прогнозированием положительных случаев (точность) и захватом всех положительных случаев (отзыв). .
AUC-ROC (Площадь под кривой рабочей характеристики приемника)
ROC (рабочая характеристика приемника) представляет собой графическое представление производительности модели бинарной классификации. Он отображает процент истинных положительных результатов (TPR) в сравнении с показателем ложных положительных результатов (FPR) при различных пороговых значениях классификации.
Высокая оценка AUC указывает на то, что модель обладает хорошей способностью к различению, т. е. она может эффективно различать положительные и отрицательные экземпляры при разных порогах классификации. И наоборот, более низкий показатель AUC-ROC предполагает, что модель с трудом различает два класса.
AUC находится в диапазоне от 0 до 1, где 0,5 указывает на случайное угадывание, а 1 – на идеальный классификатор.
🎯 Ключевые моменты, которые следует помнить:
1️⃣AUC особенно полезен в несбалансированных наборах данных, где точность может вводить в заблуждение.
Приятного чтения!!!!!!
