График вероятности ложной тревоги и кривой ROC

Как построить график ложных срабатываний на окно в зависимости от частоты промахов (или вероятности ложной тревоги) и ROC (рабочая кривая приемника) для приложения обнаружения объектов с использованием видео? Как определить количество ложных срабатываний и попаданий? Примером будет очень полезный.


person Shreya M    schedule 03.02.2013    source источник
comment
У вас есть тестовый набор? Ложные срабатывания — это просто элементы, которые машина считала истинными, хотя на самом деле они были ложными.   -  person amit    schedule 03.02.2013


Ответы (1)


Это довольно просто. Сохраните все ваши истинные положительные значения (H0) в одном массиве, а все ваши истинные отрицательные значения (H1) — в другом.

Отсортируйте оба списка.

Найдите наибольшее значение из обоих списков и наименьшее значение из обоих списков. Разделите диапазон на соответствующее число (например, 1000), это будет ваш шаг.

Теперь шаг от минимума к максимуму на величину шага.

Для каждого значения оценки найдите точку в массиве h0 и h1, которая больше этого значения. Разделите этот индекс на количество значений в массиве h0/h1 и умножьте на 100 (получив процент).

  • Ложный отказ (fr) = процент индекса h0.
  • Ложная приемка (fa) = 100 - (процент индекса h1).

Участок фа против, 100 - фр.

Для расчета EER необходимо найти минимальное расстояние между fr и fa, рассчитанное выше.

float diff = fabsf( fr - fa );
if ( diff < minDiff )
{
    minDiff = diff;
    minFr   = fr;
    minFa   = fa;
}

И затем в конце EER рассчитывается следующим образом:

float eer = (minFr + minFa) / 2.0f;

Изменить: значения, которые вы получаете для H0 и H1, представляют собой просто значения баллов, указывающие на «вероятность» того, что ваше совпадение верно. Вы должны где-то вычислить эти числа, поскольку вы должны принять решение о том, узнаете ли вы свой объект или нет, основываясь на этой оценке.

Список H0 — это баллы, которые вы получаете, когда у вас есть определенные совпадения. Список H1 — это баллы, которые вы получаете, когда у вас есть определенные несовпадения.

person Goz    schedule 03.02.2013
comment
Спасибо за ваш ответ. Но я не понял, что вы имеете в виду. Храните все ваши истинные положительные (H0) значения в одном массиве и все ваши истинные отрицательные значения (H1) в другом. Сортируйте оба списка. Что это за числа? Предположим, у меня есть 20 изображений объекта, который нужно обнаружить. Пусть количество истинных совпадений равно 15, а осталось 5 ложных совпадений. Тогда что же содержит этот список, который нужно отсортировать? Не могли бы вы также объяснить это с помощью кода? - person Shreya M; 04.02.2013
comment
@ShreyaM Ну, вы не можете рассчитать график ROC / DET, не зная своих истинных положительных и истинных отрицательных сторон ... - person Goz; 04.02.2013
comment
Как правило, у вас больше истинных негативов (H1), чем положительных (H0) - person Goz; 04.02.2013
comment
Кроме того, чтобы получить хороший график ROC, вам потребуется более 20 тестов ... всего с 20 вы получите очень плохой график ... - person Goz; 04.02.2013
comment
Итак, еще раз извините за беспокойство, но не могли бы вы объяснить на небольшом примере, какими на самом деле будут данные для истинных положительных и истинных отрицательных значений ... они определяются с помощью счетчика, скажем, подсчитывают, сколько совпадений есть. - person Shreya M; 04.02.2013
comment
Кроме того, поправьте меня, если я ошибаюсь ››1. пусть общий тест T установлен = 50, h0 = 20, h1 = 30. Должен ли h0 + h1 = T? 2. максимальное значение в h0=20 и максимальное значение в h1=30 после этого я не понимаю, что нужно делать из вашего объяснения :( - person Shreya M; 04.02.2013
comment
Спасибо, еще один последний вопрос, но у меня все еще есть сомнения относительно того, как присваивать баллы ... являются ли они вероятностными значениями? Не могли бы вы привести образец выставления баллов, поскольку я еще не следил. - person Shreya M; 05.02.2013
comment
@ShreyaM: Что ты имеешь в виду под ставить баллы? Ценности — это вероятности. Обычно это логарифмические вероятности (поскольку это то, что выводит GMM и другие алгоритмы), но оценки могут быть любыми. Обычно чем выше счет, тем выше показатель того, что счет представляет собой победу. - person Goz; 05.02.2013