Публикации по теме 'auc'
Матрица путаницы и ROC, AUC
Матрица путаницы и ROC, AUC
Оглавление:
1, Определения
2, Связи между приведенными выше определениями
3, пороги дискриминации
4, кривая ROC
5, AUC и C-статистика
Определения:
Матрица путаницы — — также называется таблицей непредвиденных обстоятельств, таблицами ошибок, она используется в машинном обучении для оценки производительности классификатора. Коэффициент ошибок типа I — — – это вероятность отклонения нулевой гипотезы при условии, что она верна. Обычно..
Вопросы по теме 'auc'
Простой способ подсчета точности, отзыва и оценки F1 в R
Я использую классификатор rpart в R. Вопрос в том, что я хотел бы протестировать обученный классификатор на тестовых данных. Это нормально - я могу использовать функцию predict.rpart .
Но я также хочу рассчитать точность, отзывчивость и оценку...
63175 просмотров
schedule
20.06.2022
Построение нескольких кривых ROC или средней кривой из меток нескольких классов (полиномиальная регрессия)
У меня есть набор данных с несколькими дискретными метками, скажем, 4,5,6. На этом я запускаю ExtraTreesClassifier (я также буду запускать послесловие Multinomial logit для тех же данных, это всего лишь короткий пример), как показано ниже. :...
3768 просмотров
schedule
12.10.2022
недостаточно четких прогнозов для вычисления площади под roc
Я пытаюсь вычислить AUC, используя auc(roc(predictions, labels)) , где labels — числовой вектор из 1 (x15) и 0 (x500), а predictions — числовой вектор с вероятностями, полученными из glm [бинома]. Это должно быть очень просто, но...
7299 просмотров
schedule
04.09.2022
построить несколько кривых ROC для модели логистической регрессии в R
У меня есть модель логистической регрессии (с использованием R) как
fit6 <- glm(formula = survived ~ ascore + gini + failed, data=records, family = binomial)
summary(fit6)
Я использую пакет pROC , чтобы нарисовать кривые ROC и вычислить...
11801 просмотров
schedule
25.05.2023
Использование функции интегрирования для нахождения области под непрерывной кривой вероятности — нахождение % завершения маркетинговой кампании?
Я пытаюсь построить модель для прогнозирования ответов на маркетинговые кампании прямой почтовой рассылки. В приведенном ниже коде я смог использовать ответы из предыдущей кампании, чтобы создать плавную кривую (т. е. непрерывную вероятность)....
144 просмотров
schedule
09.08.2022
Добавление произвольной кривой с AUC 0,8 к графику ROC
У меня есть простой график ROC, который я создаю с помощью пакета pROC:
plot.roc(response, predictor)
Как и ожидалось, он работает нормально, но я хотел бы добавить эталонную кривую «идеальной» формы с AUC 0,8 для сравнения (AUC моего графика...
553 просмотров
schedule
09.07.2023
рассчитать пороговое значение максимальной чувствительности по сравнению со специфичностью с использованием ROCR
Я пытаюсь рассчитать предельную точку максимальной чувствительности и специфичности. Я использую пакет ROCR, и мне удалось построить график зависимости чувствительности от специфичности. Однако я не знаю, как рассчитать предельную точку максимальной...
5388 просмотров
schedule
07.04.2023
Как построить кривую ROC из вероятностей дерева классификации
Я пытаюсь построить кривую ROC с вероятностями деревьев классификации. Однако, когда я строю кривую, ее нет. Я пытаюсь построить кривую ROC, а затем найти значение AUC из области под кривой. Кто-нибудь знает, как это исправить? Спасибо, если...
5155 просмотров
schedule
07.05.2022
Переобучение и ROC-кривые
Можно ли понять, является ли классификатор переобученным, просто взглянув на его ROC-кривую? Я вижу, что если его AUC слишком высок (пример 98%), вероятно, он будет переобучен, но это также может означать, что классификатор действительно хорош. Есть...
3143 просмотров
schedule
11.07.2022
R получить AUC и построить несколько кривых ROC одновременно
Я пробовал 2 метода построить кривую ROC и получить AUC для каждой кривой ROC.
Метод 1 . Первый метод прост, но я не знаю, как построить несколько кривых ROC вместе . Я просто использую roc.curve(hacide.test$cls, pred_rose[,2]) , вывод покажет...
14226 просмотров
schedule
02.01.2023
Расчет кривой Precision-Recall с помощью пакета PRROC в R
Мой вопрос относится к этому вопросу. Я заинтересован в вычислении кривой Precision-Recall Curve (PRC) и области под PRC. Я нашел хороший пакет R PRROC для решения обеих задач. Согласно описанию пакета (стр. 5) для функции pr.curve , вы...
1363 просмотров
schedule
21.04.2023
Два разных способа расчета AUC тренировочного набора в случайном лесу дают разные результаты?
Я использовал два способа расчета AUC тренировочного набора в randomForest, но получил очень разные результаты. Два способа заключаются в следующем:
rfmodel <- randomForest(y~., data=train, importance=TRUE, ntree=1000)
Способ 1 расчета...
530 просмотров
schedule
05.03.2023
cv.glmnet дает значение auc больше 1
Я хочу получить AUC на тестовом наборе от cv.glmnet для лучшего набора гиперпараметров. согласно этому сообщению .
Я должен запустить cvm и получить его, однако, когда я это делаю, я получаю значение больше 1, и я понимаю, что AUC должен быть...
479 просмотров
schedule
02.03.2023
Правильный способ вычисления AUC в тензорном потоке
Я вычисляю площадь под кривой (AUC) в TensorFlow. Вот часть моего кода:
with tf.name_scope("output"):
W = tf.Variable(tf.random_normal([num_filters_total, num_classes], stddev=0.1), name="W")
b = tf.Variable(tf.constant(0.1,...
604 просмотров
schedule
08.07.2023
Оценить метрику ROC, пакет каретки - R
У меня есть этот код:
model_nn <- train(
Y ~ ., training,
method = "nnet",
metric = "ROC",
trControl = trainControl(
method = "cv",
number = 10,
verboseIter = TRUE,
classProbs = TRUE,
summaryFunction =...
1431 просмотров
schedule
30.07.2022
Как рассчитать AUC из двух непрерывных переменных в R?
У меня есть следующие данные:
# actual value:
a <- c(26.77814,29.34224,10.39203,29.66659,20.79306,20.73860,22.71488,29.93678,10.14384,32.63233,24.82544,38.14778,25.12343,23.07767,14.60789)
# predicted value
p <-...
4224 просмотров
schedule
25.01.2023
Всегда получаю AUC = 0,5
Я пытаюсь использовать сверточную нейронную сеть (CNN) для прогнозирования классов тестовых изображений следующим образом:
for root, dirs, files in os.walk(test_directory):
for file in files:
img = cv2.imread(root + '/' + file)...
1350 просмотров
schedule
19.07.2023
Преобразование вектора в вектор плотности в R
у меня есть вектор
v = [..., -10, -10, -10, ..., 1, 2, 5, 6, 7, 9, ...]
geom_density строит гистограмму этого вектора гладко, как функция плотности!
Как я могу использовать auc , площадь под кривой, функцию библиотеки MESS , чтобы...
809 просмотров
schedule
15.09.2022
Площадь под РПЦ в R
Есть ли способ расчета или оценки площади под кривой в качестве внешней метрики с использованием базы R только из матриц путаницы?
Если нет, то как мне это сделать, учитывая объект кластеризации?
например мы можем начать с...
33 просмотров
schedule
21.11.2022
Оценка AUC ROC для нескольких классов в Python
Я хотел бы рассчитать оценку AUC ROC для трех классов 0, 1, 2. После того, как я получу вероятность предсказания с помощью predict_proda , я использую roc_auc_score(y_test_over, y_prob, multi_class="ovo", average="macro") ....
1061 просмотров
schedule
06.07.2022