Кривая ROC в R с использованием пакета ROCR

Прогнозы - это ваши непрерывные предсказания классификации, метки - это двоичная истина для каждой переменной.

Таким образом, должно работать что-то вроде следующего:

> pred <- prediction(c(0.1,.5,.3,.8,.9,.4,.9,.5), c(0,0,0,1,1,1,1,1))
> perf <- performance(pred, "tpr", "fpr")
> plot(perf)

для создания ROC.

РЕДАКТИРОВАТЬ: вам может быть полезно включить в вопрос образец воспроизводимого кода (мне трудно понять ваш комментарий).

Здесь нет нового кода, но ... вот функция, которую я довольно часто использую для построения ROC:

 plotROC <- function(truth, predicted, ...){
   pred <- prediction(abs(predicted), truth)    
   perf <- performance(pred,"tpr","fpr")

   plot(perf, ...)
}

Как сказал @Jeff, ваши прогнозы должны быть непрерывными для функции ROCR prediction. require(randomForest); ?predict.randomForest показывает, что по умолчанию predict.randomForest возвращает прогноз в исходной шкале (метки классов в классификации), тогда как predict.randomForest(..., type = 'prob') возвращает вероятности каждого класса. Так:

require(ROCR)
data(iris)
iris$setosa <- factor(1*(iris$Species == 'setosa'))
iris.rf <- randomForest(setosa ~ ., data=iris[,-5])
summary(predict(iris.rf, iris[,-5]))
summary(iris.preds <- predict(iris.rf, iris[,-5], type = 'prob'))
preds <- iris.preds[,2]
plot(performance(prediction(preds, iris$setosa), 'tpr', 'fpr'))

дает вам то, что вы хотите. Для разных пакетов классификации требуются разные команды для получения прогнозируемых вероятностей - иногда это predict(..., type='probs'), predict(..., type='prob')[,2] и т. Д., Поэтому просто просмотрите файлы справки для каждой функции, которую вы вызываете.

Вот как это можно сделать:

иметь наши данные в файле csv ("data_file.csv"), но вам может потребоваться указать здесь полный путь. В этом файле есть заголовки столбцов, которые здесь я буду использовать «default_flag», «var1», «var2», «var3», где default_flag равен 0 или 1, а другие переменные имеют любое значение. Код R:

rm(list=ls())
df <- read.csv("data_file.csv") #use the full path if needed
mylogit <- glm(default_flag ~  var1 + var2 + var3, family = "binomial" , data = df)

summary(mylogit)
library(ROCR)

df$score<-predict.glm(mylogit, type="response" )
pred<-prediction(df$score,df$default_flag)
perf<-performance(pred,"tpr", "fpr")
plot(perf)
auc<- performance(pred,"auc")
auc

Обратите внимание, что оценка df $ даст вам вероятность дефолта. Если вы хотите использовать этот логит (те же коэффициенты регрессии) для тестирования в другом наборе данных df2 для перекрестной проверки, используйте

df2 <- read.csv("data_file2.csv")

df2$score<-predict.glm(mylogit,newdata=df2, type="response" )

pred<-prediction(df2$score,df2$default_flag)
perf<-performance(pred,"tpr", "fpr")
plot(perf)
auc<- performance(pred,"auc")
auc

Проблема в том, что, как указывали другие, прогнозирование в ROCR ожидает числовых значений. Если вы вставляете прогнозы из randomForest (в качестве первого аргумента в прогноз в ROCR), этот прогноз должен быть сгенерирован type='prob' вместо type='response', который используется по умолчанию. В качестве альтернативы вы можете взять type='response' результатов и преобразовать их в числовые (то есть, если ваши ответы, скажем, 0/1). Но когда вы строите это, ROCR генерирует единственную значимую точку на кривой ROC. Чтобы иметь много точек на кривой ROC, вам действительно нужна вероятность, связанная с каждым прогнозом, то есть использовать type='prob' при создании прогнозов.

Проблема может заключаться в том, что вы хотите запустить функцию прогнозирования на нескольких запусках, например, для перекрестной проверки.

В этом случае для функции предсказания (предсказания, метки, label.ordering = NULL) класс переменных «предсказания» и «метки» должен быть списком или матрицей.

Попробуй это:

library(ROCR)
pred<-ROCR::prediction(bankrf.pred$y, bank_testing$c(0,1)

Функция предсказания присутствует во многих пакетах. Вы должны явно указать (ROCR: :), чтобы использовать его в ROCR. Этот сработал для меня.