У меня есть этот код:
model_nn <- train(
Y ~ ., training,
method = "nnet",
metric = "ROC",
trControl = trainControl(
method = "cv",
number = 10,
verboseIter = TRUE,
classProbs = TRUE,
summaryFunction = twoClassSummary
)
)
nnprediction <- predict(model_nn, testing)
cmnn <-confusionMatrix(nnprediction,testing$Y)
print(cmnn)
Который работает. Тем не менее, я не могу оценить, насколько хорошо работает метрика ROC с командой путаницыMatrix. Как я могу его оценить, чтобы попробовать другой набор переменных и/или алгоритмов машинного обучения для повышения производительности ROC?
PS: зависимая переменная является фактором двух классов.