Оценка AUC ROC для нескольких классов в Python

Я хотел бы рассчитать оценку AUC ROC для трех классов 0, 1, 2. После того, как я получу вероятность предсказания с помощью predict_proda, я использую roc_auc_score(y_test_over, y_prob, multi_class="ovo", average="macro"). Однако я получаю сообщение об ошибке введите описание изображения здесь

Затем я использую код из https://github.com/scikit-learn/scikit-learn/issues/3298, что

from sklearn.metrics import roc_auc_score
from sklearn.preprocessing import LabelBinarizer

def multiclass_roc_auc_score(truth, pred, average="macro"):

   lb = LabelBinarizer()
   lb.fit(truth)

   truth = lb.transform(truth)
   pred = lb.transform(pred)

   return roc_auc_score(truth, pred, average=average)

Но я все равно получаю сообщение об ошибке, когда вызываю эту функцию: введите описание изображения здесь

Может ли кто-нибудь помочь мне решить эту проблему? Спасибо!


python multiclass-classification auc
person JWRebecca    schedule 11.06.2020    source источник
comment
Думаю, прогнозы уже преобразованы в двоичную форму.   -  person Sy Ker    schedule 12.06.2020
comment
@Sy Ker Спасибо за ответ! Я повторно запускаю функцию без преобразования прогнозов, но получаю еще одну ошибку: «Найдены входные переменные с несогласованным числом выборок: [198, 4284]». Могу я спросить, как это решить?   -  person JWRebecca    schedule 12.06.2020

Ответы (1)


arrow_upward
1
arrow_downward

Для кривой ROC вам понадобится классификатор с функцией принятия решения. Пример из документации;

# caculate ROC for all class 

y_score = classifier.fit(X_train, y_train).decision_function(X_test)

# Compute ROC curve and ROC area for each class
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])

# Compute micro-average ROC curve and ROC area
fpr["micro"], tpr["micro"], _ = roc_curve(y_test.ravel(), y_score.ravel())
roc_auc["micro"] = auc(fpr["micro"], tpr["micro"])

Чем строить график того, что вы нашли, вам придется повторить для каждого класса;

# plot of a ROC curve for a specific class

plt.figure()
lw = 2
plt.plot(fpr[2], tpr[2], color='darkorange',
         lw=lw, label='ROC curve (area = %0.2f)' % roc_auc[2])
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()
person Sy Ker    schedule 12.06.2020