有顺序的多元分类模型应该用评判标准?

  统计/机器学习 监督式学习 模型验证    浏览次数:376        分享
0

数据的标签是多分类的,但是同时有时有顺序的,可以理解为“优”,“良”,“差”。

如果是无序的,可以用多元的交叉熵损失,或者就是用精度来评价模型。但是有顺序的话,感觉不大一样,毕竟把“优”预测成“差”比把“优”预测成“良”偏得更多。

想请教各位有没有解决这种多元分类模型的问题评判标准?

 

R琳   2019-11-09 11:00



   1个回答 
3

这类问题叫做有序回归(ordinal regression)或者有序分类(ordinal classification)

我觉得首先要看你的模型输出的是标签还是概率。

假设是标签,也就是对应着0,1,2,等等,那么你完全可以使用MSE。

有研究表明MAE对于这类问题不是很好,研究人员提出了一种新的度量叫做macroaveraged MAE,我感觉macroaveraged MAE就类似于marco F1那种,是为了解决各类的均衡性的。

文章链接Evaluation Measures for Ordinal Regression

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-11-25 15:24



  相关主题

precision-recall曲线下面积有什么意义?   3回答

k近邻算法(k-NN)怎么选k   2回答

怎么用KS值来评价二元分类器?   1回答

机器学习里的ppv是什么意思?   1回答

机器学习中lift的概念是什么?怎么用来评价模型?   1回答

logistic回归有哪些指标可以评价模型效果?   2回答

二元分类问题中经常提到的TP,TN,FN,FP都是什么意思?   3回答

F1值会受到不平衡数据的影响吗?   2回答

多元分类问题有没有F1?   1回答

多元分类的混淆矩阵   1回答

什么是混淆矩阵(confusion matrix)   2回答

多元分类可以用accuracy吗?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!