有顺序的多元分类模型应该用评判标准?

  统计/机器学习 监督式学习 模型验证    浏览次数:2477        分享
0

数据的标签是多分类的,但是同时有时有顺序的,可以理解为“优”,“良”,“差”。

如果是无序的,可以用多元的交叉熵损失,或者就是用精度来评价模型。但是有顺序的话,感觉不大一样,毕竟把“优”预测成“差”比把“优”预测成“良”偏得更多。

想请教各位有没有解决这种多元分类模型的问题评判标准?

 

R琳   2019-11-09 11:00



   1个回答 
3

这类问题叫做有序回归(ordinal regression)或者有序分类(ordinal classification)

我觉得首先要看你的模型输出的是标签还是概率。

假设是标签,也就是对应着0,1,2,等等,那么你完全可以使用MSE。

有研究表明MAE对于这类问题不是很好,研究人员提出了一种新的度量叫做macroaveraged MAE,我感觉macroaveraged MAE就类似于marco F1那种,是为了解决各类的均衡性的。

文章链接Evaluation Measures for Ordinal Regression

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-11-25 15:24



  相关讨论

logistic回归有哪些指标可以评价模型效果?

多元分类问题有没有F1?

测试误差小于训练误差,是为什么?

怎么用KS值来评价二元分类器?

机器学习里的ppv是什么意思?

分类中的F1精度、F2精度、F3精度是什么意思?

机器学习中lift的概念是什么?怎么用来评价模型?

F1值会受到不平衡数据的影响吗?

k近邻算法(k-NN)怎么选k

利用交叉验证调参后还需要用完整的数据集重新训练吗?

  随便看看

z test和t test什么区别?

修正R方(adjusted R square)是什么?

Random Forest可以用来做聚类?

训练集中有的特征含有缺失值,一般怎么处理

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别