怎么计算(估计)ROC AUC的置信区间?

  统计/机器学习 监督式学习 模型验证 描述性统计    浏览次数:1664        分享
0

ROC AUC比较常用用来评价二元分类器的精度,那么怎么计算(估计)ROC AUC的置信区间?

 

得得得   2018-10-31 22:31



   3个回答 
4

可以看这两篇论文

Confidence Intervals for the Area under the ROC Curve(Cortes and Mohri)

Confidence Intervals for the Area Under an ROC Curve(PASS)

SofaSofa数据科学社区DS面试题库 DS面经

sasa   2018-12-16 00:44

3

roc的auc也是可以阐释为概率的(见这里)。所以就是相当于去估计一个硬币正面朝上的概率的置信区间。

用bootstrap的方法,选出$n$组正负样本,正样本的概率比负样本大的组数为$k$,那么roc auc的估计值为$k/n$,这个估计值的方差为

$$\frac{\text{auc}(1-\text{auc})}{n}=\frac{k/n(1-k/n)}{n}=\frac{kn-k^2}{n^3}$$

只要$n$够大,这个估计值应该是服从正态分布的,均值和方差都已知,也就能得到置信区间。

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2018-11-20 15:57

1

可以多跑几次validation,比如30次,然后求这30次auc的均值和方差,根据正态分布,得到置信区间。

SofaSofa数据科学社区DS面试题库 DS面经

orz_k   2018-11-08 11:48



  相关主题

95%置信区间的正确理解   3回答

置信网络和贝叶斯网络是一回事吗?   1回答

sns barplot调整置信水平   1回答

95%置信区间是不是每一次观测都不同呢   1回答

中位数的置信区间有什么办法求解?   3回答

如何用python计算均值的置信区间?   1回答

怎么对两个置信区间求和?   1回答

如何利用python画分类器的ROC曲线?   1回答

python里什么模块可以计算精度-召回(precision-recall)的AUC?   1回答

精度召回precision recall auc是什么?   1回答

怎么直观理解ROC AUC的概率统计意义?   3回答

为什么非平衡的数据更适合用精度-召回曲线,而不是roc auc?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!