怎么计算（估计）ROC AUC的置信区间？

可以看这两篇论文

Confidence Intervals for the Area under the ROC Curve(Cortes and Mohri)

Confidence Intervals for the Area Under an ROC Curve(PASS)

roc的auc也是可以阐释为概率的（见这里）。所以就是相当于去估计一个硬币正面朝上的概率的置信区间。

用bootstrap的方法，选出$n$组正负样本，正样本的概率比负样本大的组数为$k$，那么roc auc的估计值为$k/n$，这个估计值的方差为

$$\frac{\text{auc}(1-\text{auc})}{n}=\frac{k/n(1-k/n)}{n}=\frac{kn-k^2}{n^3}$$

只要$n$够大，这个估计值应该是服从正态分布的，均值和方差都已知，也就能得到置信区间。

可以多跑几次validation，比如30次，然后求这30次auc的均值和方差，根据正态分布，得到置信区间。

周志华的机器学习前面部分就有。打开qq群流行的pdf看看，和朴素贝叶斯统计相关，和医院判断hiv阳性阴性概率的方法差不多，就是条件概率，打表就能算了~