十折交叉验证

  统计/机器学习 模型验证    浏览次数:6142        分享
0

如果我做十次十折交叉验证  但是一次交叉验证我只想画一个ROC曲线    我应该怎么去做啊

 

anTiamo   2017-12-21 09:09



   1个回答 
2

你的标签没有添加编程语言,所以也不知道你说的是R还是python还是其他什么。不过这个跟语言关系也不大。


就比如说是3-fold吧,你有A,B,C三个部分:

你用A和B,预测C,得到C的预测值

你用A和C,预测B,得到B的预测值

你用B和C,预测A,得到A的预测值

你把A,B,C的预测值合起来成一个array,对比A,B,C的真实标签,然后你就可以画出一个ROC了。


如果你是用python的话,sklearn里有sklearn.model_selection.cross_val_predict,可以返回A,B,C合起来的预测值。


SofaSofa数据科学社区DS面试题库 DS面经

0101RG   2017-12-21 09:17

对 我就是用python来做 没有说清楚实在不好意思哈 你的意思就是将三次的所有预测值放在一起 然后将整个数据集放一起然后得到一条ROC曲线吗 可是这样的意义在哪啊 - anTiamo   2018-01-15 21:52
插一句嘴,为什么没有意义?我在学校的项目经常这么做,现在公司里的项目也是这么做 - 雷猴   2018-01-16 09:44
大神 那这样的话 得到的AUC的值几乎都是0.9以上啊~~~~~~~~~~~ - anTiamo   2018-01-16 10:17
该是多少就多少呗,除非是你哪里搞错了 - 雷猴   2018-01-16 10:51
就是因为觉得AUC的值太高了 所以才觉得 不安 - anTiamo   2018-01-16 15:41
受益匪浅,测试的是合起来,那么请问训练的ROC又怎么画呢? - xiaodong   2018-03-16 09:21


  相关讨论

如何在保持查全率不变的情况下提高查准率?

测试集和验证集的区别?

Stratified k-fold cross validation(分层交叉验证)

k-fold cross validation的k怎么选

交叉验证是如何进行的?

精度-召回曲线的起点和终点是什么?

如果我用交叉验证,还是否需要单独分出测试集?

micro和macro F1 score分别是什么意思?

回归问题中的stratified cross validation?

K折交叉验证是否有意义?

  随便看看

dataframe每行或者每列中缺失值(na, nan, null)的个数

怎么在已有的dataframe中插入一个新列(Pandas)

怎么从矩母函数(mgf)推导得到概率密度函数(pdf)?

柯西分布没有数学期望

如何清空pandas dataframe里的全部数据但是保留列名?