十折交叉验证

  统计/机器学习 模型验证    浏览次数: 838
0

如果我做十次十折交叉验证  但是一次交叉验证我只想画一个ROC曲线    我应该怎么去做啊

 

anTiamo   2017-12-21 09:09



   1个回答 
2

你的标签没有添加编程语言,所以也不知道你说的是R还是python还是其他什么。不过这个跟语言关系也不大。


就比如说是3-fold吧,你有A,B,C三个部分:

你用A和B,预测C,得到C的预测值

你用A和C,预测B,得到B的预测值

你用B和C,预测A,得到A的预测值

你把A,B,C的预测值合起来成一个array,对比A,B,C的真实标签,然后你就可以画出一个ROC了。


如果你是用python的话,sklearn里有sklearn.model_selection.cross_val_predict,可以返回A,B,C合起来的预测值。


SofaSofa数据科学社区 DS面经 问答 实战

0101RG   2017-12-21 09:17

对 我就是用python来做 没有说清楚实在不好意思哈 你的意思就是将三次的所有预测值放在一起 然后将整个数据集放一起然后得到一条ROC曲线吗 可是这样的意义在哪啊 - anTiamo   2018-01-15 21:52
插一句嘴,为什么没有意义?我在学校的项目经常这么做,现在公司里的项目也是这么做 - 雷猴   2018-01-16 09:44
大神 那这样的话 得到的AUC的值几乎都是0.9以上啊~~~~~~~~~~~ - anTiamo   2018-01-16 10:17
该是多少就多少呗,除非是你哪里搞错了 - 雷猴   2018-01-16 10:51
就是因为觉得AUC的值太高了 所以才觉得 不安 - anTiamo   2018-01-16 15:41
受益匪浅,测试的是合起来,那么请问训练的ROC又怎么画呢? - xiaodong   2018-03-16 09:21


  相关主题

如何在保持查全率不变的情况下提高查准率?   1回答

交叉验证是如何进行的?   1回答

回归问题中的stratified cross validation?   2回答

micro和macro F1 score分别是什么意思?   2回答

测试集和验证集的区别?   4回答

Stratified k-fold cross validation(分层交叉验证)   1回答

精度-召回曲线的起点和终点是什么?   2回答

k-fold cross validation的k怎么选   3回答

如果我用交叉验证,还是否需要单独分出测试集?   1回答

python里怎么求多元分类的F1 score?   1回答

python里怎么计算一个数组的熵(entropy)?   1回答

二元分类问题中经常提到的TP,TN,FN,FP都是什么意思?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!