交叉验证是如何进行的?

  统计/机器学习 模型验证    浏览次数:9366        分享
6

交叉验证是如何进行的?k-fold交叉验证的这个k又是什么意思,起了什么作用?

 

水煮鱼   2017-03-17 10:26



   2个回答 
13

Cross Validation(交叉验证)的思想是充分利用训练集来验证模型的精度。

一般来说,交叉验证会特地说明是用的多少fold。中文一般翻译为折。

一个k-fold cross validation是把训练集随机的分成等数量的k份,每一份数据集轮流当验证集,剩下的k-1的数据集当训练集。因为一共有k个数据集,所以我们就有可以验证k次。我们把这k次的预测精度的平均值当作模型的预测精度。

下图就是一个4-fold cross validation。我们先把数据随机分成四等份(如果不能被k整除,我们就大概近似k等份)。


下面进行交叉验证。首先是把第1个数据集当作测试集,用2,3,4当作训练集来训练模型,再用训练好的模型来预测数据集1,对比其真实值,得到了一个预测精度。然后再把数据集2当作测试集,用1,3,4训练出一个新的模型,在数据集2上测试,又得到一个预测精度。依此类推,我们就可以得到4个预测精度。将它们取平均值,就得到了模型的4-fold cross validation的预测精度。


SofaSofa数据科学社区DS面试题库 DS面经

蓝色北方   2017-03-18 12:48

通俗易懂 - 杨业勇   2017-03-27 12:54
言简意赅 - BenChur   2019-01-11 17:32
2

如图

SofaSofa数据科学社区DS面试题库 DS面经

offer雨   2019-08-09 14:30



  相关讨论

回归问题中的stratified cross validation?

如何在保持查全率不变的情况下提高查准率?

micro和macro F1 score分别是什么意思?

Stratified k-fold cross validation(分层交叉验证)

K折交叉验证是否有意义?

k-fold cross validation的k怎么选

如果我用交叉验证,还是否需要单独分出测试集?

十折交叉验证

精度-召回曲线的起点和终点是什么?

测试集和验证集的区别?

  随便看看

分类变量,进行One hot编码,维度升高,如何处理?

什么是K-Modes(K众数)聚类法?

回归问题中R方可以小于0吗?

什么是SMOTE sampling方法?

cvr和ctr的区别是什么?