建模时一定需要验证集或者测试集吗?

  统计/机器学习 模型验证 开放问题    浏览次数:4441        分享
0

一开始数据集要被分成三份,分别是训练集、验证集、测试集。验证集和测试集都需要吗?是不是重复了?只留其中一个可以吗?

 

ML新手   2019-07-20 13:06



   2个回答 
6

验证集(validation set)和测试集(test set)本身就并不是完全等价的。

参考:validation set和test set的区别?

在这两个集合上可以分别得到验证误差和测试误差,用来衡量模型表现精度。

参考:训练误差、测试误差、泛化误差的区别

有时候我们用cross valiadtion来代替training set和validation set,但是即便如此,我们也最好要留一份test set。

参考:如果我用交叉验证,还是否需要单独分出测试集?

SofaSofa数据科学社区DS面试题库 DS面经

岛歌   2019-07-26 08:50

3

需要验证集和测试集的。

验证集用来调参,测试集用来得到真实的泛化误差。

SofaSofa数据科学社区DS面试题库 DS面经

派大星   2019-07-23 12:26



  相关讨论

模型调参时常用到的Grid Search是什么意思?

训练误差、测试误差、泛化误差的区别

当数据量很小的时候,怎么做模型验证?

回归问题中的stratified cross validation?

micro和macro F1 score分别是什么意思?

测试集和验证集的区别?

十折交叉验证

如何在保持查全率不变的情况下提高查准率?

k-fold cross validation的k怎么选

K折交叉验证是否有意义?

  随便看看

怎么理解surrogate loss function代理损失函数?

特征归一化对K Means有影响吗?

协方差矩阵一定是满秩的吗?

numpy里的无穷大np.inf到底是多大呢?

在使用PCA降维时,有哪些坑?