建模时一定需要验证集或者测试集吗?

  统计/机器学习 模型验证 开放问题    浏览次数:408        分享
0

一开始数据集要被分成三份,分别是训练集、验证集、测试集。验证集和测试集都需要吗?是不是重复了?只留其中一个可以吗?

 

ML新手   2019-07-20 13:06



   2个回答 
6

验证集(validation set)和测试集(test set)本身就并不是完全等价的。

参考:validation set和test set的区别?

在这两个集合上可以分别得到验证误差和测试误差,用来衡量模型表现精度。

参考:训练误差、测试误差、泛化误差的区别

有时候我们用cross valiadtion来代替training set和validation set,但是即便如此,我们也最好要留一份test set。

参考:如果我用交叉验证,还是否需要单独分出测试集?

SofaSofa数据科学社区DS面试题库 DS面经

岛歌   2019-07-26 08:50

3

需要验证集和测试集的。

验证集用来调参,测试集用来得到真实的泛化误差。

SofaSofa数据科学社区DS面试题库 DS面经

派大星   2019-07-23 12:26



  相关主题

模型调参时常用到的Grid Search是什么意思?   3回答

当数据量很小的时候,怎么做模型验证?   1回答

训练误差、测试误差、泛化误差的区别   2回答

如何在保持查全率不变的情况下提高查准率?   1回答

如果我用交叉验证,还是否需要单独分出测试集?   1回答

回归问题中的stratified cross validation?   2回答

交叉验证是如何进行的?   2回答

测试集和验证集的区别?   4回答

精度-召回曲线的起点和终点是什么?   2回答

micro和macro F1 score分别是什么意思?   2回答

k-fold cross validation的k怎么选   3回答

十折交叉验证   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!