在线性回归模型中存在epoch的说法吗?

  统计/机器学习 回归分析    浏览次数: 181
0

之前是在神经网络里面听说一个epoch,是对整个训练集过一遍。今天在一本书的线性回归的梯度下降部分,也看到了一个RMSE随着epoch的增加而减小的图,那么问题来了“为什么每经历一个epoch,rmse都会减小呢?”

 

dzzxjl   2018-03-18 17:45



   2个回答 
0

你看到的这个“epoch”不是针对的回归模型,而是针对的随机梯度下降算法的。

算法要收敛到最优,RMSE当然会不当下降。

推荐阅读下自己动手用python写梯度下降


雷猴   2018-03-18 23:27

恩恩 谢谢,我理解了rmse可能会随着过拟合不当下降,那么为什么要过很多个epoch呢?而且为什么每个epoch后rmse都会减小? - dzzxjl   2018-03-19 09:31
因为训练一次之后,很可能模型还不够好(欠拟合) - 雷猴   2018-03-19 10:22
0

这是把rmse作为loss/cost function,并且learning rate足够小,才能使training rmse逐渐下降。但是testing rmse在达到overfitting后会上升。还有当loss function中加入一些prior/regularization项时,training rmse也会到达拐点后上升。

Zealing   2018-03-19 01:54

请问testing rmse在什么时候计算呢?模型中的参数每更新一次,就计算一次testing rmse? - dzzxjl   2018-03-19 09:29
有时把training data分一部分作validation data,或者作cross validation。想法就是把一部分training 暂时作为testing。 - Zealing   2018-03-19 09:39
rmse是convex function,肯定会有一个全局最优解。只要learning rate足够小,rmse肯定会下降。 - Zealing   2018-04-16 09:02


  相关主题

线性回归需要满足哪些基本前提假设   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

怎么理解分位数回归quantile regression的目标函数?   1回答

泊松回归的公式是什么?   1回答

怎么处理真值大部分为0的回归问题   2回答

python里怎么做分位数回归(quantile regression)?   1回答

线性回归的bagging   2回答

逻辑回归的前提假设是什么?   1回答

可以对线性回归进行boosting吗?   3回答

python中可以做beta regression的包?   1回答

如何对大型线性回归进行并行计算?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!