在线性回归模型中存在epoch的说法吗?

  统计/机器学习 回归分析    浏览次数:4997        分享
0

之前是在神经网络里面听说一个epoch,是对整个训练集过一遍。今天在一本书的线性回归的梯度下降部分,也看到了一个RMSE随着epoch的增加而减小的图,那么问题来了“为什么每经历一个epoch,rmse都会减小呢?”

 

dzzxjl   2018-03-18 17:45



   2个回答 
1

你看到的这个“epoch”不是针对的回归模型,而是针对的随机梯度下降算法的。

算法要收敛到最优,RMSE当然会不当下降。

推荐阅读下自己动手用python写梯度下降


SofaSofa数据科学社区DS面试题库 DS面经

雷猴   2018-03-18 23:27

恩恩 谢谢,我理解了rmse可能会随着过拟合不当下降,那么为什么要过很多个epoch呢?而且为什么每个epoch后rmse都会减小? - dzzxjl   2018-03-19 09:31
因为训练一次之后,很可能模型还不够好(欠拟合) - 雷猴   2018-03-19 10:22
0

这是把rmse作为loss/cost function,并且learning rate足够小,才能使training rmse逐渐下降。但是testing rmse在达到overfitting后会上升。还有当loss function中加入一些prior/regularization项时,training rmse也会到达拐点后上升。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-03-19 01:54

请问testing rmse在什么时候计算呢?模型中的参数每更新一次,就计算一次testing rmse? - dzzxjl   2018-03-19 09:29
有时把training data分一部分作validation data,或者作cross validation。想法就是把一部分training 暂时作为testing。 - Zealing   2018-03-19 09:39
rmse是convex function,肯定会有一个全局最优解。只要learning rate足够小,rmse肯定会下降。 - Zealing   2018-04-16 09:02


  相关讨论

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?

逻辑回归模型中变量的系数怎么理解?

最小二乘线性回归的推导

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

门槛回归是什么?

怎么处理真值大部分为0的回归问题

怎么理解分位数回归quantile regression的目标函数?

泊松回归的公式是什么?

系数非负的线性回归的python实现

python里怎么做分位数回归(quantile regression)?

  随便看看

返回DataFrame或者array的行数

训练神经网络中经常提到的epoch是什么意思

概率论中的鞅是什么?

pandas DataFrame中经常出现SettingWithCopyWarning

怎么从矩母函数(mgf)推导得到概率密度函数(pdf)?