在线性回归模型中存在epoch的说法吗?

  统计/机器学习 回归分析    浏览次数: 370
0

之前是在神经网络里面听说一个epoch,是对整个训练集过一遍。今天在一本书的线性回归的梯度下降部分,也看到了一个RMSE随着epoch的增加而减小的图,那么问题来了“为什么每经历一个epoch,rmse都会减小呢?”

 

dzzxjl   2018-03-18 17:45



   2个回答 
1

你看到的这个“epoch”不是针对的回归模型,而是针对的随机梯度下降算法的。

算法要收敛到最优,RMSE当然会不当下降。

推荐阅读下自己动手用python写梯度下降


雷猴   2018-03-18 23:27

恩恩 谢谢,我理解了rmse可能会随着过拟合不当下降,那么为什么要过很多个epoch呢?而且为什么每个epoch后rmse都会减小? - dzzxjl   2018-03-19 09:31
因为训练一次之后,很可能模型还不够好(欠拟合) - 雷猴   2018-03-19 10:22
0

这是把rmse作为loss/cost function,并且learning rate足够小,才能使training rmse逐渐下降。但是testing rmse在达到overfitting后会上升。还有当loss function中加入一些prior/regularization项时,training rmse也会到达拐点后上升。

Zealing   2018-03-19 01:54

请问testing rmse在什么时候计算呢?模型中的参数每更新一次,就计算一次testing rmse? - dzzxjl   2018-03-19 09:29
有时把training data分一部分作validation data,或者作cross validation。想法就是把一部分training 暂时作为testing。 - Zealing   2018-03-19 09:39
rmse是convex function,肯定会有一个全局最优解。只要learning rate足够小,rmse肯定会下降。 - Zealing   2018-04-16 09:02


  相关主题

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

泊松回归的公式是什么?   1回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答

线性回归需要满足哪些基本前提假设   1回答

怎么处理真值大部分为0的回归问题   3回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

逻辑回归模型中变量的系数怎么理解?   4回答

最小二乘线性回归的推导   2回答

怎么理解分位数回归quantile regression的目标函数?   1回答

系数非负的线性回归的python实现   2回答

python里怎么做分位数回归(quantile regression)?   1回答

逻辑回归的前提假设是什么?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!