RMSProp的直白解释

  数学 数值计算 最优化    浏览次数: 615
1

本人比较笨,不大能够理解RMSProp算法。

我基本明白sgd。

求大神用直白语言解释一下RMSProp。谢谢!


 

ljljlj   2018-02-01 23:30



   1个回答 
3

1.RMSProp是AdaGrad算法的改进。鉴于神经网络都是非凸条件下的,RMSProp在非凸条件下结果更好,改变梯度累积为指数衰减的移动平均以丢弃遥远的过去历史。

2.经验上,RMSProp被证明有效且实用的深度学习网络优化算法。

与AdaGrad相比,RMSProp增加了一个衰减系数来控制历史信息的获取多少。

所以我建议题主先看一下adagrad的算法实现

limoran   2018-03-02 10:47



  相关主题

随机梯度下降(sgd)的收敛问题   3回答

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?   1回答

最速下降法与梯度下降法   1回答

牛顿法到底是一阶优化算法还是二阶优化算法?   2回答

Adam优化算法   1回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

为什么梯度的反方向是函数下降最快的方向?   3回答

用SGD时陷入局部最优解的解决方法   3回答

梯度上升算法是什么?   2回答

线性回归有精确的解析解为什么还要用梯度下降得到数值解?   4回答

优化算法中的“带冲量”是什么意思?   1回答

什么是Hessian矩阵和Jacobian矩阵   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!