RMSProp的直白解释

  数学 数值计算 最优化    浏览次数:4366        分享
1

本人比较笨,不大能够理解RMSProp算法。

我基本明白sgd。

求大神用直白语言解释一下RMSProp。谢谢!


 

ljljlj   2018-02-01 23:30



   1个回答 
4

1.RMSProp是AdaGrad算法的改进。鉴于神经网络都是非凸条件下的,RMSProp在非凸条件下结果更好,改变梯度累积为指数衰减的移动平均以丢弃遥远的过去历史。

2.经验上,RMSProp被证明有效且实用的深度学习网络优化算法。

与AdaGrad相比,RMSProp增加了一个衰减系数来控制历史信息的获取多少。

所以我建议题主先看一下adagrad的算法实现

SofaSofa数据科学社区DS面试题库 DS面经

limoran   2018-03-02 10:47



  相关讨论

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别

nesterov’s momentum和momentum的区别?

梯度上升算法是什么?

Newton–Raphson和牛顿法区别?

Adam优化算法

牛顿法到底是一阶优化算法还是二阶优化算法?

学习率不当会导致sgd不收敛吗?

最速下降法与梯度下降法

用SGD时陷入局部最优解的解决方法

随机梯度下降(sgd)的收敛问题

  随便看看

【站务】我们回来了

numpy.full这个函数有什么用?

matplotlib.pyplot做折线图的时候,显示为虚线,或者点划线?

numpy.array从行向量转为列向量

什么是SMOTE sampling方法?