RMSprop里的参数rho和decay有什么区别？

  统计/机器学习 数值计算 人工神经网络 TensorFlow    浏览次数：3661        分享
二维码
手机扫描二维码
  机器学习面试也能刷题？
1

RMSprop里参数rho和decay都是衰减的作用，它们有什么区别呢？

谢谢！！

 

桐桐酱   2019-10-08 13:26


   1个回答 
1

RMSprop在每一步会结合前几步的梯度，进行加权平均，rho是用来控制加强平均的。

decay是对learning rate进行衰减的。

两个参数的作用不同。前者控制迭代方向的改变快慢，后者控制迭代步长的大小。

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2019-10-12 14:17



  相关讨论

tensorflow 训练的时候输出nan

BatchNormalization

一维数据怎么输入卷积网络。

tensorflow里出现的strides是什么意思

tf.placeholder(tf.float32, shape=(None, 1024))中的None是什么意思

SGD with clipping是什么意思？

神经网络中梯度消弥的原因是什么？

关于卷积神经网络通道内容的问题

tf.reduce_sum是什么函数

tf.truncated_normal和tf.random_normal有什么区别？

  随便看看

分类变量，进行One hot编码，维度升高，如何处理？

怎么按照设定概率产生不重复的随机排序？

随机森林会发生过拟合（overfitting）吗？

如何清空pandas dataframe里的全部数据但是保留列名？

python(matplotlib)中如何把折线图和柱状图画在一起？