最速下降法与梯度下降法

  数学 数值计算 最优化    浏览次数:10533        分享
4

最速下降法与梯度下降法是一回事吗?

我有印象中记得它们两个不是一回事,可是维基百科却说它们是一回事,只是名字不同。

截图如下


提前谢谢啦!

 

桐桐酱   2017-10-25 14:16



   1个回答 
8

维基百科这个说法不是太严谨。

准确来说,它们并不是完全等价。

对于梯度下降法,我们需要预先设定步长$\alpha$。

$$x_{i+1}=x_i-\alpha \nabla f_{x_i}$$

而最速下降法的这个步长$\alpha_k$是通过一个优化函数计算得到的。

$$\alpha_k=\text{argmin}_{\alpha_k}f(x_i-\alpha_k \nabla f_{x_i})$$


如果对梯度下降感兴趣,可以阅读我写的文章自己动手用python写梯度下降


SofaSofa数据科学社区DS面试题库 DS面经

染盘   2017-10-27 08:02

您的文章很不错,谢谢! - 桐桐酱   2017-11-29 11:29


  相关讨论

牛顿法到底是一阶优化算法还是二阶优化算法?

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别

Newton–Raphson和牛顿法区别?

为什么梯度的反方向是函数下降最快的方向?

学习率不当会导致sgd不收敛吗?

用SGD时陷入局部最优解的解决方法

Adam优化算法

梯度上升算法是什么?

RMSProp的直白解释

随机梯度下降(sgd)的收敛问题

  随便看看

python里的<<或者>>符号是什么意思?

序列的autocorrelation(自相关系数)的计算公式

seaborn.distplot直方图的y轴的数值是什么意思?

怎么把dataframe的一列转成整数类型

如果样本不是正态分布,还能用t-test或者z-test吗?