最速下降法与梯度下降法

  数学 数值计算 最优化    浏览次数: 610
3

最速下降法与梯度下降法是一回事吗?

我有印象中记得它们两个不是一回事,可是维基百科却说它们是一回事,只是名字不同。

截图如下


提前谢谢啦!

 

桐桐酱   2017-10-25 14:16



   1个回答 
4

维基百科这个说法不是太严谨。

准确来说,它们并不是完全等价。

对于梯度下降法,我们需要预先设定步长$\alpha$。

$$x_{i+1}=x_i-\alpha \nabla f_{x_i}$$

而最速下降法的这个步长$\alpha_k$是通过一个优化函数计算得到的。

$$\alpha_k=\text{argmin}_{\alpha_k}f(x_i-\alpha_k \nabla f_{x_i})$$


如果对梯度下降感兴趣,可以阅读我写的文章自己动手用python写梯度下降


染盘   2017-10-27 08:02

您的文章很不错,谢谢! - 桐桐酱   2017-11-29 11:29


  相关主题

牛顿法到底是一阶优化算法还是二阶优化算法?   2回答

随机梯度下降(sgd)的收敛问题   2回答

Adam优化算法   1回答

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?   1回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

RMSProp的直白解释   1回答

梯度上升算法是什么?   2回答

线性回归有精确的解析解为什么还要用梯度下降得到数值解?   4回答

什么是Hessian矩阵和Jacobian矩阵   1回答

python里用来做数值优化的库?   2回答

怎么用牛顿法近似求解根号2?   1回答

关于随机梯度下降法(SGD)的问题   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!