最速下降法与梯度下降法

  数学 数值计算 最优化    浏览次数:4348        分享
3

最速下降法与梯度下降法是一回事吗?

我有印象中记得它们两个不是一回事,可是维基百科却说它们是一回事,只是名字不同。

截图如下


提前谢谢啦!

 

桐桐酱   2017-10-25 14:16



   1个回答 
7

维基百科这个说法不是太严谨。

准确来说,它们并不是完全等价。

对于梯度下降法,我们需要预先设定步长$\alpha$。

$$x_{i+1}=x_i-\alpha \nabla f_{x_i}$$

而最速下降法的这个步长$\alpha_k$是通过一个优化函数计算得到的。

$$\alpha_k=\text{argmin}_{\alpha_k}f(x_i-\alpha_k \nabla f_{x_i})$$


如果对梯度下降感兴趣,可以阅读我写的文章自己动手用python写梯度下降


SofaSofa数据科学社区DS面试题库 DS面经

染盘   2017-10-27 08:02

您的文章很不错,谢谢! - 桐桐酱   2017-11-29 11:29


  相关主题

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?   2回答

nesterov’s momentum和momentum的区别?   1回答

Newton–Raphson和牛顿法区别?   1回答

梯度上升算法是什么?   2回答

随机梯度下降(sgd)的收敛问题   4回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

牛顿法到底是一阶优化算法还是二阶优化算法?   3回答

Adam优化算法   1回答

RMSProp的直白解释   1回答

用SGD时陷入局部最优解的解决方法   3回答

为什么梯度的反方向是函数下降最快的方向?   4回答

学习率不当会导致sgd不收敛吗?   5回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!