二阶优化算法比一阶的优化算法比有什么优缺点?

  数学 数值计算 最优化    浏览次数:9687        分享
0

二阶优化算法比一阶的优化算法比有什么优缺点?

二阶一定收敛更快吗?

 

PyGeek   2018-10-23 10:21



   2个回答 
4

1牛顿法收敛速度为二阶,对于正定二次函数一步迭代即达最优解。

2牛顿法是局部收敛的,当初始点选择不当时,往往导致不收敛

3牛顿法不是下降算法,当二阶海塞矩阵非正定时,不能保证产生方向是下降方向。

4二阶海塞矩阵必须可逆,否则算法进行困难。

5对函数要求苛刻(二阶连续可微,海塞矩阵可逆),而且运算量大。


SofaSofa数据科学社区DS面试题库 DS面经

塔利班   2019-04-11 09:24

2

一阶算法就是用了一阶导数的算法。对于多元函数,一阶导数就是梯度(一维张量)。

二阶算法就是用了二阶导数的算法。对于多元函数,二阶导数就是海森矩阵(二维张量)。

n阶算法就需要计算n维张量。

这么看很显然阶数越高,需要计算的张量维度越高,计算量越大。

虽然高阶算法收敛快,但是考虑到计算导数本身的代价,二阶算法不一定总是比一阶算法实用。所以在神经网络里,经常是使用一阶优化算法。

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2019-04-11 06:28



  相关讨论

kNN算法有哪些缺点?

决策树有哪些缺点?

tsne被忽视?tsne有什么缺点?

为什么梯度的反方向是函数下降最快的方向?

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?

最速下降法与梯度下降法

Newton–Raphson和牛顿法区别?

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别

Adam优化算法

RMSProp的直白解释

  随便看看

牛顿法到底是一阶优化算法还是二阶优化算法?

pip install opencv-python失败,难道非要编译安装?

什么是SMOTE sampling方法?

回归问题中R方可以小于0吗?

推荐系统算法里的cold start是什么意思?