二阶优化算法比一阶的优化算法比有什么优缺点?

  数学 数值计算 最优化    浏览次数:2379        分享
0

二阶优化算法比一阶的优化算法比有什么优缺点?

二阶一定收敛更快吗?

 

PyGeek   2018-10-23 10:21



   2个回答 
3

1牛顿法收敛速度为二阶,对于正定二次函数一步迭代即达最优解。

2牛顿法是局部收敛的,当初始点选择不当时,往往导致不收敛

3牛顿法不是下降算法,当二阶海塞矩阵非正定时,不能保证产生方向是下降方向。

4二阶海塞矩阵必须可逆,否则算法进行困难。

5对函数要求苛刻(二阶连续可微,海塞矩阵可逆),而且运算量大。


SofaSofa数据科学社区DS面试题库 DS面经

塔利班   2019-04-11 09:24

2

一阶算法就是用了一阶导数的算法。对于多元函数,一阶导数就是梯度(一维张量)。

二阶算法就是用了二阶导数的算法。对于多元函数,二阶导数就是海森矩阵(二维张量)。

n阶算法就需要计算n维张量。

这么看很显然阶数越高,需要计算的张量维度越高,计算量越大。

虽然高阶算法收敛快,但是考虑到计算导数本身的代价,二阶算法不一定总是比一阶算法实用。所以在神经网络里,经常是使用一阶优化算法。

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2019-04-11 06:28



  相关主题

kNN算法有哪些缺点?   6回答

tsne被忽视?tsne有什么缺点?   3回答

决策树有哪些缺点?   2回答

相比xgboost,GBDT有什么优势   3回答

K Means算法有哪些缺陷、劣势?   5回答

最小二乘法与最小二乘支持向量回归的优劣   4回答

激活函数ReLU和Sigmoid的优劣对比   4回答

在使用PCA降维时,有哪些坑?   6回答

随机森林(random forest)和支持向量机(SVM)各有什么优劣   1回答

坐标下降法和最小角回归求取L1范数正则化问题时的优劣?   1回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!