利用牛顿法求一个凸函数的最小值有可能出现发散的情况么?

  数学 数值计算 最优化 开放问题    浏览次数:320        分享
0

RT.

牛顿法建立于对函数的泰勒展开的基础上,最优化求解方法中提到了使用其可以避免最速下降法中步长不好求解的问题,即使用了函数的Hessian矩阵作为了最佳迭代步。那么牛顿法在对一个可微的凸函数进行最小值求解时有可能出现最速下降法那样发散的情况么?如果可能的话,这种发散和什么相关呢?

 

CE_PAUL   2019-03-03 23:50



   1个回答 
2

牛顿法求凸函数的最小值完全等价于牛顿法求这个凸函数的导函数唯一的根。

因为是凸函数,所以不存在马鞍点的情况。

和梯度下降类似,牛顿法也可能出现超调,也就是overshoot,这个是由函数本身的性质导致的。发生超调的话就很难收敛了。

牛顿法求最根需要有初始点,如果初始点不好,可能也会导致不收敛(其实也是超调)。

SofaSofa数据科学社区DS面试题库 DS面经

Willyd   2019-04-08 03:28

多谢 - CE_PAUL   2019-05-10 21:13


  相关主题

凸优化中局部最优解就是全局最优解吗?   2回答

非凸的目标函数还可以用随机梯度下降吗?   2回答

什么样的优化问题算是凸优化?   1回答

线性回归的目标函数是凸函数吗?   2回答

如果极小值就是最小值,那么这个函数就是凸函数吗?   2回答

凸函数、凸集分别是什么意思?   2回答

牛顿法是凸优化算法还是全局优化算法?   2回答

怎么判断一个损失函数的凹凸性?   2回答

凸函数有鞍点吗?   1回答

逻辑回归的Log Loss是凸函数吗?   1回答

两个凸函数相加,还是凸函数吗?   4回答

证明LogLoss是凸函数   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!