牛顿法是凸优化算法还是全局优化算法?

  数学 数值计算 最优化    浏览次数: 371
1

GD是凸优化算法,只能找对局部最优。

那么牛顿法是凸优化算法还是全局优化算法?

 

烙神经   2018-08-30 08:43



   2个回答 
6

凸优化指的是在凸集上的凸目标函数只有一个最优解,也就是只有一个max point, gradient=0。凸优化最主要目的是保证理论上局部最优就是全局最优。但是实际中学习步长不可能无限小,有可能也会有局部最优解。

GD和牛顿发都是最优化算法,目的是找gradient=0的点。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-08-30 09:45

谢谢解答! - 烙神经   2018-08-30 10:13
4

梯度下降(一阶算法)和牛顿法(二阶算法)都是去找梯度为0的点(驻点)。

至于这些点是极大(小)值还是最大(小)值,牛顿法和梯度下降法是无法保证的,所以牛顿法不是全局优化算法。

SofaSofa数据科学社区 DS面经 问答 实战

matt   2018-08-30 11:12



  相关主题

凸优化中局部最优解就是全局最优解吗?   2回答

什么样的优化问题算是凸优化?   1回答

如果极小值就是最小值,那么这个函数就是凸函数吗?   2回答

怎么判断一个损失函数的凹凸性?   2回答

证明LogLoss是凸函数   1回答

逻辑回归的Log Loss是凸函数吗?   1回答

凸函数、凸集分别是什么意思?   2回答

对函数进行log变换后,它的凹凸性会变吗?   1回答

凸优化中的仿射是什么意思   1回答

怎么理解roc convex hull?   2回答

一个凸函数加上L2正则项之后,它还凸的吗?   1回答

两个凸函数相加,还是凸函数吗?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!