牛顿法是凸优化算法还是全局优化算法?

  数学 数值计算 最优化    浏览次数:910        分享
1

GD是凸优化算法,只能找对局部最优。

那么牛顿法是凸优化算法还是全局优化算法?

 

烙神经   2018-08-30 08:43



   2个回答 
6

凸优化指的是在凸集上的凸目标函数只有一个最优解,也就是只有一个max point, gradient=0。凸优化最主要目的是保证理论上局部最优就是全局最优。但是实际中学习步长不可能无限小,有可能也会有局部最优解。

GD和牛顿发都是最优化算法,目的是找gradient=0的点。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-08-30 09:45

谢谢解答! - 烙神经   2018-08-30 10:13
4

梯度下降(一阶算法)和牛顿法(二阶算法)都是去找梯度为0的点(驻点)。

至于这些点是极大(小)值还是最大(小)值,牛顿法和梯度下降法是无法保证的,所以牛顿法不是全局优化算法。

SofaSofa数据科学社区DS面试题库 DS面经

matt   2018-08-30 11:12



  相关主题

非凸的目标函数还可以用随机梯度下降吗?   2回答

如果极小值就是最小值,那么这个函数就是凸函数吗?   2回答

线性回归的目标函数是凸函数吗?   2回答

凸优化中局部最优解就是全局最优解吗?   2回答

逻辑回归的Log Loss是凸函数吗?   1回答

什么样的优化问题算是凸优化?   1回答

凸函数有鞍点吗?   1回答

凸函数、凸集分别是什么意思?   2回答

怎么判断一个损失函数的凹凸性?   2回答

证明LogLoss是凸函数   1回答

对函数进行log变换后,它的凹凸性会变吗?   2回答

凸优化中的仿射是什么意思   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!