牛顿法是凸优化算法还是全局优化算法?

  数学 数值计算 最优化    浏览次数:5643        分享
1

GD是凸优化算法,只能找对局部最优。

那么牛顿法是凸优化算法还是全局优化算法?

 

烙神经   2018-08-30 08:43



   2个回答 
6

凸优化指的是在凸集上的凸目标函数只有一个最优解,也就是只有一个max point, gradient=0。凸优化最主要目的是保证理论上局部最优就是全局最优。但是实际中学习步长不可能无限小,有可能也会有局部最优解。

GD和牛顿发都是最优化算法,目的是找gradient=0的点。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-08-30 09:45

谢谢解答! - 烙神经   2018-08-30 10:13
4

梯度下降(一阶算法)和牛顿法(二阶算法)都是去找梯度为0的点(驻点)。

至于这些点是极大(小)值还是最大(小)值,牛顿法和梯度下降法是无法保证的,所以牛顿法不是全局优化算法。

SofaSofa数据科学社区DS面试题库 DS面经

matt   2018-08-30 11:12



  相关讨论

凸优化中局部最优解就是全局最优解吗?

什么样的优化问题算是凸优化?

非凸的目标函数还可以用随机梯度下降吗?

如果极小值就是最小值,那么这个函数就是凸函数吗?

凸优化问题一定存在最优解吗?

线性回归的目标函数是凸函数吗?

凸函数、凸集分别是什么意思?

利用牛顿法求一个凸函数的最小值有可能出现发散的情况么?

怎么判断一个损失函数的凹凸性?

凸函数有鞍点吗?

  随便看看

pandas.DataFrame选取最后k行

pandas同时返回一个dataframe的前几行(head)和后几行(tail)

用一个骰子生成1到7的随机数?

'numpy.ndarray' object has no attribute 'head'

推荐系统里的ALS是什么意思?