非凸的目标函数还可以用随机梯度下降吗?

  数学 数值计算 最优化    浏览次数:4864        分享
0

一般对于凸问题,我们用SGD。那如果是非凸的目标函数还可以用SGD吗?

 

小老虎   2019-02-27 13:04



   2个回答 
4

其实神经网络基本上都是非凸的,但是很多情况下SGD照用不误。

对于非凸的情况,不管是GD还是SGD都不能保证收敛到全局最优,AdaGrad更好。

参考维基百科:https://en.wikipedia.org/wiki/Stochastic_gradient_descent#AdaGrad

SofaSofa数据科学社区DS面试题库 DS面经

数据痴汉   2019-03-05 00:14

3

可以,但是会陷入局部最优解 很可能解不出全局最优解

SofaSofa数据科学社区DS面试题库 DS面经

wqtang   2019-03-04 15:32



  相关讨论

什么样的优化问题算是凸优化?

凸优化中局部最优解就是全局最优解吗?

牛顿法是凸优化算法还是全局优化算法?

凸优化问题一定存在最优解吗?

如果极小值就是最小值,那么这个函数就是凸函数吗?

线性回归的目标函数是凸函数吗?

凸函数、凸集分别是什么意思?

怎么判断一个损失函数的凹凸性?

利用牛顿法求一个凸函数的最小值有可能出现发散的情况么?

对函数进行log变换后,它的凹凸性会变吗?

  随便看看

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?

随机森林如何调参?

spark里怎么refresh表?

pandas.DataFrame的index重新排列(从0开始)

plt.show()之后matplotlib图像依然不展示