非凸的目标函数还可以用随机梯度下降吗?

  数学 数值计算 最优化    浏览次数:166        分享
0

一般对于凸问题,我们用SGD。那如果是非凸的目标函数还可以用SGD吗?

 

小老虎   2019-02-27 13:04



   2个回答 
2

其实神经网络基本上都是非凸的,但是很多情况下SGD照用不误。

对于非凸的情况,不管是GD还是SGD都不能保证收敛到全局最优,AdaGrad更好。

参考维基百科:https://en.wikipedia.org/wiki/Stochastic_gradient_descent#AdaGrad

SofaSofa数据科学社区 DS面经 问答 实战

数据痴汉   2019-03-05 00:14

1

可以,但是会陷入局部最优解 很可能解不出全局最优解

SofaSofa数据科学社区 DS面经 问答 实战

wqtang   2019-03-04 15:32



  相关主题

牛顿法是凸优化算法还是全局优化算法?   2回答

凸优化中局部最优解就是全局最优解吗?   2回答

什么样的优化问题算是凸优化?   1回答

凸函数、凸集分别是什么意思?   2回答

证明LogLoss是凸函数   1回答

对函数进行log变换后,它的凹凸性会变吗?   2回答

逻辑回归的Log Loss是凸函数吗?   1回答

如果极小值就是最小值,那么这个函数就是凸函数吗?   2回答

凸优化中的仿射是什么意思   1回答

怎么判断一个损失函数的凹凸性?   2回答

两个凸函数相加,还是凸函数吗?   4回答

利用牛顿法求一个凸函数的最小值有可能出现发散的情况么?   0回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!