怎么判断一个损失函数的凹凸性?

  统计/机器学习 最优化 损失函数    浏览次数:467        分享
0

怎么判断一个损失函数的凹凸性?

 

zzzz   2018-10-18 11:37



   2个回答 
2

通常来说是很难判断的,不过有两个可行的办法。

    1. 画图。但是因为损失函数是多元的,所以可以一个切面一个切面的画。

    2. 求导。如果能够得到损失函数和模型参数的表达式,那么你就可以对这个表达式求二阶导,得到Hessian Matrix,然后再判断这个矩阵是否是正定的,如果正定,那么就是凸的。


以上两个办法在实际过程中都不一定可行。

SofaSofa数据科学社区DS面试题库 DS面经

u_u   2018-10-22 08:41

1

刚刚在西瓜书上看到相关的一段话,希望有帮助,在54页左下角:

“对实数集上的函数,可以通过求二阶导数来判别:若二阶导数在区间上非负,则称为凸函数;若二阶导数在区间上恒大于零,则称为严格凸函数。”

SofaSofa数据科学社区DS面试题库 DS面经

nlceyes   2018-10-23 14:37

这个应该只是针对于解析的一元函数,多元的函数就需要hessian矩阵,不解析的话那就只能摊手了 - chrisliang   2018-10-23 22:04


  相关主题

证明LogLoss是凸函数   1回答

逻辑回归的Log Loss是凸函数吗?   1回答

线性回归的目标函数是凸函数吗?   2回答

凸优化中局部最优解就是全局最优解吗?   2回答

什么样的优化问题算是凸优化?   1回答

如果极小值就是最小值,那么这个函数就是凸函数吗?   2回答

凸函数有鞍点吗?   1回答

凸优化中的仿射是什么意思   1回答

凸函数、凸集分别是什么意思?   2回答

牛顿法是凸优化算法还是全局优化算法?   2回答

非凸的目标函数还可以用随机梯度下降吗?   2回答

两个凸函数相加,还是凸函数吗?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!