证明LogLoss是凸函数

  统计/机器学习 损失函数    浏览次数:1911        分享
5

这是个后续问题。我之前问了逻辑回归的Log Loss是凸函数吗?


现在我想知道为什么它是凸函数,因为我还是看不明白为什么它的凸的,最好是有证明的。谢谢!


 

ZhuangChong   2017-09-13 08:28



   1个回答 
12

严格意义上来说,我们是说logloss对于逻辑回归中任意一个变量的系数是凸的。

下面开始证明

$$L = -\frac{1}{n} \sum_{i=1}^n y_i \log(p_i) + (1-y_i) \log(1-p_i) $$

其中

$$ p_i = \frac{1} {1 + e^ { - v_i }} $$

其中

$ v_i = \beta X_i $,$ \beta$ 是逻辑回归的回归系数,$X_i$是第$i$个样本的特征。

凸函数的复合还是凸函数,并且凸函数的正线性组合还是凸函数,所以我们只要证明

$$F(v) = -\log\left(\frac{1}{1+e^{-v}}\right)=\log(1+e^{-v})$$

是凸函数。

要证明$F(v)$是关于$v$的凸函数,只要证明它的二阶导数非负。很容易可得,

$$F'(v)=\frac{-e^{-v}}{1+e^{-v}}$$

$$F''(v)=\frac{e^v}{(1+e^v)^2}\geq 0$$

证毕。


SofaSofa数据科学社区DS面试题库 DS面经

染盘   2018-01-16 13:51

谢谢分享! - Lydia   2018-02-08 13:46
谢谢! - ZhuangChong   2018-02-23 09:43


  相关主题

逻辑回归的Log Loss是凸函数吗?   1回答

如果极小值就是最小值,那么这个函数就是凸函数吗?   2回答

线性回归的目标函数是凸函数吗?   2回答

什么样的优化问题算是凸优化?   1回答

怎么判断一个损失函数的凹凸性?   2回答

非凸的目标函数还可以用随机梯度下降吗?   2回答

对函数进行log变换后,它的凹凸性会变吗?   2回答

凸函数有鞍点吗?   1回答

牛顿法是凸优化算法还是全局优化算法?   2回答

凸优化中局部最优解就是全局最优解吗?   2回答

两个凸函数相加,还是凸函数吗?   4回答

凸优化中的仿射是什么意思   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!