证明LogLoss是凸函数

  统计/机器学习 损失函数    浏览次数: 677
5

这是个后续问题。我之前问了逻辑回归的Log Loss是凸函数吗?


现在我想知道为什么它是凸函数,因为我还是看不明白为什么它的凸的,最好是有证明的。谢谢!


 

ZhuangChong   2017-09-13 08:28



   1个回答 
11

严格意义上来说,我们是说logloss对于逻辑回归中任意一个变量的系数是凸的。

下面开始证明

$$L = -\frac{1}{n} \sum_{i=1}^n y_i \log(p_i) + (1-y_i) \log(1-p_i) $$

其中

$$ p_i = \frac{1} {1 + e^ { - v_i }} $$

其中

$ v_i = \beta X_i $,$ \beta$ 是逻辑回归的回归系数,$X_i$是第$i$个样本的特征。

凸函数的复合还是凸函数,并且凸函数的正线性组合还是凸函数,所以我们只要证明

$$F(v) = -\log\left(\frac{1}{1+e^{-v}}\right)=\log(1+e^{-v})$$

是凸函数。

要证明$F(v)$是关于$v$的凸函数,只要证明它的二阶导数非负。很容易可得,

$$F'(v)=\frac{-e^{-v}}{1+e^{-v}}$$

$$F''(v)=\frac{e^v}{(1+e^v)^2}\geq 0$$

证毕。


染盘   2018-01-16 13:51

谢谢分享! - Lydia   2018-02-08 13:46
谢谢! - ZhuangChong   2018-02-23 09:43


  相关主题

逻辑回归的Log Loss是凸函数吗?   1回答

凸优化中局部最优解就是全局最优解吗?   2回答

什么样的优化问题算是凸优化?   1回答

怎么理解roc convex hull?   2回答

两个凸函数相加,还是凸函数吗?   4回答

对函数进行log变换后,它的凹凸性会变吗?   1回答

凸优化中的仿射是什么意思   1回答

凸函数、凸集分别是什么意思?   2回答

hinge loss的公式是什么?   1回答

cross entropy是什么意思?   1回答

如何理解GBDT里面“损失函数的负梯度在当前模型的值,可以作为残差的估计”?   0回答

怎么理解surrogate loss function代理损失函数?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!