证明LogLoss是凸函数

  统计/机器学习 损失函数    浏览次数:7965        分享
5

这是个后续问题。我之前问了逻辑回归的Log Loss是凸函数吗?


现在我想知道为什么它是凸函数,因为我还是看不明白为什么它的凸的,最好是有证明的。谢谢!


 

ZhuangChong   2017-09-13 08:28



   1个回答 
13

严格意义上来说,我们是说logloss对于逻辑回归中任意一个变量的系数是凸的。

下面开始证明

$$L = -\frac{1}{n} \sum_{i=1}^n y_i \log(p_i) + (1-y_i) \log(1-p_i) $$

其中

$$ p_i = \frac{1} {1 + e^ { - v_i }} $$

其中

$ v_i = \beta X_i $,$ \beta$ 是逻辑回归的回归系数,$X_i$是第$i$个样本的特征。

凸函数的复合还是凸函数,并且凸函数的正线性组合还是凸函数,所以我们只要证明

$$F(v) = -\log\left(\frac{1}{1+e^{-v}}\right)=\log(1+e^{-v})$$

是凸函数。

要证明$F(v)$是关于$v$的凸函数,只要证明它的二阶导数非负。很容易可得,

$$F'(v)=\frac{-e^{-v}}{1+e^{-v}}$$

$$F''(v)=\frac{e^v}{(1+e^v)^2}\geq 0$$

证毕。


SofaSofa数据科学社区DS面试题库 DS面经

染盘   2018-01-16 13:51

谢谢分享! - Lydia   2018-02-08 13:46
谢谢! - ZhuangChong   2018-02-23 09:43


  相关讨论

逻辑回归的Log Loss是凸函数吗?

怎么判断一个损失函数的凹凸性?

线性回归的目标函数是凸函数吗?

如果极小值就是最小值,那么这个函数就是凸函数吗?

凸优化问题一定存在最优解吗?

两个凸函数相加,还是凸函数吗?

凸函数一定可导吗?

凸优化中局部最优解就是全局最优解吗?

非凸的目标函数还可以用随机梯度下降吗?

什么样的优化问题算是凸优化?

  随便看看

pandas同时返回一个dataframe的前几行(head)和后几行(tail)

sklearn SGDClassifier的partial_fit是什么意思?

plt.show()之后matplotlib图像依然不展示

pip install opencv-python失败,难道非要编译安装?

python里清除已经定义过的变量