证明LogLoss是凸函数

严格意义上来说，我们是说logloss对于逻辑回归中任意一个变量的系数是凸的。

下面开始证明

$$L = -\frac{1}{n} \sum_{i=1}^n y_i \log(p_i) + (1-y_i) \log(1-p_i)$$

其中

$$p_i = \frac{1} {1 + e^ { - v_i }}$$

其中

$v_i = \beta X_i$，$\beta$ 是逻辑回归的回归系数，$X_i$是第$i$个样本的特征。

凸函数的复合还是凸函数，并且凸函数的正线性组合还是凸函数，所以我们只要证明

$$F(v) = -\log\left(\frac{1}{1+e^{-v}}\right)=\log(1+e^{-v})$$

是凸函数。

要证明$F(v)$是关于$v$的凸函数，只要证明它的二阶导数非负。很容易可得，

$$F'(v)=\frac{-e^{-v}}{1+e^{-v}}$$

$$F''(v)=\frac{e^v}{(1+e^v)^2}\geq 0$$

证毕。