逻辑回归模型中变量的系数怎么理解?

  统计/机器学习 回归分析
4

对于一般线性回归,我们知道自变量X的系数C表示,X增加1,因变量Y会增加C。

那么对于逻辑回归中变量的系数,我们应该怎么理解呢?

 

小齐   2017-04-21 11:08



   4个回答 
7

逻辑回归的系数和概率值并不像线性回归的系数有那么直接的线性关系。

逻辑回归模型是

$$\text{Logit}(p)=\log\left(\frac{p}{1-p}\right)=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_px_p.$$

所以,Logit(p)和变量的系数是线性关系,也就是log odds和系数是成线性关系。但是当从log odds转化为odds,再转化为概率p的时候,却没有线性关系,而且它的数值变化和x的取值也有关。

举例来说,$$\text{Logit}(p)=\log\left(\frac{p}{1-p}\right)=1+\beta x$$,对于$x=2$来说,

上图可以看出,系数beta的变动和Logit(p)的变动是线性的。

但是odds $\frac{p}{1-p}$和beta就不再是线性的了。

对于最后的概率,就更难直接从beta的角度进行解释。

所以我们一般是阐释系数和log odds或者logit函数的线性关系,也就是在逻辑回归当中,x每增加一个单位,logit函数增加beta个单位。


沛县李刚   2017-05-01 11:51

4

以一元logistic回归:$log( \frac{\pi (x)}{1-\pi (x)})=\alpha + \beta x$为例,

可以有两种解释:

  • 在给定自变量$x = x_1$的情况下,$x$每增加一个单位,$\pi (x)$的值增加$\beta \pi (x_1)[1-\pi (x_1)]$
  • 自变量$x$每增加1,其优势(即@沛县李刚 说的odds )为原来的$e^\beta$次方倍

展开来说:

第一点:可以根据logistic的公式,将$\pi (x)$提至等式左边,令$\pi (x)$对$x$求导得到。

第二点:优势的定义是$\frac{\pi }{1-\pi}$,可以理解为一般一次失败会伴随着几次成功。推导过程如下:

    $\pi (x)\times \frac{1}{1-\pi (x)} $

$=\frac{exp(\alpha+\beta x)}{1+exp(\alpha + \beta x)}\times (1+exp(\alpha + \beta x))$

$=exp(\alpha+\beta x) $

$=e^\alpha e^{\beta x} $

$=e^\alpha (e^\beta )^x$

s3040608090   2017-09-28 19:35

3

如果只是定性地来看的话,在特征都已经标准化(或者归一化)的情况下,系数的绝对值越大,说明这个特征越重要

若系数为正,这个特征与目标值为1的概率正相关;若系数为负,这个特征与目标值为0的概率正相关。


Alfred   2017-09-14 14:04

3

logitic regression是一种广义线性模型,你可以理解为是几率的对数 和 输入成线性关系。

crazy_lau   2017-09-20 17:22



相关问题

怎么理解分位数回归quantile regression的目标函数?   1回答

线性回归需要满足哪些基本前提假设   1回答

正则项里的L1,L2是什么意思?   1回答

泊松回归的公式是什么?   1回答

L0 norm 正则是什么意思?   1回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

python里怎么做分位数回归(quantile regression)?   1回答

可以对线性回归进行boosting吗?   2回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

逻辑回归的前提假设是什么?   1回答

线性回归的bagging   2回答

如何对大型线性回归进行并行计算?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!