如果迫使一个线性回归模型的截距为0,会有什么坏处吗?

  统计/机器学习 回归分析    浏览次数: 349
0

由于特定问题的限制,这个线性回归模型的截距(常数项)必须为0,那么这么做会造成什么问题吗?

这个情况下,这个估计是有偏的还是无偏的呢?此外,还有什么顾忌呢?

 

桐桐酱   2018-05-19 14:19



   2个回答 
2

参考Covariance_matrix,线性回归的假设是输入$X$和输出$Y$是联合正态分布。$X$是列向量,每一列为一个数据点。

$ \mu_{X,Y} = \begin{pmatrix} \mu_{X} \\ \mu_{Y} \end{pmatrix} $

$ \Sigma_{X,Y} = \begin{pmatrix} \Sigma_{XX} & \Sigma_{XY} \\ \Sigma_{YX} & \Sigma_{YY} \end{pmatrix} $

线性回归是求conditional mean

$\mu_{Y|X}=\mu_Y+\Sigma_{YX}\Sigma_{XX}^{-1}(X-\mu_X)$

$=\Sigma_{YX}\Sigma_{XX}^{-1}X   + (\mu_Y-\Sigma_{YX}\Sigma_{XX}^{-1}\mu_X)$

$=wX+b$

其中$w=\Sigma_{YX}\Sigma_{XX}^{-1}$,

$b=\mu_Y-w\mu_X$

如果要截距$b=0$,一个充分条件是$\mu_Y=0$,$\mu_X=0$。一般$X$要作normalization,可以保证$\mu_X=0$,还需要让$\mu_Y=0$。几何上意义是通过对原始数据$X,Y$的平移变换(Translation),让拟合的直线过坐标的原点。

如果$X,Y$没有减去均值,而且强行令$b=0$ ,则偏差为$\mu_Y-w\mu_X$

Zealing   2018-07-09 23:46

1

我觉得你不应该人为的限制截距为0。

首先,如果常数项为0,那么它本质上已经不是一个正确的线性回归了。

其次,如果它本身的特征决定了常数项是0,应该不是由人为所决定,而是通过数据学习得到的。

abuu   2018-05-25 23:51



  相关主题

在线性回归模型中存在epoch的说法吗?   2回答

逻辑回归模型中变量的系数怎么理解?   4回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

怎么处理真值大部分为0的回归问题   3回答

线性回归需要满足哪些基本前提假设   1回答

泊松回归的公式是什么?   1回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答

怎么理解分位数回归quantile regression的目标函数?   1回答

最小二乘线性回归的推导   2回答

python里怎么做分位数回归(quantile regression)?   1回答

系数非负的线性回归的python实现   2回答

线性回归的bagging   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!