回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?

  统计/机器学习 回归分析 描述性统计    浏览次数: 1007
4

我自己观察到的现象是,自变量和因变量的相关系数越大,在线性回归中这个自变量的系数就越大。它们是正相关的关系吗?

 

道画师   2017-04-06 14:55



   1个回答 
8

对于一元简单线性回归

$$Y=\beta X + \beta_0 + \epsilon$$

我们知道

$$\beta = \frac{\text{Cov}(X,Y)}{\text{Var}(X)}=\text{Cor}(X,Y)\frac{\sigma_Y}{\sigma_X}$$

可以看出$\beta$的确是和$\text{Cor}(X,Y)$正相关的(标准差$\sigma_X$和$\sigma_Y$都是正数)。

如果我们把自变量$X$和因变量$Y$都先进行标准化处理,使得$\sigma_X=\sigma_Y=1$,那么回归系数$\beta$就等于$X$和$Y$的皮尔逊相关系数了。



高代兄   2017-04-15 10:41



  相关主题

关于方差膨胀因子(VIF)的问题   2回答

怎么理解库克距离(Cook's distance)?   1回答

线性回归的容忍度Tolerance是什么意思?   1回答

标准误和标准差有什么区别?   1回答

一个连续变量和一个二元变量的相关系数怎么求?   1回答

有序分类变量的相关系数   2回答

估计标准差的标准差?   1回答

中位数的置信区间有什么办法求解?   3回答

为什么样本方差是除以n-1   1回答

用python计算协方差   1回答

Python计算两个数组的相关系数   3回答

python里计算百分位数   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!