最小二乘线性回归的推导

  统计/机器学习 回归分析    浏览次数:6915        分享
2

谁能分享下最小二乘线性回归解析解的推导过程?在准备笔试中

谢谢!

 

图不二   2018-06-18 22:41



   2个回答 
8

线性回归的残差

$$e=y-X\hat{\beta}$$

残差的平方和为

$$e^Te=(y-X\hat{\beta})^T(y-X\hat{\beta})=y^Ty-2\hat{\beta}^TX^Ty+\hat{\beta}^TX^TX\hat{\beta}$$

这个是二次型,所以肯定是凸的,对$\beta$求导,可得

$$\frac{d e^Te}{d\hat\beta}=-2X^Ty+2X^TX\hat\beta$$

令导数为$0$,那么

$$X^Ty = X^TX\hat\beta$$

所以

$$\hat\beta=(X^TX)^{-1}X^Ty$$

SofaSofa数据科学社区DS面试题库 DS面经

sasa   2018-06-19 06:23

2

线性回归的推导也可以从最大似然估计(MLE)入手。

$$y=X\beta+\epsilon$$

根据线性回归的假设,我们知道$\epsilon$是多元正态分布,并且可以认为协方差矩阵为$\sigma_0^2I$,$I$是单位矩阵。

所以变量$y_i$的条件分布是均值为$X_i\beta$并且方差为$\sigma_0^2$的正态分布,所以概率密度函数为

$$F_Y(y_i|\beta, X_i)=\frac{1}{\sqrt{2\pi\sigma_0^2}}e^{-\frac{(y_i-X_i\beta)^2}{2\sigma_0^2}}$$

所以似然函数就是

$$L(\beta, \sigma; X, y)=\prod_{i=1}^N\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i-X_i\beta)^2}{2\sigma^2}}$$

为了方便计算,两边同时取对数,

$$\log L(\beta, \sigma; X, y)=-N\log\sqrt{2\pi\sigma^2}+\sum_{i=1}^N(-\frac{(y_i-X_i\beta)^2}{2\sigma^2})$$

对于给定的$\sigma$,为了最大化似然函数,我们就要最大化$-(y-X\beta)^2$,也就是最小化$(y-X\beta)^2$。

所以从MLE的角度可以推出我们的损失函数就是差的平方和(最小二乘)。

接下来的推导就是@sasa写的那样了。

SofaSofa数据科学社区DS面试题库 DS面经

Lydia   2018-07-28 14:46



  相关讨论

在线性回归模型中存在epoch的说法吗?

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

泊松回归的公式是什么?

门槛回归是什么?

怎么理解分位数回归quantile regression的目标函数?

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?

逻辑回归模型中变量的系数怎么理解?

怎么处理真值大部分为0的回归问题

用uci的crimes做了一个线性回归,test很差

python里怎么做分位数回归(quantile regression)?

  随便看看

为什么神经网络模型不用交叉验证?

神经网络中的dense和sparse是什么意思?

医学统计里的c-index或者c-statistic是什么意思?

plt.bar怎么设置每个bar的颜色?

训练集中有的特征含有缺失值,一般怎么处理