最小二乘线性回归的推导

  统计/机器学习 回归分析    浏览次数: 770
2

谁能分享下最小二乘线性回归解析解的推导过程?在准备笔试中

谢谢!

 

图不二   2018-06-18 22:41



   2个回答 
7

线性回归的残差

$$e=y-X\hat{\beta}$$

残差的平方和为

$$e^Te=(y-X\hat{\beta})^T(y-X\hat{\beta})=y^Ty-2\hat{\beta}^TX^Ty+\hat{\beta}^TX^TX\hat{\beta}$$

这个是二次型,所以肯定是凸的,对$\beta$求导,可得

$$\frac{d e^Te}{d\hat\beta}=-2X^Ty+2X^TX\hat\beta$$

令导数为$0$,那么

$$X^Ty = X^TX\hat\beta$$

所以

$$\hat\beta=(X^TX)^{-1}X^Ty$$

SofaSofa数据科学社区 DS面经 问答 实战

sasa   2018-06-19 06:23

2

线性回归的推导也可以从最大似然估计(MLE)入手。

$$y=X\beta+\epsilon$$

根据线性回归的假设,我们知道$\epsilon$是多元正态分布,并且可以认为协方差矩阵为$\sigma_0^2I$,$I$是单位矩阵。

所以变量$y_i$的条件分布是均值为$X_i\beta$并且方差为$\sigma_0^2$的正态分布,所以概率密度函数为

$$F_Y(y_i|\beta, X_i)=\frac{1}{\sqrt{2\pi\sigma_0^2}}e^{-\frac{(y_i-X_i\beta)^2}{2\sigma_0^2}}$$

所以似然函数就是

$$L(\beta, \sigma; X, y)=\prod_{i=1}^N\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i-X_i\beta)^2}{2\sigma^2}}$$

为了方便计算,两边同时取对数,

$$\log L(\beta, \sigma; X, y)=-N\log\sqrt{2\pi\sigma^2}+\sum_{i=1}^N(-\frac{(y_i-X_i\beta)^2}{2\sigma^2})$$

对于给定的$\sigma$,为了最大化似然函数,我们就要最大化$-(y-X\beta)^2$,也就是最小化$(y-X\beta)^2$。

所以从MLE的角度可以推出我们的损失函数就是差的平方和(最小二乘)。

接下来的推导就是@sasa写的那样了。

SofaSofa数据科学社区 DS面经 问答 实战

Lydia   2018-07-28 14:46



  相关主题

线性回归需要满足哪些基本前提假设   1回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   2回答

怎么处理真值大部分为0的回归问题   3回答

泊松回归的公式是什么?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

怎么理解分位数回归quantile regression的目标函数?   1回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答

在线性回归模型中存在epoch的说法吗?   2回答

系数非负的线性回归的python实现   2回答

python里怎么做分位数回归(quantile regression)?   1回答

adaboost做回归预测的时候,是怎么调整样本权重的?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!