最小二乘线性回归的推导

线性回归的残差

$$e=y-X\hat{\beta}$$

残差的平方和为

$$e^Te=(y-X\hat{\beta})^T(y-X\hat{\beta})=y^Ty-2\hat{\beta}^TX^Ty+\hat{\beta}^TX^TX\hat{\beta}$$

这个是二次型，所以肯定是凸的，对$\beta$求导，可得

$$\frac{d e^Te}{d\hat\beta}=-2X^Ty+2X^TX\hat\beta$$

令导数为$0$，那么

$$X^Ty = X^TX\hat\beta$$

所以

$$\hat\beta=(X^TX)^{-1}X^Ty$$

线性回归的推导也可以从最大似然估计(MLE)入手。

$$y=X\beta+\epsilon$$

根据线性回归的假设，我们知道$\epsilon$是多元正态分布，并且可以认为协方差矩阵为$\sigma_0^2I$，$I$是单位矩阵。

所以变量$y_i$的条件分布是均值为$X_i\beta$并且方差为$\sigma_0^2$的正态分布，所以概率密度函数为

$$F_Y(y_i|\beta, X_i)=\frac{1}{\sqrt{2\pi\sigma_0^2}}e^{-\frac{(y_i-X_i\beta)^2}{2\sigma_0^2}}$$

所以似然函数就是

$$L(\beta, \sigma; X, y)=\prod_{i=1}^N\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i-X_i\beta)^2}{2\sigma^2}}$$

为了方便计算，两边同时取对数，

$$\log L(\beta, \sigma; X, y)=-N\log\sqrt{2\pi\sigma^2}+\sum_{i=1}^N(-\frac{(y_i-X_i\beta)^2}{2\sigma^2})$$

对于给定的$\sigma$，为了最大化似然函数，我们就要最大化$-(y-X\beta)^2$，也就是最小化$(y-X\beta)^2$。

所以从MLE的角度可以推出我们的损失函数就是差的平方和（最小二乘）。

接下来的推导就是@sasa写的那样了。