最小二乘线性回归的推导

  统计/机器学习 回归分析    浏览次数: 219
1

谁能分享下最小二乘线性回归解析解的推导过程?在准备笔试中

谢谢!

 

图不二   2018-06-18 22:41



   1个回答 
5

线性回归的残差

$$e=y-X\hat{\beta}$$

残差的平方和为

$$e^Te=(y-X\hat{\beta})^T(y-X\hat{\beta})=y^Ty-2\hat{\beta}^TX^Ty+\hat{beta}^TX^TX\hat{\beta}$$

这个是二次型,所以肯定是凸的,对$\beta$求导,可得

$$\frac{d e^Te}{d\hat\beta}=-2X^Ty+2X^TX\hat\beta$$

令导数为$0$,那么

$$X^Ty = X^TX\hat\beta$$

所以

$$\hat\beta=(X^TX)^{-1}X^Ty$$

sasa   2018-06-19 06:23



  相关主题

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答

怎么理解分位数回归quantile regression的目标函数?   1回答

线性回归需要满足哪些基本前提假设   1回答

怎么处理真值大部分为0的回归问题   3回答

在线性回归模型中存在epoch的说法吗?   2回答

泊松回归的公式是什么?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

系数非负的线性回归的python实现   2回答

python里怎么做分位数回归(quantile regression)?   1回答

可以对线性回归进行boosting吗?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!