为什么对线性回归应用boosting没用？

比如训练集是$\{(X_1,y_1),(X_2,y_2),(X_3,y_3),\ldots,(X_n,y_n)\}$

训练得到一个线性回归模型$\hat y = X\beta_1$。按照boosting的思想，我们要用真实值减去模型的预测值，得到第二轮训练的真实标签，所以第二轮的训练集是$\{(X_1,\epsilon_1),(X_2,\epsilon_2),(X_3,\epsilon_3),\ldots,(X_n,\epsilon_n)\}$。这时你可以再训练一个线性回归得到$\hat \epsilon = X\beta_2 $。

如果此时停止迭代，那么你得到的最终模型就是应该是$X(\beta_1+\beta_2)$，本质上还是线性回归模型。这个新模型是可以最小化平方误差的。而$X\beta_1 $也是最小化平方误差的，所以两者是等价的。所以boosting没有意义。实际上$\beta_2=0$。

boosting是bagging的进阶版，实际上连bagging对线性回归都没有效果，何况是boosting呢？

线性回归和bagging的讨论可以看这个线性回归的bagging