为什么对线性回归应用boosting没用?

  数学 回归分析 监督式学习    浏览次数:366        分享
0

线性回归的偏差较大,boosting可以降低偏差。没用是因为boosting降低偏差的方法对线性回归不适用吗?


希望可以尽量详细回答,本人机器学习小白


 

嘴强王者   2020-05-08 12:18



   2个回答 
4

比如训练集是$\{(X_1,y_1),(X_2,y_2),(X_3,y_3),\ldots,(X_n,y_n)\}$

训练得到一个线性回归模型$\hat y = X\beta_1$。按照boosting的思想,我们要用真实值减去模型的预测值,得到第二轮训练的真实标签,所以第二轮的训练集是$\{(X_1,\epsilon_1),(X_2,\epsilon_2),(X_3,\epsilon_3),\ldots,(X_n,\epsilon_n)\}$。这时你可以再训练一个线性回归得到$\hat \epsilon = X\beta_2 $。

如果此时停止迭代,那么你得到的最终模型就是应该是$X(\beta_1+\beta_2)$,本质上还是线性回归模型。这个新模型是可以最小化平方误差的。而$X\beta_1 $也是最小化平方误差的,所以两者是等价的。所以boosting没有意义。实际上$\beta_2=0$。

SofaSofa数据科学社区DS面试题库 DS面经

我小宋   2020-05-09 09:04

1

boosting是bagging的进阶版,实际上连bagging对线性回归都没有效果,何况是boosting呢?

线性回归和bagging的讨论可以看这个线性回归的bagging

SofaSofa数据科学社区DS面试题库 DS面经

tbh   2020-07-04 19:38



  相关主题

adaboost做回归预测的时候,是怎么调整样本权重的?   1回答

逻辑回归的前提假设是什么?   2回答

目标约束回归   1回答

可以对线性回归进行boosting吗?   3回答

线性回归的bagging   2回答

证明在线性回归中,如果样本数量N小于特征数量d+1,则XXT的秩最大为N?   1回答

逻辑回归最终的所有结果都是0的原因   3回答

文本或者语音里的数字识别是分类还是回归?   1回答

python中可以做beta regression的包?   1回答

怎么处理真值大部分为0的回归问题   3回答

最小二乘线性回归的推导   2回答

在线性回归模型中存在epoch的说法吗?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!