线性回归的偏差较大，boosting可以降低偏差。没用是因为boosting降低偏差的方法对线性回归不适用吗？
希望可以尽量详细回答，本人机器学习小白
1个回答
比如训练集是$\{(X_1,y_1),(X_2,y_2),(X_3,y_3),\ldots,(X_n,y_n)\}$
训练得到一个线性回归模型$\hat y = X\beta_1$。按照boosting的思想，我们要用真实值减去模型的预测值，得到第二轮训练的真实标签，所以第二轮的训练集是$\{(X_1,\epsilon_1),(X_2,\epsilon_2),(X_3,\epsilon_3),\ldots,(X_n,\epsilon_n)\}$。这时你可以再训练一个线性回归得到$\hat \epsilon = X\beta_2 $。
如果此时停止迭代，那么你得到的最终模型就是应该是$X(\beta_1+\beta_2)$，本质上还是线性回归模型。这个新模型是可以最小化平方误差的。而$X\beta_1 $也是最小化平方误差的，所以两者是等价的。所以boosting没有意义。实际上$\beta_2=0$。
SofaSofa数据科学社区DS面试题库 DS面经
我小宋
2020-05-09 09:04
相关主题
线性回归的bagging
2回答
目标约束回归
1回答
证明在线性回归中，如果样本数量N小于特征数量d+1，则XXT的秩最大为N?
1回答
逻辑回归的前提假设是什么？
2回答
adaboost做回归预测的时候，是怎么调整样本权重的？
1回答
python中可以做beta regression的包？
1回答
泊松回归的公式是什么？
2回答
怎么处理真值大部分为0的回归问题
3回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出！