我们经常看到Tree bagging，因为它是决策树的改良。
那我可以对线性回归bagging吗？降低它的预测方差，提高稳定性？
2个回答
你可以对线性回归模型进行Bagging，但是毫无意义。
决策树需要做bagging，是因为它的预测bias小，variance大，所以可以通过bagging降低variance。
线性回归则是完全相反，bias大，variance非常小。从这个角度看，bagging并不能够改善什么。最重要的是，bagging对线性回归并不起作用。因为bagging会对多个单个模型的预测结果加和求平均，多个线性方程的平均，依然是个线性方程。所以当对很多线性回归模型求平均之后，最终得到模型的变量系数的还是你最初的线性方程的系数。
SofaSofa数据科学社区DS面试题库 DS面经
可爱多
2017-05-18 22:44
线性回归的bagging是没有意义的。
但是广义线性模型，比如逻辑回归，bagging却是有意义的。我们不是bagging logit(p)，而是bagging最终的p。
雷猴
2017-05-19 10:29
相关主题
证明在线性回归中，如果样本数量N小于特征数量d+1，则XXT的秩最大为N?
1回答
逻辑回归的前提假设是什么？
2回答
adaboost做回归预测的时候，是怎么调整样本权重的？
1回答
GBDT+LR的工作原理？
4回答
python中可以做beta regression的包？
1回答
常用的回归模型中，哪些具有较好的鲁棒性(robustness)？
2回答
门槛回归是什么？
1回答
最小二乘线性回归的推导
2回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出！