线性回归的bagging

  统计/机器学习 回归分析 监督式学习    浏览次数:1951        分享
3

我们经常看到Tree bagging,因为它是决策树的改良。

那我可以对线性回归bagging吗?降低它的预测方差,提高稳定性?

 

LeBron   2017-05-18 13:44



   2个回答 
7

可以对线性回归模型进行Bagging,但是毫无意义


决策树需要做bagging,是因为它的预测bias小,variance大,所以可以通过bagging降低variance。


线性回归则是完全相反,bias大,variance非常小。从这个角度看,bagging并不能够改善什么。最重要的是,bagging对线性回归并不起作用。因为bagging会对多个单个模型的预测结果加和求平均,多个线性方程的平均,依然是个线性方程。所以当对很多线性回归模型求平均之后,最终得到模型的变量系数的还是你最初的线性方程的系数。

SofaSofa数据科学社区DS面试题库 DS面经

可爱多   2017-05-18 22:44

3

线性回归的bagging是没有意义的。

但是广义线性模型,比如逻辑回归,bagging却是有意义的。我们不是bagging logit(p),而是bagging最终的p。


SofaSofa数据科学社区DS面试题库 DS面经

雷猴   2017-05-19 10:29

是的,对GLM做bagging其实效果还不错 - 高代兄   2017-05-20 11:34


  相关主题

证明在线性回归中,如果样本数量N小于特征数量d+1,则XXT的秩最大为N?   1回答

逻辑回归最终的所有结果都是0的原因   3回答

逻辑回归的前提假设是什么?   2回答

adaboost做回归预测的时候,是怎么调整样本权重的?   1回答

GBDT+LR的工作原理?   4回答

可以对线性回归进行boosting吗?   3回答

python中可以做beta regression的包?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   2回答

在线性回归模型中存在epoch的说法吗?   2回答

门槛回归是什么?   1回答

最小二乘线性回归的推导   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!