可以对线性回归进行boosting吗?

  统计/机器学习 回归分析 监督式学习    浏览次数: 564
1

例如将GBDT中的弱分类器换成LR?

 

小蓝帽   2018-01-02 13:29



   3个回答 
6

对线性回归boost并没有意义,因为叠加多个线性回归最后还是线性回归

比如第一个线性回归$a_1x+b_1$

第二个线性回归$a_2x+b_2$

将这两个相加,得到的是

$(a_1+a_2)x+(b_1+b_2)$,依然是个线性回归


线性回归是有解析解的,一旦求出一个线性回归,那一定是最优的,叠加也没有意义


数据痴汉   2018-01-02 23:38

3

这个和xgb中的弱分类器LR是一个意思,其实本质上没有被boost,只是被迭代求解而已。

可以参考我之前问过的问题:xgboost的gblinear是什么意思?



木子周   2018-01-03 13:01

0

可以,但是没有意义,也没有必要,boost完之后也没有区别。


Josh_Josh   2018-02-08 15:11



  相关主题

如果支持向量机做回归任务,支持向量是什么?   1回答

逻辑回归最终的所有结果都是0的原因   3回答

逻辑回归的前提假设是什么?   1回答

GBDT+LR的工作原理?   3回答

线性回归的bagging   2回答

python中可以做beta regression的包?   1回答

怎么理解分位数回归quantile regression的目标函数?   1回答

最小二乘线性回归的推导   2回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

怎么处理真值大部分为0的回归问题   3回答

在线性回归模型中存在epoch的说法吗?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!