可以对线性回归进行boosting吗?

  统计/机器学习 回归分析 监督式学习    浏览次数: 715
1

例如将GBDT中的弱分类器换成LR?

 

小蓝帽   2018-01-02 13:29



   3个回答 
6

对线性回归boost并没有意义,因为叠加多个线性回归最后还是线性回归

比如第一个线性回归$a_1x+b_1$

第二个线性回归$a_2x+b_2$

将这两个相加,得到的是

$(a_1+a_2)x+(b_1+b_2)$,依然是个线性回归


线性回归是有解析解的,一旦求出一个线性回归,那一定是最优的,叠加也没有意义


SofaSofa数据科学社区 DS面经 问答 实战

数据痴汉   2018-01-02 23:38

3

这个和xgb中的弱分类器LR是一个意思,其实本质上没有被boost,只是被迭代求解而已。

可以参考我之前问过的问题:xgboost的gblinear是什么意思?



SofaSofa数据科学社区 DS面经 问答 实战

木子周   2018-01-03 13:01

0

可以,但是没有意义,也没有必要,boost完之后也没有区别。


SofaSofa数据科学社区 DS面经 问答 实战

Josh_Josh   2018-02-08 15:11



  相关主题

线性回归的bagging   2回答

逻辑回归的前提假设是什么?   1回答

GBDT+LR的工作原理?   4回答

如果支持向量机做回归任务,支持向量是什么?   1回答

逻辑回归最终的所有结果都是0的原因   3回答

adaboost做回归预测的时候,是怎么调整样本权重的?   1回答

python中可以做beta regression的包?   1回答

最小二乘线性回归的推导   2回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

在线性回归模型中存在epoch的说法吗?   2回答

怎么处理真值大部分为0的回归问题   3回答

泊松回归的公式是什么?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!