可以对线性回归进行boosting吗?

  统计/机器学习 回归分析 监督式学习
0

例如将GBDT中的弱分类器换成LR?

 

小蓝帽   2018-01-02 13:29



   2个回答 
5

对线性回归boost并没有意义,因为叠加多个线性回归最后还是线性回归

比如第一个线性回归$a_1x+b_1$

第二个线性回归$a_2x+b_2$

将这两个相加,得到的是

$(a_1+a_2)x+(b_1+b_2)$,依然是个线性回归


线性回归是有解析解的,一旦求出一个线性回归,那一定是最优的,叠加也没有意义


数据痴汉   2018-01-02 23:38

3

这个和xgb中的弱分类器LR是一个意思,其实本质上没有被boost,只是被迭代求解而已。

可以参考我之前问过的问题:xgboost的gblinear是什么意思?



木子周   2018-01-03 13:01



相关问题

逻辑回归的前提假设是什么?   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

线性回归的bagging   2回答

逻辑回归模型中变量的系数怎么理解?   4回答

怎么理解分位数回归quantile regression的目标函数?   1回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

线性回归需要满足哪些基本前提假设   1回答

泊松回归的公式是什么?   1回答

L0 norm 正则是什么意思?   1回答

正则项里的L1,L2是什么意思?   1回答

python里怎么做分位数回归(quantile regression)?   1回答

提取sklearn逻辑回归的模型系数   0回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!