当我们用xgboost做regression问题的时候,不管是R或者还是Python版本的xgboost,都有一个gblinear的booster。
这个gblinear是什么意思?
难道就是线性函数吗?线性函数有boosting一说?
2个回答
因为对于线性回归来说,stack是没有意义的,这里的gblinear的意思实际上就是用sgd的迭代方法来训练一个LASSO线性模型。此时基于gblinear的xgboost就没有真正的‘boost’,只是一个用sgd求解的普通线性模型。
也可以参考xgb的作者陈天骐在这个问题里二楼的回应。
该回答是错误的。请看abuu同学的解答。
原帖内容:
—————————————————————————
boosting不是一种具体算法,而是一种通过加权来结合弱分类器,实现强分类的一种思想。xgboost是对其中boosting家族中gradient boosting算法的优秀实现。线性回归模型当然可以作为gradient boosting的一种弱分类器。
其实依旧是弱分类器,并没有被boost
-
abuu
2017-10-03 22:37
感谢指教!
-
s3040608090
2017-10-03 23:37