xgboost的gblinear是什么意思?

  统计/机器学习 回归分析 监督式学习 R Python    浏览次数:11623        分享
10

当我们用xgboost做regression问题的时候,不管是R或者还是Python版本的xgboost,都有一个gblinear的booster。

这个gblinear是什么意思?

难道就是线性函数吗?线性函数有boosting一说?


 

木子周   2017-09-29 14:04



   2个回答 
23

因为对于线性回归来说,stack是没有意义的,这里的gblinear的意思实际上就是用sgd的迭代方法来训练一个LASSO线性模型。此时基于gblinear的xgboost就没有真正的‘boost’,只是一个用sgd求解的普通线性模型。


也可以参考xgb的作者陈天骐在这个问题里二楼的回应。


SofaSofa数据科学社区DS面试题库 DS面经

abuu   2017-10-03 22:35

0

该回答是错误的。请看abuu同学的解答。

原帖内容:

—————————————————————————

boosting不是一种具体算法,而是一种通过加权来结合弱分类器,实现强分类的一种思想。xgboost是对其中boosting家族中gradient boosting算法的优秀实现。线性回归模型当然可以作为gradient boosting的一种弱分类器。


SofaSofa数据科学社区DS面试题库 DS面经

s3040608090   2017-10-03 18:01

其实依旧是弱分类器,并没有被boost - abuu   2017-10-03 22:37
感谢指教! - s3040608090   2017-10-03 23:37


  相关讨论

R里xgboost的objective = "multi:softprob"是什么目标函数?

训练值都是正的,xgboost regression却预测出负数?

xgboost可以做回归预测吗?

xgboost中的参数min_child_weight是什么意思?

xgboost的FIT问题

stack多个xgboost效果并不理想

GBDT和XGBoost在叶子节点权重计算上有什么不同?

xgboost是怎么做到regularization的?

xgboost怎么调参?

xgboost里的每棵树是不是等权重的?

  随便看看

关于方差膨胀因子(VIF)的问题

为什么自然常数e等于阶乘的倒数的和?

pandas读取csv中指定的某些列

对于xgboost,还有必要做很多特征工程吗?

KNN中K值的选择