xgboost的gblinear是什么意思?

  统计/机器学习 回归分析 监督式学习 R Python    浏览次数: 1612
10

当我们用xgboost做regression问题的时候,不管是R或者还是Python版本的xgboost,都有一个gblinear的booster。

这个gblinear是什么意思?

难道就是线性函数吗?线性函数有boosting一说?


 

木子周   2017-09-29 14:04



   2个回答 
18

因为对于线性回归来说,stack是没有意义的,这里的gblinear的意思实际上就是用sgd的迭代方法来训练一个LASSO线性模型。此时基于gblinear的xgboost就没有真正的‘boost’,只是一个用sgd求解的普通线性模型。


也可以参考xgb的作者陈天骐在这个问题里二楼的回应。


SofaSofa数据科学社区 DS面经 问答 实战

abuu   2017-10-03 22:35

1

该回答是错误的。请看abuu同学的解答。

原帖内容:

—————————————————————————

boosting不是一种具体算法,而是一种通过加权来结合弱分类器,实现强分类的一种思想。xgboost是对其中boosting家族中gradient boosting算法的优秀实现。线性回归模型当然可以作为gradient boosting的一种弱分类器。


SofaSofa数据科学社区 DS面经 问答 实战

s3040608090   2017-10-03 18:01

其实依旧是弱分类器,并没有被boost - abuu   2017-10-03 22:37
感谢指教! - s3040608090   2017-10-03 23:37


  相关主题

R用lm做线性回归的时候,interaction term是冒号还是乘号?   1回答

LOWESS回归   1回答

R里面dir函数是什么意思?   1回答

在R里面怎么把一系列类似的data.frame放在一起   1回答

R里paste0函数是什么意思?   1回答

怎么用R得到混淆矩阵?   1回答

R里的merge函数是inner join还是outer join?   1回答

python pandas里有没有类似R的summary的函数?   3回答

R里面求方差的函数var求的是样本方差还是总体方差   1回答

R语言里怎么求一个样本的众数   1回答

Decision Tree R code实现 选method的办法   1回答

R里线性回归结果中最后的F-statistic什么意思?有什么用?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!