为啥Xgboost比GradientBoost好那么多?

  统计/机器学习 监督式学习 开放问题    浏览次数:13220        分享
14

我之前是用的GradientBoost模型,做了特征工程,又选了参数,roc auc才达到0.75的水平。我现在换成最近超级火的XGBoost,什么都没做,roc auc直接飙到了0.82!为什么它比GradientBoost好那么多?

 

红魔鲁尼   2017-03-12 14:00



   6个回答 
19

(1)增加了正则项,树越复杂,惩罚越大,这防止了over-fitting,而GradientBoosting并没有惩罚项。

(2)在迭代更新的时候,Xgboost采用了二阶导数(海瑟矩阵),而GradientBoosting只是用了一阶导数(梯度)。

此外,xgboost跑起来也更快,因为采用了并行计算、块处理、稀疏矩阵处理技术等等。

SofaSofa数据科学社区DS面试题库 DS面经

高代兄   2017-03-14 07:36

海瑟矩阵是什么? - MeganC   2017-03-14 09:24
海瑟矩阵在这里了。。。http://sofasofa.24xi.org/forum_main_post.php?postid=1000453 - MeganC   2017-04-11 11:24
请问二阶导数近似loss function相比梯度下降会加快运行速度吗?还是会提高精度? - holidy   2018-08-21 03:17
精度是根据收敛条件决定的,但是收敛速度会更快,因为是二阶收敛速度。 - 梁静茹的勇气   2018-09-05 10:55
18

xgboost是从决策树一步步发展而来的。

决策树 $\longrightarrow$ 对样本重抽样,然后多个树平均 $\longrightarrow$ Tree bagging

Tree bagging $\longrightarrow$ 再同时对特征进行随机挑选 $\longrightarrow$ 随机森林

随机森林 $\longrightarrow$ 对随机森林中的树进行加权平均,而非简单平均$\longrightarrow$ Boosing (Adaboost, GradientBoost)

boosting $\longrightarrow$ 对boosting中的树进行正则化 $\longrightarrow$ xgboosting

从这条线一路发展,就能看出为什么xgboost的优势了。

SofaSofa数据科学社区DS面试题库 DS面经

Nagozi   2017-05-18 20:35

非常赞 - dzzxjl   2018-03-07 20:44
emmm 个人感觉上述不是很准确或者完备,Adaboost 还有对样本的权重处理,GBDT 则不会修改分类器权重,XGBoost 也不只是假如正则,最大优势应该是在于引入二阶梯度 - dby_freedom   2019-03-29 09:49
7
  • 传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。
  • xgboost在代价函数里加入了正则项,用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。
  • Shrinkage(缩减),相当于学习速率(xgboost中的eta)。xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。(补充:传统GBDT的实现也有学习速率)
  • 列抽样(column subsampling)。xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。对缺失值的处理。对于特征的值有缺失的样本,xgboost可以自动学习出它的分裂方向。
  • xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的?注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。xgboost的并行是在特征粒度上的。我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。
  • 可并行的近似直方图算法。树节点在进行分裂时,我们需要计算每个特征的每个分割点对应的增益,即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下,贪心算法效率就会变得很低,所以xgboost还提出了一种可并行的近似直方图算法,用于高效地生成候选的分割点。
SofaSofa数据科学社区DS面试题库 DS面经

梁静茹的勇气   2018-09-05 10:56

5

因为xgboost针对regression tree采用了dropout regularization。(详情见该论文

SofaSofa数据科学社区DS面试题库 DS面经

数据痴汉   2017-04-11 11:27

5

1.损失函数是用泰勒展式二项逼近,也就是海森矩阵,而不是像gbdt里的就是一阶导数

2.对树的结构进行了正则化约束(regularization),防止模型过度复杂,降低了过拟合的可能性

3.节点分裂的方式不同,gbdt是用的gini系数,xgboost是经过优化推导后的

4.优化了计算过程,缩短了运行时间

SofaSofa数据科学社区DS面试题库 DS面经

五道口少年   2017-10-18 21:26

0

推荐这篇文章:从决策树到XGBoost

SofaSofa数据科学社区DS面试题库 DS面经

quentin   2019-03-20 10:41



  相关主题

xgboost的FIT问题   1回答

到底什么时候用lightgbm什么时候用xgb   2回答

对于xgboost,还有必要做很多特征工程吗?   3回答

xgboost里的每棵树是不是等权重的?   2回答

为什么lightgbm比xgb快?   2回答

怎么利用permutation importance来解释xgboost模型的特征?   2回答

GBDT和XGBoost在叶子节点权重计算上有什么不同?   0回答

xgboost怎么调参?   9回答

stack多个xgboost效果并不理想   6回答

xgboost是怎么做到regularization的?   2回答

Tree Shap value for xgboost   2回答

xgboost为什么会有seed?随机性体现在哪里?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!