相比xgboost,GBDT有什么优势

  统计/机器学习 监督式学习    浏览次数:1765        分享
0

如题,网上都说xgboost比GBDT有优势,那么相比xgboost,GBDT有什么优势?

谢谢!

 

holmes94   2018-04-21 18:02



   3个回答 
2

GBDT的全称是梯度提升决策树,核心思想就在于将损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值,而xgboost的思想可以说来源于gbdt等,不光用了一阶导数信息,还有二阶导数,以及在树的复杂度衡量、并行化等各方面做了改进和优化,而且基模型也不再局限于树模型,可以使用线性模型。

所以我个人觉得“相比xgboost,GBDT有什么优势?”并不是一个合理的问题,如果勉强给个答案,相比xgboost,gbdt可能没有什么优势,一己之见。

SofaSofa数据科学社区DS面试题库 DS面经

dzzxjl   2018-04-21 21:23

1

你这个问题要找的就是比较特殊的情况了。首先要理解这两种算法的区别,就可以自然的找到你想要的答案。

xgboost比gbdt要多考虑hessian 矩阵的迭代信息,并且结构上可以实现更多的并行,gbdt的优化。所以如果一定要找个情况gbdt比较好,应该是在一介导对收敛的效果远远大于二介导,可以使得计算二介导带来的增益远远不够支付额外计算hessian的费用的情况吧。

还有一个比较general的优势,可能就是对硬件的要求gbdt应该会低一点。

SofaSofa数据科学社区DS面试题库 DS面经

sz080212   2019-04-04 10:51

0

没有免费的午餐嘛,所以没有一个模型能够完全压倒另一个模型的


SofaSofa数据科学社区DS面试题库 DS面经

数据痴汉   2018-04-22 20:37



  相关主题

二阶优化算法比一阶的优化算法比有什么优缺点?   2回答

tsne被忽视?tsne有什么缺点?   2回答

kNN算法有哪些缺点?   6回答

决策树有哪些缺点?   2回答

K Means算法有哪些缺陷、劣势?   5回答

最小二乘法与最小二乘支持向量回归的优劣   4回答

激活函数ReLU和Sigmoid的优劣对比   4回答

在使用PCA降维时,有哪些坑?   6回答

随机森林(random forest)和支持向量机(SVM)各有什么优劣   1回答

坐标下降法和最小角回归求取L1范数正则化问题时的优劣?   1回答

xgboost的FIT问题   1回答

为什么lightgbm比xgb快?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!