GBDT和XGBoost使用的都是回归树，原理上是怎么支持解决分类问题的？

  统计/机器学习 监督式学习    浏览次数：7240        分享
二维码
手机扫描二维码
  面试中常见简答题？
0

希望有大神从建树和损失函数的角度详细解释下。


 

quentin   2019-02-21 11:30


   3个回答 
0

GBDT和XGB一般是使用logloss作为损失函数。

建树的过程就是寻找最佳分叉点和分叉特征的过程。GBDT是用mse作为分叉和建树的标准。

xgboost的损失函数可以参考这里。

SofaSofa数据科学社区DS面试题库 DS面经

jkm_pku   2019-02-21 13:27

你对GBDT理解有问题。 Boosting方法怎么可能使用分类树？分类树的结果怎么进行相加？ - quentin   2019-02-21 13:45
和RF混淆了 - jkm_pku   2019-02-21 14:39
Boosting不能使用分类树？AdaBoost不就是分类树吗？ - 马里酪火鸡   2019-11-16 21:28
0

用softmax映射成概率，之后一样用(y - y_pred)来算残差。

SofaSofa数据科学社区DS面试题库 DS面经

leah_xx   2020-12-23 09:44

0

GBDT使用的是回归树，而XGBoost除了回归树还支持其它线性分类器。如果使用回归树，那么返回的值也是连续的，我知道的是可以设定阈值thres来分类，当然可以根据你所分的区间进行分类。

SofaSofa数据科学社区DS面试题库 DS面经

Cypher   2020-12-24 17:06



  相关主题

xgboost的FIT问题   1回答

stack多个xgboost效果并不理想   6回答

xgboost展开到二阶导数有什么好处啊   1回答

xgboost可以做回归预测吗？   2回答

在random forest和xgboost这类集成树模型中是如何计算_feature_importance的   1回答

xgboost为什么会有seed？随机性体现在哪里？   2回答

为啥Xgboost比GradientBoost好那么多？   6回答

如果用xgboost模型，那么还需要先做feature selection吗？   3回答

xgboost中的决策树的复杂度是怎么定义的？   2回答

Tree Shap value for xgboost   2回答

为什么lightgbm比xgb快？   2回答

怎么利用permutation importance来解释xgboost模型的特征？   2回答

回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出！