GBDT和XGBoost使用的都是回归树,原理上是怎么支持解决分类问题的?

  统计/机器学习 监督式学习    浏览次数:8129        分享
0

希望有大神从建树和损失函数的角度详细解释下。


 

quentin   2019-02-21 11:30



   3个回答 
0

GBDT和XGB一般是使用logloss作为损失函数。

建树的过程就是寻找最佳分叉点和分叉特征的过程。GBDT是用mse作为分叉和建树的标准。

xgboost的损失函数可以参考这里

SofaSofa数据科学社区DS面试题库 DS面经

jkm_pku   2019-02-21 13:27

你对GBDT理解有问题。 Boosting方法怎么可能使用分类树?分类树的结果怎么进行相加? - quentin   2019-02-21 13:45
和RF混淆了 - jkm_pku   2019-02-21 14:39
Boosting不能使用分类树?AdaBoost不就是分类树吗? - 马里酪火鸡   2019-11-16 21:28
0

用softmax映射成概率,之后一样用(y - y_pred)来算残差。

SofaSofa数据科学社区DS面试题库 DS面经

leah_xx   2020-12-23 09:44

0

GBDT使用的是回归树,而XGBoost除了回归树还支持其它线性分类器。如果使用回归树,那么返回的值也是连续的,我知道的是可以设定阈值thres来分类,当然可以根据你所分的区间进行分类。

SofaSofa数据科学社区DS面试题库 DS面经

Cypher   2020-12-24 17:06



  相关主题

xgboost怎么调参?   9回答

xgboost里的每棵树是不是等权重的?   2回答

为什么lightgbm比xgb快?   2回答

怎么利用permutation importance来解释xgboost模型的特征?   2回答

xgboost为什么会有seed?随机性体现在哪里?   2回答

xgboost可以做回归预测吗?   2回答

xgboost中的决策树的复杂度是怎么定义的?   2回答

到底什么时候用lightgbm什么时候用xgb   2回答

既然xgboost那么好,线性回归还有存在的价值吗?   9回答

xgboost的FIT问题   1回答

xgboost中的参数min_child_weight是什么意思?   1回答

xgboost的gblinear是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!