GBDT和XGBoost使用的都是回归树,原理上是怎么支持解决分类问题的?

  统计/机器学习 监督式学习    浏览次数:10412        分享
0

希望有大神从建树和损失函数的角度详细解释下。


 

quentin   2019-02-21 11:30



   3个回答 
0

GBDT和XGB一般是使用logloss作为损失函数。

建树的过程就是寻找最佳分叉点和分叉特征的过程。GBDT是用mse作为分叉和建树的标准。

xgboost的损失函数可以参考这里

SofaSofa数据科学社区DS面试题库 DS面经

jkm_pku   2019-02-21 13:27

你对GBDT理解有问题。 Boosting方法怎么可能使用分类树?分类树的结果怎么进行相加? - quentin   2019-02-21 13:45
和RF混淆了 - jkm_pku   2019-02-21 14:39
Boosting不能使用分类树?AdaBoost不就是分类树吗? - 马里酪火鸡   2019-11-16 21:28
0

用softmax映射成概率,之后一样用(y - y_pred)来算残差。

SofaSofa数据科学社区DS面试题库 DS面经

leah_xx   2020-12-23 09:44

0

GBDT使用的是回归树,而XGBoost除了回归树还支持其它线性分类器。如果使用回归树,那么返回的值也是连续的,我知道的是可以设定阈值thres来分类,当然可以根据你所分的区间进行分类。

SofaSofa数据科学社区DS面试题库 DS面经

Cypher   2020-12-24 17:06



  相关讨论

为什么lightgbm比xgb快?

xgboost是怎么做到regularization的?

到底什么时候用lightgbm什么时候用xgb

xgboost怎么调参?

xgboost为什么会有seed?随机性体现在哪里?

GBDT和XGBoost在叶子节点权重计算上有什么不同?

stack多个xgboost效果并不理想

xgboost中的决策树的复杂度是怎么定义的?

xgboost里的每棵树是不是等权重的?

xgboost展开到二阶导数有什么好处啊

  随便看看

怎么理解tweedie分布?

返回DataFrame或者array的行数

修正R方(adjusted R square)是什么?

为什么神经网络模型不用交叉验证?

为什么过拟合不好?