关于为什么要用GBDT的疑问

  统计/机器学习    浏览次数:596        分享
0

请问各位GBDT相对于直接的Boosting Tree的优势主要在哪里?个人理解是GBDT把对模型预测的损失函数最优化这一步转化为了对损失函数负梯度的平方损失最优化,保证了计算的简单与方向的正确,不知道我的理解是否错误?

如果我的理解大方向基本正确的话,假如在一般问题中我们的损失函数本身就是平方损失,为什么还要用GBDT呢?这样不是多此一举了?

才疏学浅,希望各位不吝赐教!

 

马里酪火鸡   2019-11-16 20:56



   1个回答 
0

那要你说的“直接的Boosting Tree”的定义了。GBDT前的boosting版本是Adaboost,Adaboost用的指数损失函数,然后会根据上一轮的迭代结果去更改每个样本的权重,上一轮错误的分类权重变大,正确的分类样本权重变小。权重的调整也有具体的公式。每个弱分类器自身的权重也是不等的。

GBDT的损失函数是可以是任何(可导)函数。在迭代过程中,GBDT不会去更改样本的权重,而是去直接优化目标函数,以一定的速率(学习率、步长)去拟合一轮又一轮的残差。

SofaSofa数据科学社区DS面试题库 DS面经

TTesT   2019-11-17 12:49



  相关主题

随机森林是如何计算测试样本的概率的?   0回答

Extra Tree算法   1回答

决策树可以做多元分类吗?   1回答

决策树算法ID3,C4.5和CART的特点、异同?   3回答

怎么得到randomforestregressor里每棵树的预测结果?   1回答

关于knn算法中kd树的问题   1回答

怎么理解RandomForest中的max_features?   1回答

随机森林的模型一般都很大么?   1回答

决策树剪枝有什么策略或者注意事项?   2回答

随机森林中增加树的数量对于偏差和方差的影响   2回答

决策树怎么做增量学习或者online学习?   1回答

剪枝是什么意思   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!