xgboost是怎么做到regularization的?

  统计/机器学习 监督式学习    浏览次数:3293        分享
4

XGB比GBDT好主要就是因为增加了regularization,防止过拟合。

这个regularization是怎么加上去的?对LASSO或者Ridge,我们知道可以加在回归系数上面。但是决策树又没有系数之类的,这个regularization是怎么加的?加在哪儿的?

谢谢各位!

 

红魔鲁尼   2017-04-14 09:18



   2个回答 
14

xgboost的目标函数是损失函数+惩罚项。从下面的式子可以看出,树越复杂,惩罚越重。

树的复杂度定义如下。

叶节点的数量和叶节点的得分越高,树就越复杂。



SofaSofa数据科学社区DS面试题库 DS面经

KingBug   2017-06-01 21:06

『叶节点的数量』容易理解,请问『叶节点的得分越高』为什么会导致树就越复杂呢? - dzzxjl   2018-03-08 14:49
估计得需要看那篇论文了。感觉第一项是叶结点总数的话,第二项就是叶结点的加权后的总数。 - kykix   2018-03-09 00:03
-13

红魔鲁尼 大神,你好。看到你在比赛《公共自行车使用量预测》拿到了第三,很是厉害!想看一下你的模型,来学习一下。我现在没有很好的办法来联系你。所以只能这样了。我的邮箱是xuan619@sina.com 麻烦了红神来联系我了!万分感谢! 

SofaSofa数据科学社区DS面试题库 DS面经

WindWard   2017-12-27 23:22



  相关主题

xgboost为什么会有seed?随机性体现在哪里?   2回答

xgboost展开到二阶导数有什么好处啊   1回答

为什么lightgbm比xgb快?   2回答

xgboost怎么调参?   9回答

stack多个xgboost效果并不理想   6回答

到底什么时候用lightgbm什么时候用xgb   2回答

xgboost的FIT问题   1回答

既然xgboost那么好,线性回归还有存在的价值吗?   9回答

训练值都是正的,xgboost regression却预测出负数?   4回答

如果用xgboost模型,那么还需要先做feature selection吗?   3回答

xgboost里怎么使用KS值?   1回答

怎么利用permutation importance来解释xgboost模型的特征?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!