xgboost是怎么做到regularization的?

  统计/机器学习 监督式学习    浏览次数: 973
3

XGB比GBDT好主要就是因为增加了regularization,防止过拟合。

这个regularization是怎么加上去的?对LASSO或者Ridge,我们知道可以加在回归系数上面。但是决策树又没有系数之类的,这个regularization是怎么加的?加在哪儿的?

谢谢各位!

 

红魔鲁尼   2017-04-14 09:18



   2个回答 
8

xgboost的目标函数是损失函数+惩罚项。从下面的式子可以看出,树越复杂,惩罚越重。

树的复杂度定义如下。

叶节点的数量和叶节点的得分越高,树就越复杂。



KingBug   2017-06-01 21:06

『叶节点的数量』容易理解,请问『叶节点的得分越高』为什么会导致树就越复杂呢? - dzzxjl   2018-03-08 14:49
估计得需要看那篇论文了。感觉第一项是叶结点总数的话,第二项就是叶结点的加权后的总数。 - kykix   2018-03-09 00:03
-3

红魔鲁尼 大神,你好。看到你在比赛《公共自行车使用量预测》拿到了第三,很是厉害!想看一下你的模型,来学习一下。我现在没有很好的办法来联系你。所以只能这样了。我的邮箱是xuan619@sina.com 麻烦了红神来联系我了!万分感谢! 

WindWard   2017-12-27 23:22



  相关主题

为什么lightgbm比xgb快?   2回答

xgboost怎么调参?   8回答

相比xgboost,GBDT有什么优势   2回答

stack多个xgboost效果并不理想   3回答

xgboost的FIT问题   1回答

xgboost中的参数min_child_weight是什么意思?   1回答

把XGBRegressor保存到本地文件并调用   1回答

训练值都是正的,xgboost regression却预测出负数?   4回答

为啥Xgboost比GradientBoost好那么多?   4回答

xgboost可以做回归预测吗?   2回答

XGBClassifier设置random_state报错   1回答

既然xgboost那么好,线性回归还有存在的价值吗?   7回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!