xgboost是怎么做到regularization的？-SofaSofa

这个regularization是怎么加上去的？对LASSO或者Ridge，我们知道可以加在回归系数上面。但是决策树又没有系数之类的，这个regularization是怎么加的？加在哪儿的？

谢谢各位！

红魔鲁尼 2017-04-14 09:18

xgboost的目标函数是损失函数+惩罚项。从下面的式子可以看出，树越复杂，惩罚越重。

树的复杂度定义如下。

叶节点的数量和叶节点的得分越高，树就越复杂。

SofaSofa数据科学社区 DS面经问答实战

KingBug 2017-06-01 21:06

『叶节点的数量』容易理解，请问『叶节点的得分越高』为什么会导致树就越复杂呢？ - dzzxjl 2018-03-08 14:49

估计得需要看那篇论文了。感觉第一项是叶结点总数的话，第二项就是叶结点的加权后的总数。 - kykix 2018-03-09 00:03

红魔鲁尼大神，你好。看到你在比赛《公共自行车使用量预测》拿到了第三，很是厉害！想看一下你的模型，来学习一下。我现在没有很好的办法来联系你。所以只能这样了。我的邮箱是xuan619@sina.com 麻烦了红神来联系我了！万分感谢！

SofaSofa数据科学社区 DS面经问答实战

WindWard 2017-12-27 23:22