XGB比GBDT好主要就是因为增加了regularization，防止过拟合。
这个regularization是怎么加上去的？对LASSO或者Ridge，我们知道可以加在回归系数上面。但是决策树又没有系数之类的，这个regularization是怎么加的？加在哪儿的？
谢谢各位！
2个回答
xgboost的目标函数是损失函数+惩罚项。从下面的式子可以看出，树越复杂，惩罚越重。
树的复杂度定义如下。
叶节点的数量和叶节点的得分越高，树就越复杂。
KingBug
2017-06-01 21:06
红魔鲁尼 大神，你好。看到你在比赛《公共自行车使用量预测》拿到了第三，很是厉害！想看一下你的模型，来学习一下。我现在没有很好的办法来联系你。所以只能这样了。我的邮箱是xuan619@sina.com 麻烦了红神来联系我了！万分感谢！
SofaSofa数据科学社区DS面试题库 DS面经
WindWard
2017-12-27 23:22
相关主题
xgboost为什么会有seed？随机性体现在哪里？
2回答
为啥Xgboost比GradientBoost好那么多？
6回答
xgboost的FIT问题
1回答
GBDT和XGBoost使用的都是回归树，原理上是怎么支持解决分类问题的？
1回答
训练值都是正的，xgboost regression却预测出负数？
4回答
xgboost中的参数min_child_weight是什么意思？
1回答
怎么利用permutation importance来解释xgboost模型的特征？
2回答
xgboost里怎么使用KS值？
1回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出！