xgboost是怎么做到regularization的?

  统计/机器学习 监督式学习
2

XGB比GBDT好主要就是因为增加了regularization,防止过拟合。

这个regularization是怎么加上去的?对LASSO或者Ridge,我们知道可以加在回归系数上面。但是决策树又没有系数之类的,这个regularization是怎么加的?加在哪儿的?

谢谢各位!

 

红魔鲁尼   2017-04-14 09:18



   2个回答 
6

xgboost的目标函数是损失函数+惩罚项。从下面的式子可以看出,树越复杂,惩罚越重。

树的复杂度定义如下。

叶节点的数量和叶节点的得分越高,树就越复杂。



KingBug   2017-06-01 21:06

-1

红魔鲁尼 大神,你好。看到你在比赛《公共自行车使用量预测》拿到了第三,很是厉害!想看一下你的模型,来学习一下。我现在没有很好的办法来联系你。所以只能这样了。我的邮箱是xuan619@sina.com 麻烦了红神来联系我了!万分感谢! 

WindWard   2017-12-27 23:22



相关问题

xgboost怎么调参?   6回答

stack多个xgboost效果并不理想   2回答

为什么lightgbm比xgb快?   1回答

xgboost中的参数min_child_weight是什么意思?   1回答

为啥Xgboost比GradientBoost好那么多?   4回答

xgboost可以做回归预测吗?   2回答

XGBClassifier设置random_state报错   1回答

xgboost中的决策树的复杂度是怎么定义的?   1回答

既然xgboost那么好,线性回归还有存在的价值吗?   4回答

如何理解xgboost與cart節點分數?   1回答

xgboost可以用sklearn里的GridSearchCV吗?   2回答

对于xgboost,还有必要做很多特征工程吗?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!