XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?

  统计/机器学习    浏览次数:789        分享
3

相关问题:

xgboost是怎么做到regularization的?


其中提到:叶节点的数量和叶节点的得分越高,树就越复杂。

『叶节点的数量』容易理解,请问『叶节点的得分越高』为什么会导致树就越复杂呢?

 

dzzxjl   2018-03-09 11:13



   1个回答 
2

这个是xgboost作者陈天骐关于xgboost的ppt,可以看一看

https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf

节点的权值作为惩罚可以防治模型过于细化。因为分得越细,越容易过拟合。说白了,就是不想让一些点分得太好,好到难以置信。换句话,如果每个叶都分得巨好,那么就需要“陈独秀同学,你先坐下”了。

本质,它是和“叶节点的数量”类似的惩罚,但是不仅防治分得细,还防止分得太好。

听起来有点矛盾,但这的确就是xgboost牛轰轰的思路!


SofaSofa数据科学社区 DS面经 问答 实战

Jiho   2018-03-09 14:14



  相关主题

在random forest和xgboost这类集成树模型中是如何计算_feature_importance的   1回答

GBDT和XGBoost使用的都是回归树,原理上是怎么支持解决分类问题的?   1回答

xgboost里的每棵树是不是等权重的?   2回答

xgboost中的决策树的复杂度是怎么定义的?   2回答

XGBoost损失函数中正则项的理解   1回答

xgboost有正则项为什么还会过拟合呢?   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

lasso path是什么意思?   1回答

坐标下降法求LASSO问题怎样执行   1回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

Ridge回归的解析解是什么?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!