XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?

  统计/机器学习    浏览次数: 261
2

相关问题:

xgboost是怎么做到regularization的?


其中提到:叶节点的数量和叶节点的得分越高,树就越复杂。

『叶节点的数量』容易理解,请问『叶节点的得分越高』为什么会导致树就越复杂呢?

 

dzzxjl   2018-03-09 11:13



   1个回答 
0

这个是xgboost作者陈天骐关于xgboost的ppt,可以看一看

https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf

节点的权值作为惩罚可以防治模型过于细化。因为分得越细,越容易过拟合。说白了,就是不想让一些点分得太好,好到难以置信。换句话,如果每个叶都分得巨好,那么就需要“陈独秀同学,你先坐下”了。

本质,它是和“叶节点的数量”类似的惩罚,但是不仅防治分得细,还防止分得太好。

听起来有点矛盾,但这的确就是xgboost牛轰轰的思路!


Jiho   2018-03-09 14:14



  相关主题

L2-norm为什么会让模型变得更加简单?   3回答

LASSO是无偏的还是有偏的?   0回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答

为什么LASSO可以做特征选择,而Ridge却不行?   2回答

xgboost中的决策树的复杂度是怎么定义的?   1回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   4回答

stack多个xgboost效果并不理想   3回答

xgboost是怎么做到regularization的?   2回答

相比xgboost,GBDT有什么优势   2回答

为什么lightgbm比xgb快?   2回答

xgboost怎么调参?   8回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!