XGBoost损失函数中正则项的理解

  统计/机器学习 监督式学习 损失函数    浏览次数: 134
0


考虑到其中第二项的L2 norm of leaf scores,也就是每个叶子节点上输出的score的L2模的平方和。

那么两个y分布差异很大,而x分布相同的任务,会不会引起正则损失有很大的差异呢?

恳请大佬解惑。

 

nobodyoo1   2018-07-23 15:57



   1个回答 
-1

我觉得会有很大差异的,但是应该不会影响到模型训练。

因为baseline是相对的吧。

chrisliang   2018-07-24 08:59



  相关主题

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

L0 norm 正则是什么意思?   1回答

正则项里的L1,L2是什么意思?   1回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

无监督学习(比如K Means)里怎么加正则项来防止过拟合   3回答

如何简单理解正则化   1回答

XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?   1回答

为什么过拟合不好?   6回答

线下训练集和测试集防过拟合   1回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答

决策树模型有什么特点以及如何防止过拟合?   2回答

Random Forest 过拟合有什么好办法?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!