XGBoost损失函数中正则项的理解

  统计/机器学习 监督式学习 损失函数    浏览次数:6844        分享
0


考虑到其中第二项的L2 norm of leaf scores,也就是每个叶子节点上输出的score的L2模的平方和。

那么两个y分布差异很大,而x分布相同的任务,会不会引起正则损失有很大的差异呢?

恳请大佬解惑。

 

nobodyoo1   2018-07-23 15:57



   1个回答 
-1

我觉得会有很大差异的,但是应该不会影响到模型训练。

因为baseline是相对的吧。

SofaSofa数据科学社区DS面试题库 DS面经

chrisliang   2018-07-24 08:59



  相关讨论

xgboost有正则项为什么还会过拟合呢?

Lasso和岭回归的正则项包含截距(常数项)吗?

xgboost是如何实现early stopping防止过拟合的?

L1正则化和L2正则化的区别?L1为啥具有稀疏性?

XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?

L0 norm 正则是什么意思?

正则项里的L1,L2是什么意思?

如何理解“迭代步骤本身就是一个正则化的过程”

为什么很少用L0范数惩罚正则项?

最小角回归是天然的LASSO化?正则化参数怎么体现?

  随便看看

如何调节seaborn里字体大小?

怎么对2维的numpy array取整?

两个独立的正态随机变量的乘积服从什么分布?

python pandas里有没有类似R的summary的函数?

怎么把pandas dataframe中一列英文文本全部转成小写?