正则项里的L1，L2是什么意思？

  统计/机器学习 回归分析    浏览次数：4674        分享
二维码
手机扫描二维码
  机器学习面试也能刷题？
0

LASSO是L1惩罚正则项

Ridge是L2惩罚正则项


这里的L1和L2具体是什么意思？有没有具体的计算公式？


 

图不二   2017-10-31 14:23


   1个回答 
7

这里的$L_1$和$L_2$是指的向量范数的种类。

向量$x=(x_1, x_2,\cdots, x_n)$的$L_1$范数表示为

$$\|x\|_1=\sum_{i=1}^n|x_i|$$

比如说$x=(3, -4)$，那么$\|x\|_1=3+4=7$


向量$x=(x_1, x_2,\cdots, x_n)$的$L_2$范数表示为

$$\|x\|_2=\sqrt{\sum_{i=1}^nx_i^2}$$

比如说$x=(3, -4)$，那么$\|x\|_2=\sqrt{3^2+4^2}=5$


这些范数在Lasso和Ridge中的具体体现，可以参考Ridge，Lasso目标函数的表达式

SofaSofa数据科学社区DS面试题库 DS面经

TheTheThe   2017-11-01 11:05



  相关主题

如何理解“迭代步骤本身就是一个正则化的过程”   2回答

为什么很少用L0范数惩罚正则项？   2回答

L1范数回归与TV正则化哪个的回归效果更好？   1回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性？   5回答

Lasso和岭回归的正则项包含截距（常数项）吗？   2回答

为什么正则项通常都是用L1或者L2，而不是其他的？   2回答

L0 norm 正则是什么意思？   2回答

如何简单理解正则化   4回答

最小角回归是天然的LASSO化？正则化参数怎么体现？   3回答

无监督学习（比如K Means）里怎么加正则项来防止过拟合   3回答

XGBoost损失函数中正则项的理解   1回答

xgboost有正则项为什么还会过拟合呢？   5回答

回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出！