L0 norm 正则是什么意思?

  统计/机器学习 回归分析    浏览次数:1145        分享
1

对线性回归加L0 norm的正则项是什么意思?

L0 norm又是什么?


 

魏哲   2017-11-06 01:11



   2个回答 
4

L0 norm是一组向量里不为0的元素的个数

比如一个向量 v = (5, 2, 0, 3, 4)

那么L0(v) = 4.


从正则化的角度来说,L0的作用是控制模型引入特征的数量。相比于L1(Lasso)和L2(Ridge),L0更加严格地控制特征的数量。

SofaSofa数据科学社区DS面试题库 DS面经

岛歌   2017-11-06 15:05

1

严格来说,L0 norm不是norm,因为它不满足范数的定义。

$L_0$从不满足范数定义上的数乘:

$$\|\lambda x\|=|\lambda|\|x\|$$

假设$x=(1,0,0,1)$,$L_0$范数是2。如果乘以2,得到$(2,0,0,2)$,$L_0$范数依然是2,而不是4。

所以$L_0$范数不是严格意义上的范数。

SofaSofa数据科学社区DS面试题库 DS面经

木子周   2019-05-28 14:11



  相关主题

正则项里的L1,L2是什么意思?   1回答

如何理解“迭代步骤本身就是一个正则化的过程”   2回答

最小角回归是天然的LASSO化?正则化参数怎么体现?   3回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

如何简单理解正则化   4回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

L1范数回归与TV正则化哪个的回归效果更好?   1回答

XGBoost损失函数中正则项的理解   1回答

xgboost有正则项为什么还会过拟合呢?   4回答

无监督学习(比如K Means)里怎么加正则项来防止过拟合   3回答

线下训练集和测试集防过拟合   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!