为什么很少用L0范数惩罚正则项?

  统计/机器学习 监督式学习 特征选择    浏览次数:251        分享
0

通常用到得都是L1和L2,为什么很少用L0范数惩罚正则项?

 

长路漫漫   2020-02-13 09:37



   2个回答 
4

L0范数加入进去就是 NP hard问题了。L1范数和L2范数作为惩罚项,可以进行起码的求导操作。只有在面对特定的问题下,比如压缩感知获取稀疏解,也是将L0转换为L1范数的等价形式来进行求解最优值的。

SofaSofa数据科学社区DS面试题库 DS面经

CH3COOK   2020-02-15 00:35

1

L0性质不好,L0范数不具有范数的性质,范数具有距离,三角不等式,齐次性。可以看林青老师的凸优化课程,也可以去看泛函分析的相关内容。

SofaSofa数据科学社区DS面试题库 DS面经

eleve11   2020-02-22 14:47



  相关主题

最小角回归是天然的LASSO化?正则化参数怎么体现?   3回答

正则项里的L1,L2是什么意思?   1回答

如何简单理解正则化   4回答

L1范数回归与TV正则化哪个的回归效果更好?   1回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

如何理解“迭代步骤本身就是一个正则化的过程”   2回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

L0 norm 正则是什么意思?   2回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

无监督学习(比如K Means)里怎么加正则项来防止过拟合   3回答

XGBoost损失函数中正则项的理解   1回答

xgboost有正则项为什么还会过拟合呢?   5回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!