L1范数回归与TV正则化哪个的回归效果更好?

  统计/机器学习 回归分析 开放问题    浏览次数:647        分享
0

基于L1范数作为惩罚项(正则项)的回归就是LASSO回归,文献中分析说具有自动降维的功能,相比于基于2范数即Tikhonov正则化的回归能够避免回归结果的过渡平滑,而TV正则化的描述中也说其可以避免Tikhonov正则化的过渡平滑。从数学公式上来看,LASSO的惩罚项是超平面广义斜率的绝对值之和,TV正则化的惩罚项是超平面广义斜率的梯度的绝对值之和,这二者在实际表现中,是否有优劣之分或者适用的问题范围呢?

 

CE_PAUL   2019-01-21 14:44



   1个回答 
3

它们不可比。LASSO是$\sum |w|_1$,$w$之间是独立的,比如身高和体重对应的系数就独立。LASSO只能让$w$稀疏,不能让它smooth。而TV是$\sum\sqrt{(\nabla w_i)^2}$,其中$\nabla w_i$是$w_i$的local gradient vector。$w_i$和$w_{i+1}$相关,比如图像或音频。TV是让相邻系数间的差稀疏,也就是系数smooth。和TV相比的是$w$ local gradient 的L1,L2norm。经验上是光滑程度L2>TV>L1。

L1对应$\nabla w \sim Laplace$, L2对应$\nabla w \sim Gaussian$,TV介于两者间。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-01-21 16:21

多谢多谢 - CE_PAUL   2019-01-21 18:27


  相关主题

正则项里的L1,L2是什么意思?   1回答

如何理解“迭代步骤本身就是一个正则化的过程”   2回答

最小角回归是天然的LASSO化?正则化参数怎么体现?   3回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

L0 norm 正则是什么意思?   1回答

如何简单理解正则化   4回答

xgboost有正则项为什么还会过拟合呢?   2回答

XGBoost损失函数中正则项的理解   1回答

无监督学习(比如K Means)里怎么加正则项来防止过拟合   3回答

为什么过拟合不好?   8回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!