Processing math: 100%

正则项里的L1,L2是什么意思?

  统计/机器学习 回归分析    浏览次数:6193        分享
0

LASSO是L1惩罚正则项

Ridge是L2惩罚正则项


这里的L1和L2具体是什么意思?有没有具体的计算公式?


 

图不二   2017-10-31 14:23



   1个回答 
7

这里的L1L2是指的向量范数的种类。

向量x=(x1,x2,,xn)L1范数表示为

x1=ni=1|xi|

比如说x=(3,4),那么x1=3+4=7


向量x=(x1,x2,,xn)L2范数表示为

x2=ni=1x2i

比如说x=(3,4),那么x2=32+42=5


这些范数在Lasso和Ridge中的具体体现,可以参考Ridge,Lasso目标函数的表达式

SofaSofa数据科学社区DS面试题库 DS面经

TheTheThe   2017-11-01 11:05



  相关讨论

L0 norm 正则是什么意思?

L1范数回归与TV正则化哪个的回归效果更好?

为什么正则项通常都是用L1或者L2,而不是其他的?

L1正则化和L2正则化的区别?L1为啥具有稀疏性?

如何理解“迭代步骤本身就是一个正则化的过程”

最小角回归是天然的LASSO化?正则化参数怎么体现?

Lasso和岭回归的正则项包含截距(常数项)吗?

为什么很少用L0范数惩罚正则项?

如何简单理解正则化

xgboost有正则项为什么还会过拟合呢?

  随便看看

pandas DataFrame中经常出现SettingWithCopyWarning

seaborn如何显示图?

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?

什么是混淆矩阵(confusion matrix)

为什么样本方差是除以n-1