LASSO是L1惩罚正则项
Ridge是L2惩罚正则项
这里的L1和L2具体是什么意思?有没有具体的计算公式?
1个回答
这里的$L_1$和$L_2$是指的向量范数的种类。
向量$x=(x_1, x_2,\cdots, x_n)$的$L_1$范数表示为
$$\|x\|_1=\sum_{i=1}^n|x_i|$$
比如说$x=(3, -4)$,那么$\|x\|_1=3+4=7$
向量$x=(x_1, x_2,\cdots, x_n)$的$L_2$范数表示为
$$\|x\|_2=\sqrt{\sum_{i=1}^nx_i^2}$$
比如说$x=(3, -4)$,那么$\|x\|_2=\sqrt{3^2+4^2}=5$
这些范数在Lasso和Ridge中的具体体现,可以参考Ridge,Lasso目标函数的表达式
SofaSofa数据科学社区DS面试题库 DS面经 相关主题
为什么很少用L0范数惩罚正则项?
2回答
L0 norm 正则是什么意思?
2回答
如何简单理解正则化
4回答
最小角回归是天然的LASSO化?正则化参数怎么体现?
3回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!