惩罚系数不变,特征变大,是不是更容易被Lasso去除?

  统计/机器学习 回归分析 监督式学习 特征选择    浏览次数: 71
0

在Lasso回归的环境下,如果我把某个特征$X_1$扩大,比如赋值$X_1=100X_1$,并且保持惩罚系数不变,那么$X_1$是不是更容易被Lasso去除(回归系数为0)?


我看到一个相似问题Lasso是对数值大的系数压缩大还是数值小的系数压缩大?但是好像和我问的不是完全一样,请求高人指点。

 

姜金杰   2018-10-29 12:53



   1个回答 
0

对,把某特征$X_1$扩大,并且惩罚系数$\lambda$不变,$X_1$的回归系数$w_1$更容易为0。

把一个特征扩大变相把回归系数缩小,$X_1'=100X_1$可得$w_1'=w_1/100$。而且正则项提供的让回归系数变为0的gradient是相等的,$\lambda sign(w_1)=\lambda sign(w_1')$。所以新回归系数$w_1'$更容易为0。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-11-09 01:54



  相关主题

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

lasso path是什么意思?   1回答

请问 L1 到底为什么具有稀疏性   4回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

LASSO是无偏的还是有偏的?   2回答

Lasso的自由度是多大?   1回答

Ridge回归的解析解是什么?   3回答

关于lasso和ridge的区别   1回答

L2-norm为什么会让模型变得更加简单?   3回答

反复多次Lasso进行特征选择?   1回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!