惩罚系数不变,特征变大,是不是更容易被Lasso去除?

  统计/机器学习 回归分析 监督式学习 特征选择    浏览次数:333        分享
1

在Lasso回归的环境下,如果我把某个特征$X_1$扩大,比如赋值$X_1=100X_1$,并且保持惩罚系数不变,那么$X_1$是不是更容易被Lasso去除(回归系数为0)?


我看到一个相似问题Lasso是对数值大的系数压缩大还是数值小的系数压缩大?但是好像和我问的不是完全一样,请求高人指点。

 

姜金杰   2018-10-29 12:53



   1个回答 
1

对,把某特征$X_1$扩大,并且惩罚系数$\lambda$不变,$X_1$的回归系数$w_1$更容易为0。

把一个特征扩大变相把回归系数缩小,$X_1'=100X_1$可得$w_1'=w_1/100$。而且正则项提供的让回归系数变为0的gradient是相等的,$\lambda sign(w_1)=\lambda sign(w_1')$。所以新回归系数$w_1'$更容易为0。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-11-09 01:54



  相关主题

请问 L1 到底为什么具有稀疏性   4回答

post lasso是什么意思?   2回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

关于lasso和ridge的区别   1回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

Ridge回归的解析解是什么?   3回答

坐标下降法求LASSO问题怎样执行   1回答

lasso path是什么意思?   1回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答

反复多次Lasso进行特征选择?   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

LASSO是无偏的还是有偏的?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!