反复多次Lasso进行特征选择?

  统计/机器学习 回归分析 监督式学习 数据降维 特征选择    浏览次数:735        分享
0

我遇到的问题是变量很多,所以想用Lasso方法,这样得到的模型会有很多变量的系数为0。

我运行了一次Lasso之后,发现还是有很多的变量的系数不为0,我能不能对剩下的变量再做一次Lasso,反复进行,直到剩下的变量比较少为止。

我想知道这样做有没有什么道理,或者说有什么问题?

 

桐桐酱   2018-10-30 14:23



   1个回答 
2

如果你觉得变量在Lasso之后仍然太多,你应该增大你的正则系数,让惩罚更大,而不是再重复一次Lasso。

其次你说“直到剩下的变量比较少为止”,这不是一个很科学的说法,变量的多少不是人为决定的,应该是通过对惩罚系数进行交叉验证调参得到的。

你可以看下Lasso path,它能够反映出惩罚系数和剩下的变量的个数。

SofaSofa数据科学社区DS面试题库 DS面经

abuu   2018-10-31 14:06



  相关主题

惩罚系数不变,特征变大,是不是更容易被Lasso去除?   1回答

lasso path是什么意思?   1回答

post lasso是什么意思?   2回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

坐标下降法求LASSO问题怎样执行   1回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答

LASSO是无偏的还是有偏的?   2回答

请问 L1 到底为什么具有稀疏性   4回答

Ridge回归的解析解是什么?   3回答

关于lasso和ridge的区别   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!