反复多次Lasso进行特征选择?

  统计/机器学习 回归分析 监督式学习 数据降维 特征选择    浏览次数: 76
0

我遇到的问题是变量很多,所以想用Lasso方法,这样得到的模型会有很多变量的系数为0。

我运行了一次Lasso之后,发现还是有很多的变量的系数不为0,我能不能对剩下的变量再做一次Lasso,反复进行,直到剩下的变量比较少为止。

我想知道这样做有没有什么道理,或者说有什么问题?

 

桐桐酱   2018-10-30 14:23



   1个回答 
0

如果你觉得变量在Lasso之后仍然太多,你应该增大你的正则系数,让惩罚更大,而不是再重复一次Lasso。

其次你说“直到剩下的变量比较少为止”,这不是一个很科学的说法,变量的多少不是人为决定的,应该是通过对惩罚系数进行交叉验证调参得到的。

你可以看下Lasso path,它能够反映出惩罚系数和剩下的变量的个数。

SofaSofa数据科学社区 DS面经 问答 实战

abuu   2018-10-31 14:06



  相关主题

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?   1回答

惩罚系数不变,特征变大,是不是更容易被Lasso去除?   1回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

t-SNE如何实现降维?   1回答

lasso path是什么意思?   1回答

请问 L1 到底为什么具有稀疏性   4回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

python里怎么实现t-SNE降维?   1回答

LASSO是无偏的还是有偏的?   2回答

Lasso的自由度是多大?   1回答

Ridge回归的解析解是什么?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!