什么时候该用LASSO,什么时候该用Ridge?

  统计/机器学习 回归分析 监督式学习
2

LASSO和Ridge都是正则化的手段,也都可以起到防止过拟合的效果。那么时候该用LASSO什么时候该用Ridge呢?

 

水煮鱼   2017-04-03 23:14



   2个回答 
8

这两个都是正则化的手段。LASSO是基于回归系数的一范数,Ridge是基于回归系数的二范数的平方。


根据Hastie, Tibshirani, Friedman的经典教材,如果你的模型中有很多变量对模型都有些许影响,那么用Ridge;如果你的模型中只有少量变量对模型很大影响,那么用LASSO。LASSO可以使得很多变量的系数为0(相当于降维),但是Ridge却不能。

因为Ridge计算起来更快,所以当数据量特别大的时候,更倾向于用Ridge。

最万能的方法是用LASSO和Ridge都试一试,比较两者Cross Validation的结果。


最后补充一下,你也可以尝试一下两者的混合,Elastic Net。

蓝色北方   2017-04-04 23:49

如果有很多多重共线性的变量,ridge的效果比lasso好 - 清风   2017-04-06 09:47
我补充强调一下,LASSO可以降维,特征选择,可以简化模型;而Ridge不会进行特征选择 - 高代兄   2017-04-07 11:20
2

你可以用elastic net, 多了一个超参,但是结合了both ridge and LASSO

crazy_lau   2017-09-20 17:26



相关问题

可以对线性回归进行boosting吗?   2回答

线性回归的bagging   2回答

逻辑回归的前提假设是什么?   1回答

L0 norm 正则是什么意思?   1回答

泊松回归的公式是什么?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

怎么理解分位数回归quantile regression的目标函数?   1回答

正则项里的L1,L2是什么意思?   1回答

线性回归需要满足哪些基本前提假设   1回答

python里怎么做分位数回归(quantile regression)?   1回答

提取sklearn逻辑回归的模型系数   0回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!