什么时候该用LASSO,什么时候该用Ridge?

  统计/机器学习 回归分析 监督式学习    浏览次数:12775        分享
2

LASSO和Ridge都是正则化的手段,也都可以起到防止过拟合的效果。那么时候该用LASSO什么时候该用Ridge呢?

 

水煮鱼   2017-04-03 23:14



   2个回答 
8

这两个都是正则化的手段。LASSO是基于回归系数的一范数,Ridge是基于回归系数的二范数的平方。


根据Hastie, Tibshirani, Friedman的经典教材,如果你的模型中有很多变量对模型都有些许影响,那么用Ridge;如果你的模型中只有少量变量对模型很大影响,那么用LASSO。LASSO可以使得很多变量的系数为0(相当于降维),但是Ridge却不能。

因为Ridge计算起来更快,所以当数据量特别大的时候,更倾向于用Ridge。

最万能的方法是用LASSO和Ridge都试一试,比较两者Cross Validation的结果。


最后补充一下,你也可以尝试一下两者的混合,Elastic Net。

SofaSofa数据科学社区DS面试题库 DS面经

蓝色北方   2017-04-04 23:49

如果有很多多重共线性的变量,ridge的效果比lasso好 - 清风   2017-04-06 09:47
我补充强调一下,LASSO可以降维,特征选择,可以简化模型;而Ridge不会进行特征选择 - 高代兄   2017-04-07 11:20
2

你可以用elastic net, 多了一个超参,但是结合了both ridge and LASSO

SofaSofa数据科学社区DS面试题库 DS面经

crazy_lau   2017-09-20 17:26



  相关讨论

LASSO是无偏的还是有偏的?

Lasso的自由度是多大?

Ridge回归的解析解是什么?

坐标下降法求LASSO问题怎样执行

关于lasso和ridge的区别

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?

惩罚系数不变,特征变大,是不是更容易被Lasso去除?

L2-norm为什么会让模型变得更加简单?

Ridge,Lasso,ElasticNet的目标函数分别是什么?

为什么LASSO可以做特征选择,而Ridge却不行?

  随便看看

医学统计里的c-index或者c-statistic是什么意思?

人工神经网络有哪些常用的激活函数?

pandas把一列日期转换为星期

为什么样本方差是除以n-1

对连续特征一定要进行分箱处理吗?