LASSO是无偏的还是有偏的?

  统计/机器学习 回归分析    浏览次数: 468
1

LASSO是无偏的还是有偏的?怎么理解回归中的有偏或者无偏呢?

 

ljljlj   2018-06-23 10:46



   2个回答 
2

$\beta_{LASSO}=\underset{\beta}{\mathrm{argmin}}||y-X\beta||^2+\lambda|\beta|_1$

当$\lambda=0$时,没有限制(shrinkage),此时无偏;

当$\lambda$增大时,bias增大,variance减小;

当$\lambda$减小时,bias减小,variance增大。

看到有个说法(我没验证过),当添加先验知识从而减小自由度(degree of freedom)时,估计就是有偏的。LASSO的自由度是非零参数个数。

一个简单的例子,当y和X都是高斯分布,第一个项(似然函数项)得到$\beta$的估计是无偏,再加一个有偏的第二项(先验知识项,会迫使所有$\beta=0$,显然是有偏的),最后结果就是有偏的。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-06-30 02:05

1

bias是从estimator的角度来说的。

其实LASSO和Ridge,甚至说所有有penalty的回归都是biased,不然会违背高斯-马尔可夫定理。


SofaSofa数据科学社区 DS面经 问答 实战

okayguy   2018-07-18 13:41



  相关主题

Ridge回归的解析解是什么?   3回答

Lasso的自由度是多大?   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

L2-norm为什么会让模型变得更加简单?   3回答

关于lasso和ridge的区别   1回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

惩罚系数不变,特征变大,是不是更容易被Lasso去除?   1回答

lasso path是什么意思?   1回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

请问 L1 到底为什么具有稀疏性   4回答

XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!