Ridge回归的解析解是什么?

  统计/机器学习 回归分析    浏览次数: 140
1

如果没有正则项,那么矩阵解为

$$\hat{\beta}=(X^TX)^{−1}X^Ty$$

如果加了$L_2$正则项,那么Ridge回归的解析解是什么?

 

hnh100   2018-10-23 09:55



   3个回答 
6

Ridge是有解析解的,假如正则项的惩罚系数为$\lambda$,那么解析为

$$\hat{\beta}=(X^TX+\lambda I)^{−1}X^Ty$$

里面的$I$是单位矩阵

SofaSofa数据科学社区 DS面经 问答 实战

strong.man   2018-10-24 11:30

5

这个可以根据岭回归的损失函数推导的,

$$Loss(\beta)=(Y-X\beta)^T(Y-X\beta)+\lambda \beta^T\beta$$

$\lambda$是正则项的系数

这个是凸问题,所以导数为0时取得解

$$\frac{\partial Loss}{\partial \beta}=2X^TX\beta-2X^TY+2\lambda I\beta=0$$

所以

$$(X^TX+\lambda I)\beta=X^TY$$

解析解为

$$\beta=(X^TX+\lambda I)^{-1}X^TY$$

SofaSofa数据科学社区 DS面经 问答 实战

jkm_pku   2018-11-01 14:07

1

LASSO没有一步到位的解析解。

$$l(\beta)=(X\beta-y)^T(X\beta-y)+\lambda|\beta|_1$$

$$\frac{\partial l}{\partial \beta}=X^T(X\beta-y)+\lambda sign(\beta)=0$$

$$\beta=(X^TX+\lambda sign(.))^{-1}X^Ty$$

因为右面和当前估计值$sign(\beta)$有关,只能用迭代的方法求出。不过求矩阵逆的计算量很大,还不如用gradient descent类方法。

---------------

不好意思,看成LASSO的了。Ridge的解析解应该是strong.man写的。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-10-23 23:21



  相关主题

LASSO是无偏的还是有偏的?   2回答

Lasso的自由度是多大?   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

L2-norm为什么会让模型变得更加简单?   3回答

关于lasso和ridge的区别   1回答

Ridge,Lasso,ElasticNet的目标函数分别是什么?   1回答

惩罚系数不变,特征变大,是不是更容易被Lasso去除?   1回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

请问 L1 到底为什么具有稀疏性   4回答

lasso path是什么意思?   1回答

XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!