Ridge回归的解析解是什么?

  统计/机器学习 回归分析    浏览次数:5109        分享
1

如果没有正则项,那么矩阵解为

$$\hat{\beta}=(X^TX)^{−1}X^Ty$$

如果加了$L_2$正则项,那么Ridge回归的解析解是什么?

 

hnh100   2018-10-23 09:55



   3个回答 
9

这个可以根据岭回归的损失函数推导的,

$$Loss(\beta)=(Y-X\beta)^T(Y-X\beta)+\lambda \beta^T\beta$$

$\lambda$是正则项的系数

这个是凸问题,所以导数为0时取得解

$$\frac{\partial Loss}{\partial \beta}=2X^TX\beta-2X^TY+2\lambda I\beta=0$$

所以

$$(X^TX+\lambda I)\beta=X^TY$$

解析解为

$$\beta=(X^TX+\lambda I)^{-1}X^TY$$

SofaSofa数据科学社区DS面试题库 DS面经

jkm_pku   2018-11-01 14:07

7

Ridge是有解析解的,假如正则项的惩罚系数为$\lambda$,那么解析为

$$\hat{\beta}=(X^TX+\lambda I)^{−1}X^Ty$$

里面的$I$是单位矩阵

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2018-10-24 11:30

1

LASSO没有一步到位的解析解。

$$l(\beta)=(X\beta-y)^T(X\beta-y)+\lambda|\beta|_1$$

$$\frac{\partial l}{\partial \beta}=X^T(X\beta-y)+\lambda sign(\beta)=0$$

$$\beta=(X^TX+\lambda sign(.))^{-1}X^Ty$$

因为右面和当前估计值$sign(\beta)$有关,只能用迭代的方法求出。不过求矩阵逆的计算量很大,还不如用gradient descent类方法。

---------------

不好意思,看成LASSO的了。Ridge的解析解应该是strong.man写的。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-10-23 23:21



  相关讨论

LASSO是无偏的还是有偏的?

Lasso的自由度是多大?

什么时候该用LASSO,什么时候该用Ridge?

L2-norm为什么会让模型变得更加简单?

坐标下降法求LASSO问题怎样执行

关于lasso和ridge的区别

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?

惩罚系数不变,特征变大,是不是更容易被Lasso去除?

Ridge,Lasso,ElasticNet的目标函数分别是什么?

请问 L1 到底为什么具有稀疏性

  随便看看

对于xgboost,还有必要做很多特征工程吗?

'numpy.ndarray' object has no attribute 'head'

为什么自然常数e等于阶乘的倒数的和?

PCA降维之前为什么要先标准化?

sklearn训练classifier的时候报错Unknown label type