Ridge,Lasso,ElasticNet的目标函数分别是什么?

  统计/机器学习 回归分析 监督式学习 损失函数    浏览次数: 1093
3

Ridge,Lasso,ElasticNet的目标函数分别是什么?我知道Ridge是1范数,Lasso是2范数,ElasticNet是1,2范数混合。

目标函数具体是什么形式的?

 

我是老王   2017-04-15 11:26



   1个回答 
9

你说反了,LASSO是$L_1$范数,Ridge才是$L_2$范数,ElasticNet是同时用了$L_1,L_2$范数。


对于linear regression: $Y= X\beta$,(默认$Y$和$X$都是中心化的)。

LASSO的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-x_i\beta \right)^2+\lambda\|\beta\|_1 $$

其中$x_i\beta$是预测值,$y_i$是真值,$\lambda\|\beta\|_1$是LASSO的惩罚项。

Ridge的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-x_i\beta x\right)^2+\lambda\|\beta\|^2_2 $$

其中$\lambda\|\beta\|_2^2$是Ridge的惩罚项。

Elastic Net的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-\beta x_i\right)^2+\lambda_1\|\beta\|_1+\lambda_2\|\beta\|^2_2 $$

其中$\lambda_1\|\beta\|_1+\lambda_2\|\beta\|_2^2$是ElasticNet的惩罚项。


对于logistic regression: $\text{logit}(p)= X\beta$,(截距被包含在$\beta$中)。

LASSO的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda\|\beta\|_1 $$

其中$y$是真实值,$p$是预测的概率,$\lambda\|\beta\|_1$是LASSO的惩罚项。

Ridge的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda\|\beta\|^2_2 $$

其中$y$是真实值,$p$是预测的概率$\lambda\|\beta\|_2^2$是Ridge的惩罚项。

Elastic Net的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda_1\|\beta\|_1+\lambda_2\|\beta\|^2_2 $$

其中$y$是真实值,$p$是预测的概率,$\lambda_1\|\beta\|_1+\lambda_2\|\beta\|_2^2$是ElasticNet的惩罚项。



batmanX   2017-04-17 09:05



  相关主题

什么时候该用LASSO,什么时候该用Ridge?   2回答

Lasso的自由度是多大?   1回答

LASSO是无偏的还是有偏的?   2回答

关于lasso和ridge的区别   1回答

L2-norm为什么会让模型变得更加简单?   3回答

Lasso是对数值大的系数压缩大还是数值小的系数压缩大?   2回答

为什么LASSO可以做特征选择,而Ridge却不行?   3回答

lasso path是什么意思?   1回答

请问 L1 到底为什么具有稀疏性   4回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

XGBoost为什么可以通过叶子节点的权值w的L2模平方来控制树的复杂度?   1回答

XGBoost损失函数中正则项的理解   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!