Ridge,Lasso,ElasticNet的目标函数分别是什么?

  统计/机器学习 回归分析 监督式学习 损失函数
3

Ridge,Lasso,ElasticNet的目标函数分别是什么?我知道Ridge是1范数,Lasso是2范数,ElasticNet是1,2范数混合。

目标函数具体是什么形式的?

 

我是老王   2017-04-15 11:26



   1个回答 
7

你说反了,LASSO是$L_1$范数,Ridge才是$L_2$范数,ElasticNet是同时用了$L_1,L_2$范数。


对于linear regression: $Y= X\beta$,(截距被包含在$\beta$中)。

LASSO的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-x_i\beta \right)^2+\lambda\|\beta\|_1 $$

其中$x_i\beta$是预测值,$y_i$是真值,$\lambda\|\beta\|_1$是LASSO的惩罚项。

Ridge的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-x_i\beta x\right)^2+\lambda\|\beta\|^2_2 $$

其中$\lambda\|\beta\|_2^2$是Ridge的惩罚项。

Elastic Net的目标函数

$$\min_{\beta}\frac{1}{N}\sum_{i=1}^n\left(y_i-\beta x_i\right)^2+\lambda_1\|\beta\|_1+\lambda_2\|\beta\|^2_2 $$

其中$\lambda_1\|\beta\|_1+\lambda_2\|\beta\|_2^2$是ElasticNet的惩罚项。


对于logistic regression: $\text{logit}(p)= X\beta$,(截距被包含在$\beta$中)。

LASSO的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda\|\beta\|_1 $$

其中$y$是真实值,$p$是预测的概率,$\lambda\|\beta\|_1$是LASSO的惩罚项。

Ridge的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda\|\beta\|^2_2 $$

其中$y$是真实值,$p$是预测的概率$\lambda\|\beta\|_2^2$是Ridge的惩罚项。

Elastic Net的目标函数

$$\min_{\beta}\text{LogLoss}(y, p)+\lambda_1\|\beta\|_1+\lambda_2\|\beta\|^2_2 $$

其中$y$是真实值,$p$是预测的概率,$\lambda_1\|\beta\|_1+\lambda_2\|\beta\|_2^2$是ElasticNet的惩罚项。



batmanX   2017-04-17 09:05



相关问题

逻辑回归的损失函数是怎么来的   1回答

泊松回归(poission regression)的损失函数是什么?   1回答

最小二乘回归和线性回归   2回答

huber loss是什么?什么时候用?   1回答

python里有没有huber loss的线性回归   1回答

怎么理解surrogate loss function代理损失函数?   2回答

logloss的取值范围是多少?一般好的分类器能达到多少?   4回答

Hamming Loss汉明损失的计算公式是什么?   1回答

cross entropy是什么意思?   1回答

python求logloss   1回答

多分类问题有没有类似LogLoss的模型评判标准?   1回答

sklearn里LogisticRegressionCV总是报错:Expected sequence or array-like, got estimator   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!