怎么理解分位数回归quantile regression的目标函数?

  统计/机器学习 回归分析
4

怎么理解分位数回归quantile regression的目标函数?

 

FTD   2017-06-01 10:30



   1个回答 
9

Quantile Regression可以看作广义的LAD Regression.

假设$\text{y}=(y_1,y_2,\cdots, y_n)$为真实值,$\hat{\text{y}}=(\hat{y_1},\hat{y_2},\cdots,\hat{y_n})$为预测值,那么参数为$q$的Quantile Regression的目标函数为

$$L_q(\text{y},\hat{\text{y}})=\frac{1}{n}(1-q)\sum_{i:\hat{y_i}\geq y_i}(\hat{y_i} - y_i)+\frac{1}{n}q\sum_{j:\hat{y_j}< y_j}(y_j-\hat{y_j} )$$

当$q=0.5$时,Quantile Regression就退化为LAD Regression,也就是所谓的中位数回归。

$$L_{0.5}(\text{y},\hat{\text{y}})=\frac{1}{2n}\sum_{i=1}^n|\hat{y_i}-y_i|$$.

当$q>0.5$时,目标函数$L_q$对预测值偏小的结果惩罚更大。

当$q<0.5$时,目标函数$L_q$对预测值偏大的结果惩罚更大。


雷猴   2017-06-07 11:03



相关问题

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

线性回归需要满足哪些基本前提假设   1回答

正则项里的L1,L2是什么意思?   1回答

L0 norm 正则是什么意思?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

泊松回归的公式是什么?   1回答

python里怎么做分位数回归(quantile regression)?   1回答

可以对线性回归进行boosting吗?   2回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

逻辑回归的前提假设是什么?   1回答

线性回归的bagging   2回答

线性回归是机器学习算法吗?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!