怎么理解分位数回归quantile regression的目标函数?

  统计/机器学习 回归分析    浏览次数:13754        分享
4

怎么理解分位数回归quantile regression的目标函数?

 

FTD   2017-06-01 10:30



   1个回答 
9

Quantile Regression可以看作广义的LAD Regression.

假设$\text{y}=(y_1,y_2,\cdots, y_n)$为真实值,$\hat{\text{y}}=(\hat{y_1},\hat{y_2},\cdots,\hat{y_n})$为预测值,那么参数为$q$的Quantile Regression的目标函数为

$$L_q(\text{y},\hat{\text{y}})=\frac{1}{n}(1-q)\sum_{i:\hat{y_i}\geq y_i}(\hat{y_i} - y_i)+\frac{1}{n}q\sum_{j:\hat{y_j}< y_j}(y_j-\hat{y_j} )$$

当$q=0.5$时,Quantile Regression就退化为LAD Regression,也就是所谓的中位数回归。

$$L_{0.5}(\text{y},\hat{\text{y}})=\frac{1}{2n}\sum_{i=1}^n|\hat{y_i}-y_i|$$.

当$q>0.5$时,目标函数$L_q$对预测值偏小的结果惩罚更大。

当$q<0.5$时,目标函数$L_q$对预测值偏大的结果惩罚更大。


SofaSofa数据科学社区DS面试题库 DS面经

雷猴   2017-06-07 11:03

第一个公式里的$\hat y_i-y_i$是括号还是绝对值符号? - yukio   2018-07-30 02:39
括号和绝对值一样呀,你看求和下的条件 - 雷猴   2018-08-22 09:02


  相关讨论

最小二乘线性回归的推导

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?

怎么处理真值大部分为0的回归问题

在线性回归模型中存在epoch的说法吗?

逻辑回归模型中变量的系数怎么理解?

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

泊松回归的公式是什么?

门槛回归是什么?

用uci的crimes做了一个线性回归,test很差

TypeError: Expected sequence or array-like, got class 'map'

  随便看看

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?

sklearn中的predict_proba方法的返回值的意义

除了PCA,还有什么降维的方法?

两个凸函数相加,还是凸函数吗?

如何调节seaborn里字体大小?