常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

  统计/机器学习 回归分析    浏览次数: 932
1

常用的模型中,哪些具有较好的鲁棒性(robustness),不容易被噪声、离群值影响?



 

吴昊通   2017-12-19 13:04



   1个回答 
6

最常用的线性回归模型是最小二乘模型,也就是损失函数为$\sum |\Delta y|^2$,平方误差和。在没有离群点的时候,最小二乘能够很好地进行拟合。


由于最小二乘是采用平方误差,这就相当于对离群点、异常点给了很大的权重(平方增长),从而使得这些异常点对整个模型有很大的影响。如下图,红色的点就是离群点,为了“迁就”这两个离群点,整个模型(绿色线)就发生了严重的倾斜。所以最小二乘回归并不具备鲁棒性。


所谓鲁棒(robust),就是让模型本身尽量少受离群点的影响。

最常用的鲁棒回归模型就是中位数回归,median regression,或者最小绝对偏差回归,Least Absolute Deviation regression。

中位数回归的一种推广叫做,分位数回归,具体可参考这里

此外,还有huber回归,huber回归就是以huber loss为损失函数的回归模型,具体可以参考这里

另外还有很多其他回归方法,但是没有上面几个常用,比如说

随机抽样一致回归法(RANSAC),Theil-San回归算法,student t-回归。


染盘   2017-12-26 14:23



  相关主题

怎么理解分位数回归quantile regression的目标函数?   1回答

最小二乘线性回归的推导   2回答

泊松回归的公式是什么?   1回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

在线性回归模型中存在epoch的说法吗?   2回答

逻辑回归模型中变量的系数怎么理解?   4回答

怎么处理真值大部分为0的回归问题   3回答

线性回归需要满足哪些基本前提假设   1回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答

系数非负的线性回归的python实现   2回答

python里怎么做分位数回归(quantile regression)?   1回答

GBDT+LR的工作原理?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!