常用的回归模型中,哪些具有较好的鲁棒性(robustness)?

  统计/机器学习 回归分析    浏览次数: 417
1

常用的模型中,哪些具有较好的鲁棒性(robustness),不容易被噪声、离群值影响?



 

吴昊通   2017-12-19 13:04



   1个回答 
6

最常用的线性回归模型是最小二乘模型,也就是损失函数为$\sum |\Delta y|^2$,平方误差和。在没有离群点的时候,最小二乘能够很好地进行拟合。


由于最小二乘是采用平方误差,这就相当于对离群点、异常点给了很大的权重(平方增长),从而使得这些异常点对整个模型有很大的影响。如下图,红色的点就是离群点,为了“迁就”这两个离群点,整个模型(绿色线)就发生了严重的倾斜。所以最小二乘回归并不具备鲁棒性。


所谓鲁棒(robust),就是让模型本身尽量少受离群点的影响。

最常用的鲁棒回归模型就是中位数回归,median regression,或者最小绝对偏差回归,Least Absolute Deviation regression。

中位数回归的一种推广叫做,分位数回归,具体可参考这里

此外,还有huber回归,huber回归就是以huber loss为损失函数的回归模型,具体可以参考这里

另外还有很多其他回归方法,但是没有上面几个常用,比如说

随机抽样一致回归法(RANSAC),Theil-San回归算法,student t-回归。


染盘   2017-12-26 14:23



  相关主题

逻辑回归模型中变量的系数怎么理解?   4回答

线性回归需要满足哪些基本前提假设   1回答

怎么理解分位数回归quantile regression的目标函数?   1回答

怎么处理真值大部分为0的回归问题   2回答

泊松回归的公式是什么?   1回答

在线性回归模型中存在epoch的说法吗?   2回答

python里怎么做分位数回归(quantile regression)?   1回答

线性回归的bagging   2回答

可以对线性回归进行boosting吗?   3回答

逻辑回归的前提假设是什么?   1回答

python中可以做beta regression的包?   1回答

线性回归是机器学习算法吗?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!