最小二乘回归和线性回归

  统计/机器学习 回归分析 损失函数    浏览次数: 1482
7

最小二乘回归是不是就是等同于线性回归?它们是一回事么?

有非最小二乘的线性回归吗?


 

waccam   2017-09-27 11:16



   2个回答 
14

线性回归是个更广的概念,只要能够写成$y = ax + b$的形式都是线性回归模型。

和很多机器学习算法一样,损失函数才是模型的核心。

当我们希望预测值和真实值的平方和尽量小时,也就是损失函数为

$$\sum_{i=1}^n(y_i-\hat y_i)^2,$$

这个就是最小二乘线性回归。


当我们希望预测值和真实值的绝对值的和尽量小时,也就是损失函数为

$$\sum_{i=1}^n|y_i-\hat y_i|,$$

这个就是LAD线性回归。


我们还有其他的不同的更复杂的损失函数,造就了不同的线性回归模型,比如分位数回归Huber回归,等等。

由于最常用的、最简单的线性回归模型就是最小二乘法,所以通常说到线性回归的时候其实就是指的最小二乘线性回归。



abuu   2017-09-30 09:28

多谢回答! - waccam   2017-10-14 10:54
6

最小二乘法(Ordinary Least Squares, OLS)只是一种线性回归模型,但是是最最常用的,所以当我们说线性回归的时候通常实际上都是指的最小二乘线性回归。

当然有其他线性回归模型,比如最小绝对偏差(Least Absolute Deviation, LAD)回归模型。


Nagozi   2017-09-28 23:35

Thx! - waccam   2017-10-14 10:54


  相关主题

huber loss是什么?什么时候用?   1回答

泊松回归(poission regression)的损失函数是什么?   1回答

python里有没有huber loss的线性回归   1回答

逻辑回归的损失函数是怎么来的   2回答

在SVM中获知一个分类机/回归机需要有多训练点?   0回答

hinge loss的公式是什么?   1回答

logloss的取值范围是多少?一般好的分类器能达到多少?   4回答

如何理解GBDT里面“损失函数的负梯度在当前模型的值,可以作为残差的估计”?   0回答

cross entropy是什么意思?   1回答

怎么理解surrogate loss function代理损失函数?   2回答

二元分类为什么不能用MSE做为损失函数?   3回答

Hamming Loss汉明损失的计算公式是什么?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!