为什么岭回归和最小二乘支持向量回归有一样二次规划形式却有不同解

  统计/机器学习 回归分析 开放问题    浏览次数: 464
1

岭回归(RS)和最小二乘支持向量回归(LS_SVR)的凸二次回归问题其实是一样的,就是岭回归的正则化参数是乘在惩罚项(权重向量/斜率 的内积)上,而最小二乘支持向量机的正则化参数是乘在误差项上的,在这样的情况下为什么会出现当训练点数大于维度数时岭回归的计算量小于最小二乘支持向量回归呢?

希望知道关系:Y=XTω,其中X是一个N*M矩阵,由M个N维列向量组成

RS: ω=(XXTI)-1XY

LS_SVR: 当映射函数φ(X)=X时,公式为,ω=X(XTX+γ-1I)-1Y

可以发现RS需要对一个N*N矩阵求逆,LS_SVR需要对一个M*M矩阵求逆,一般而言M大于N,所以LS_SVR的计算量将显著大于RS的计算量。但是他们的二次规划问题的形式是一样的,只是正则化参数(可以看成一个常系数)乘的位置不一样,怎么会造成最后的求解公式结果不一样呢?难道只是因为求解方法不一样?因为LS_SVR是拉格朗日乘数法而RS是直接对待求权重求偏导?

 

CE_PAUL   2018-10-25 13:52



   2个回答 
3

你提到的

Ridge

$$(XX^T+\alpha I)^{-1}X$$

和最小二乘SVM回归的

$$X(X^TX+\gamma^{-1}I)^{-1}$$

当$\alpha=\gamma^{-1}$的时候,就是完全等价的吧,你把两个逆矩阵分别左乘右乘一下,就得到一样的了

Ridge

$$X(X^TX+\gamma^{-1}I)$$

LS SVR

$$(XX^T+\alpha I)X$$

SofaSofa数据科学社区 DS面经 问答 实战

WinJ   2018-10-26 14:36

不是的,X'X和XX'得到的方阵大小不一样的,而且矩阵乘法没有交换律,针对LS_SVR而言,X在开头的话中间的那个逆不能直接乘到左边去呀 - CE_PAUL   2018-10-26 23:43
上面这个答案没有用交换律吧,我觉得没问题 - Nagozi   2018-10-27 03:43
因为在LS SVR的公式里面还有个Y啊不是么,右乘一个逆会导致不可计算吧,除非使用交换律先计算逆矩阵与原矩阵得到单位阵,但是相当于是(A^(-1)YA)不能写作(A^(-1)AY),而且Y作为一个列向量,(A^(-1)YA)这个式子本身就不能计算吧 - CE_PAUL   2018-10-27 15:09
$A=(XX^T+\alpha I)^{−1}X$,$B=X(X^TX+\gamma^{−1}I)^{−1}$;如果$A=B$,那么$Ay=By$ - WinJ   2018-10-27 15:28
谢谢..我再看看 - CE_PAUL   2018-10-27 17:59
多谢哈,隔了几天回来看看懂了,十分谢谢,所以我在想,这两个方法其实结果是一样的,但是涉及到逆矩阵的求解,其中逆矩阵的大小是不一样的,这是不是意味着在映射函数为简单线性的时候,采用RS会更加利于计算 - CE_PAUL   2018-10-29 17:45
2

当去掉正则项后,从数学上二者是等价的。比如$X=USV^T$,

$$w_{RS}=(XX^T)^{-1}XY=(US^{-1}V^TVS^{-1}U^T)USV^TY=US^{-1}V^TY$$

$$w_{LS_SVR}=X(X^TX)^{-1}Y=USV^T(VS^{-1}U^TUS^{-1}V^T)Y=US^{-1}V^TY$$

显然二者相等。但是在实际数值计算上二者并不相等,因为$XX^T$或$X^TX$可能不可逆,需要加正则项让他们可逆,求出稳定(stable)的逆矩阵解。至于$XX^T$和$X^TX$谁求逆更稳定,理论不太清楚。我的感觉是越小的矩阵越容易求逆。比如$X$是$N\times M$,如果$N<M$,则应该用RS。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-10-30 02:19

十分感谢! - CE_PAUL   2018-10-31 19:27


  相关主题

LS-SVM的核函数选取问题   1回答

如何对大型线性回归进行并行计算?   2回答

Sigmoid核函数是不是对新输入的需要预测的点的测量误差不敏感?   1回答

什么是“维数灾难”,为什么说引入核函数就避免“维数灾难”   1回答

线性回归是机器学习算法吗?   3回答

泊松回归有哪些应用场景?   2回答

有序的分类变量的预测是回归问题还是多分类问题?   3回答

逻辑回归模型中变量的系数怎么理解?   4回答

怎么处理真值大部分为0的回归问题   3回答

线性回归需要满足哪些基本前提假设   1回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!