与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?

  统计/机器学习 回归分析    浏览次数: 263
2

在由分类问题向回归问题过渡时,一般形式的支持向量(Vapnik形,V-SVM)需要选取一个大于最小硬带宽度的参数ε,而当ε选得过大时,得到的分划超平面的回归效果将很不理想。而最小二乘支持向量回归(LS-SVMR)则避免了人为的对ε参数的选择,同时LS-SVMR中最小化准确偏差的做法也是很合乎逻辑的。所以是不是可以得出这样的结论:最小二乘支持向量回归(LS-SVMR)拥有相对于一般形式的支持向量机(V-SVM)拥有更好的准确性,同时求解方法上由于化成了对线性方程组的求解,也会更加简单。那么如果上述结论成立,那一般形式的支持向量回归(V-SVM)的存在是不是意义不大了。(当然,在数据量特别大的时候,由于V-SVM具有稀疏性,可能有助于减小计算量)


【问题在知乎上问过一次,但是知乎上对这种很具体的方法论的问题往往得不到几次浏览,然后巧合在知乎上看到了SofaSofa,初来乍到,大家好】

 

CE_PAUL   2018-05-31 16:36



   2个回答 
3

看了下Comparison of SVM and LS-SVM for Regression,有几点想法:

1.V-SVMR中,只把$\epsilon$带之外的点作为support vector。也就是说$\epsilon$选太大,会扔掉太多training data,所以不准确。而LS_SVMR用到了所有training data。


2. V-SVMR要在所有data中找SV(support vector),是quadratic programming;而LS_SVMR只解一个线性方程组。所以在训练时,LS_SVMR要花更少计算量。


3.在预测时,V_SVMR的只用到SV,而LS_SVMR用到所有数据,所以V_SVMR计算量更小。论文里提到用变通的方法,在LS_SVMR中只留下$|\alpha _k|$大的点,从而减小LS_SVMR在预测时的计算量。


4.理论上并不能证明LS_SVMR比V_SVMR准确,比如在这篇论文的实验,LS_SVMR有更小的MSE。但也在其他论文中见过V_SVMR有更小的MSE,可能和调参有关系。只能说LS_SVMR的训练需要更小的计算量。

------------------------------------------------

5.

LS_SVMR的loss function里第二项就是SSE,而V_SVMR没有。当$\gamma$很大时,loss近似正比于MSE。

所以如果用MSE去衡量V_SMR和LS_SVMR,那么LS_SVMR的MSE很可能会低一点。

Zealing   2018-06-01 13:05

十分十分十分十分感谢!参数影响的确很大。这里就涉及一个新问题,就是参数对V-SVM和LS-SVM的影响机制是不是一样的,如果是一样的那么在选用同样核函数及同样核函数参数的前提下可以对比二者的准度,但我感觉核函数对二者的作用机理不太一样,V-SVM中只有支撑平面上的点是支持向量也即其实是因变量绝对值最大和最小的两个位置处的点是自变量,因为在引入硬带之后,把回归问题变为划分问题,上下平移硬带宽度的距离,这样只有最大值和最小值正好构成支撑平面上的点了,而LS-SVM的话是每个点都要计入,因而确实不好找一种对比基准。 - CE_PAUL   2018-06-01 20:51
2

《机器学习技法》的第六课讨论过这个问题。

贴个课件的图:


意思大概是,LS-SVMR使用了全部的数据作为support vector,一来计算很慢,二来容易受到噪声、异常值影响。可能是在实际使用中,和准确度相比,这两个因素也很重要吧。

nobodyoo1   2018-06-01 10:55

十分感谢!我正好也有林田轩老师的这个课件,但是没来得及看都在看书来着,我去查看一下! - CE_PAUL   2018-06-01 20:42


  相关主题

泊松回归的公式是什么?   1回答

在线性回归模型中存在epoch的说法吗?   2回答

常用的回归模型中,哪些具有较好的鲁棒性(robustness)?   1回答

逻辑回归模型中变量的系数怎么理解?   4回答

最小二乘线性回归的推导   2回答

怎么理解分位数回归quantile regression的目标函数?   1回答

线性回归需要满足哪些基本前提假设   1回答

如果迫使一个线性回归模型的截距为0,会有什么坏处吗?   2回答

怎么处理真值大部分为0的回归问题   3回答

系数非负的线性回归的python实现   2回答

python里怎么做分位数回归(quantile regression)?   1回答

逻辑回归的前提假设是什么?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!