与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?

  统计/机器学习 回归分析    浏览次数:4567        分享
3

在由分类问题向回归问题过渡时,一般形式的支持向量(Vapnik形,V-SVM)需要选取一个大于最小硬带宽度的参数ε,而当ε选得过大时,得到的分划超平面的回归效果将很不理想。而最小二乘支持向量回归(LS-SVMR)则避免了人为的对ε参数的选择,同时LS-SVMR中最小化准确偏差的做法也是很合乎逻辑的。所以是不是可以得出这样的结论:最小二乘支持向量回归(LS-SVMR)拥有相对于一般形式的支持向量机(V-SVM)拥有更好的准确性,同时求解方法上由于化成了对线性方程组的求解,也会更加简单。那么如果上述结论成立,那一般形式的支持向量回归(V-SVM)的存在是不是意义不大了。(当然,在数据量特别大的时候,由于V-SVM具有稀疏性,可能有助于减小计算量)


【问题在知乎上问过一次,但是知乎上对这种很具体的方法论的问题往往得不到几次浏览,然后巧合在知乎上看到了SofaSofa,初来乍到,大家好】

 

CE_PAUL   2018-05-31 16:36



   2个回答 
3

看了下Comparison of SVM and LS-SVM for Regression,有几点想法:

1.V-SVMR中,只把$\epsilon$带之外的点作为support vector。也就是说$\epsilon$选太大,会扔掉太多training data,所以不准确。而LS_SVMR用到了所有training data。


2. V-SVMR要在所有data中找SV(support vector),是quadratic programming;而LS_SVMR只解一个线性方程组。所以在训练时,LS_SVMR要花更少计算量。


3.在预测时,V_SVMR的只用到SV,而LS_SVMR用到所有数据,所以V_SVMR计算量更小。论文里提到用变通的方法,在LS_SVMR中只留下$|\alpha _k|$大的点,从而减小LS_SVMR在预测时的计算量。


4.理论上并不能证明LS_SVMR比V_SVMR准确,比如在这篇论文的实验,LS_SVMR有更小的MSE。但也在其他论文中见过V_SVMR有更小的MSE,可能和调参有关系。只能说LS_SVMR的训练需要更小的计算量。

------------------------------------------------

5.

LS_SVMR的loss function里第二项就是SSE,而V_SVMR没有。当$\gamma$很大时,loss近似正比于MSE。

所以如果用MSE去衡量V_SMR和LS_SVMR,那么LS_SVMR的MSE很可能会低一点。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-06-01 13:05

十分十分十分十分感谢!参数影响的确很大。这里就涉及一个新问题,就是参数对V-SVM和LS-SVM的影响机制是不是一样的,如果是一样的那么在选用同样核函数及同样核函数参数的前提下可以对比二者的准度,但我感觉核函数对二者的作用机理不太一样,V-SVM中只有支撑平面上的点是支持向量也即其实是因变量绝对值最大和最小的两个位置处的点是自变量,因为在引入硬带之后,把回归问题变为划分问题,上下平移硬带宽度的距离,这样只有最大值和最小值正好构成支撑平面上的点了,而LS-SVM的话是每个点都要计入,因而确实不好找一种对比基准。 - CE_PAUL   2018-06-01 20:51
2

《机器学习技法》的第六课讨论过这个问题。

贴个课件的图:


意思大概是,LS-SVMR使用了全部的数据作为support vector,一来计算很慢,二来容易受到噪声、异常值影响。可能是在实际使用中,和准确度相比,这两个因素也很重要吧。

SofaSofa数据科学社区DS面试题库 DS面经

nobodyoo1   2018-06-01 10:55

十分感谢!我正好也有林田轩老师的这个课件,但是没来得及看都在看书来着,我去查看一下! - CE_PAUL   2018-06-01 20:42


  相关讨论

线性支持向量机和中心化中截距的问题

lssvm核函数 matlab

如果支持向量机做回归任务,支持向量是什么?

为什么岭回归和最小二乘支持向量回归有一样二次规划形式却有不同解

LS-SVM的核函数选取问题

为什么说LR适合大样本,SVM适合小样本?

SVM和LR适合稀疏数据吗?

支持向量机(SVM)里的支持向量是什么意思

SVM里的软间隔是什么意思

为什么SVM里两个超平面的距离是1/||w||?

  随便看看

对连续特征一定要进行分箱处理吗?

主成分分析法(PCA)算是黑盒算法吗?

PCA降维之前为什么要先标准化?

模型调参时常用到的Grid Search是什么意思?

pandas DataFrame中经常出现SettingWithCopyWarning