感知机和支持向量机的区别是什么?

  统计/机器学习 监督式学习 损失函数 人工神经网络    浏览次数:590        分享
1

感知机和支持向量机的损失函数都是hinge loss,那么它们两个在做二元分类的时候是否是等价的呢?

 

zhaijing   2019-01-08 10:41



   2个回答 
12

感知机和SVM不等价。

参考https://www.zhihu.com/question/51500780中DeAlVe的回答。

带margin感知机目标函数是

Soft margin SVM目标函数是


可以看到SVM是带参数$w$的L2正则项的感知机,目的是让支持向量到分割超平面的几何距离最大,也就是maximum margin。

我自己理解是:当$||w||_2^2$减小或者margin$\frac{2}{||w||_2}$增大时,让有更多的$x_i$在第一项中得到非零值,从而得到更多的支持向量(support vector)。$w$是支持向量的加权和(见下面公式)。越多的支持向量让$w$更robust,减少过拟合。margin越小越可能过拟合。

其中$c_i$是SVM dual problem中的拉格朗日乘数,$c_i$大于0时,$x_i$为支持向量。


SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-01-15 03:52

8

感知机的目标就是找到一个分割平面,使得尽量得区分正确

SVM的目标是找到一个分割平面,不仅区分正确,而且要让正负样本尽量远离这个分割平面

下图里面,$H_2$就是感知机的(不一定唯一),$H_3$就是SVM的。


SofaSofa数据科学社区DS面试题库 DS面经

GuoLinhui   2019-01-16 15:17

简洁明了! - 魏哲   2019-02-12 13:54


  相关主题

如果支持向量机做回归任务,支持向量是什么?   1回答

LS-SVM的核函数选取问题   1回答

为什么岭回归和最小二乘支持向量回归有一样二次规划形式却有不同解   2回答

为什么说LR适合大样本,SVM适合小样本?   2回答

线性核svm与文本分类   1回答

SVM的支持向量最少有几个?   1回答

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?   2回答

SVM和LR适合稀疏数据吗?   2回答

为什么SVM里两个超平面的距离是1/||w||?   2回答

SVM里的软间隔是什么意思   2回答

支持向量机(SVM)里的支持向量是什么意思   6回答

在SVM中获知一个分类机/回归机需要有多训练点?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!