感知机和支持向量机的区别是什么?

  统计/机器学习 监督式学习 损失函数 人工神经网络    浏览次数:6990        分享
2

感知机和支持向量机的损失函数都是hinge loss,那么它们两个在做二元分类的时候是否是等价的呢?

 

zhaijing   2019-01-08 10:41



   2个回答 
13

感知机和SVM不等价。

参考https://www.zhihu.com/question/51500780中DeAlVe的回答。

带margin感知机目标函数是

Soft margin SVM目标函数是


可以看到SVM是带参数$w$的L2正则项的感知机,目的是让支持向量到分割超平面的几何距离最大,也就是maximum margin。

我自己理解是:当$||w||_2^2$减小或者margin$\frac{2}{||w||_2}$增大时,让有更多的$x_i$在第一项中得到非零值,从而得到更多的支持向量(support vector)。$w$是支持向量的加权和(见下面公式)。越多的支持向量让$w$更robust,减少过拟合。margin越小越可能过拟合。

其中$c_i$是SVM dual problem中的拉格朗日乘数,$c_i$大于0时,$x_i$为支持向量。


SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-01-15 03:52

9

感知机的目标就是找到一个分割平面,使得尽量得区分正确

SVM的目标是找到一个分割平面,不仅区分正确,而且要让正负样本尽量远离这个分割平面

下图里面,$H_2$就是感知机的(不一定唯一),$H_3$就是SVM的。


SofaSofa数据科学社区DS面试题库 DS面经

GuoLinhui   2019-01-16 15:17

简洁明了! - 魏哲   2019-02-12 13:54


  相关讨论

在SVM中获知一个分类机/回归机需要有多训练点?

SVM的支持向量最少有几个?

为什么SVM里两个超平面的距离是1/||w||?

支持向量机(SVM)里的支持向量是什么意思

SVM里的软间隔是什么意思

为什么说LR适合大样本,SVM适合小样本?

SVM和LR适合稀疏数据吗?

SVM模型的可解释性如何?

如果支持向量机做回归任务,支持向量是什么?

SVM 需不需要做数据归一化?

  随便看看

牛顿法到底是一阶优化算法还是二阶优化算法?

z test和t test什么区别?

模型调参时常用到的Grid Search是什么意思?

T检验的effect size是什么?有什么含义吗?

求多个torch tensor的平均值