感知机和支持向量机的区别是什么?

  统计/机器学习 监督式学习 损失函数 人工神经网络    浏览次数: 160
1

感知机和支持向量机的损失函数都是hinge loss,那么它们两个在做二元分类的时候是否是等价的呢?

 

zhaijing   2019-01-08 10:41



   2个回答 
6

感知机和SVM不等价。

参考https://www.zhihu.com/question/51500780中DeAlVe的回答。

带margin感知机目标函数是

Soft margin SVM目标函数是


可以看到SVM是带参数$w$的L2正则项的感知机,目的是让支持向量到分割超平面的几何距离最大,也就是maximum margin。

我自己理解是:当$||w||_2^2$减小或者margin$\frac{2}{||w||_2}$增大时,让有更多的$x_i$在第一项中得到非零值,从而得到更多的支持向量(support vector)。$w$是支持向量的加权和(见下面公式)。越多的支持向量让$w$更robust,减少过拟合。margin越小越可能过拟合。

其中$c_i$是SVM dual problem中的拉格朗日乘数,$c_i$大于0时,$x_i$为支持向量。


SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2019-01-15 03:52

4

感知机的目标就是找到一个分割平面,使得尽量得区分正确

SVM的目标是找到一个分割平面,不仅区分正确,而且要让正负样本尽量远离这个分割平面

下图里面,$H_2$就是感知机的(不一定唯一),$H_3$就是SVM的。


SofaSofa数据科学社区 DS面经 问答 实战

GuoLinhui   2019-01-16 15:17



  相关主题

Hamming Loss汉明损失的计算公式是什么?   1回答

怎么理解surrogate loss function代理损失函数?   2回答

二元分类为什么不能用MSE做为损失函数?   7回答

关于损失函数h(x), J(x), cost的概念问题   1回答

cross entropy是什么意思?   1回答

logloss的取值范围是多少?一般好的分类器能达到多少?   5回答

如何理解GBDT里面“损失函数的负梯度在当前模型的值,可以作为残差的估计”?   1回答

python求logloss   1回答

focal loss是什么?   1回答

hinge loss的公式是什么?   1回答

Gini指数、Gini系数、Gini不纯是一回事吗?   2回答

逻辑回归的损失函数是怎么来的   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!