线性支持向量机和中心化中截距的问题

  统计/机器学习 回归分析    浏览次数:2054        分享
1

我又两个问题:1、在线性支持向量机中,优化函数是正则项和损失项的和,其中为什么正则项不包含截距项呢。2、对每个特征做中心化处理之后可以将截距项直接去除,这是为什么呢。求大佬解答~

 

pickle23   2020-06-23 13:02



   1个回答 
0

第一个问题可以参考一下Lasso和岭回归的正则项包含截距(常数项)吗?

第二个问题:所有的最小二乘回归方程都会经过$(\bar x, \bar y)$这一个点,如果你对所有的自变量以及y进行中心化,也就是说自变量的均值$\bar x=0$,因变量的均值$\bar y=0$。一个线(或者超平面)要经过$(0,0)$这个点,那么截距一定是0。

SofaSofa数据科学社区DS面试题库 DS面经

matt   2020-06-24 09:11

谢谢!第二个问题可能有点问题吧,最小二乘法只是在线性回归中,存在解析解,中心化之后是去掉截距的。但是线性支持向量机优化不是用的梯度下降法吗,损失函数为合页损失函数,这个解和中心化有关系吗? - pickle23   2020-06-25 00:53
@matt 回答的是最小二乘,你问的svm,应该是他看错了 - robin_he   2020-06-25 01:01


  相关讨论

lssvm核函数 matlab

与基于一般形式的支持向量回归相比,最小二乘支持向量回归更准确?

如果支持向量机做回归任务,支持向量是什么?

LS-SVM的核函数选取问题

为什么岭回归和最小二乘支持向量回归有一样二次规划形式却有不同解

SVM和LR适合稀疏数据吗?

为什么说LR适合大样本,SVM适合小样本?

SVM里的软间隔是什么意思

SVM的支持向量最少有几个?

为什么SVM里两个超平面的距离是1/||w||?

  随便看看

python(matplotlib)中如何把折线图和柱状图画在一起?

NLP里的OOV是什么意思?

两个凸函数相加,还是凸函数吗?

怎么在matplotlib.pyplot的plot上加上文字?

lightgbm.LGBMModel和lightgbm.LGBMClassifier该用哪个?