朴素贝叶斯是线性分类器吗?

  统计/机器学习 贝叶斯 监督式学习    浏览次数:4014        分享
1

朴素贝叶斯是线性分类器吗?

 

图不二   2019-06-23 15:50



   1个回答 
7

特征都是binary的朴素贝叶斯就是线性分类器。也就是伯努利朴素贝叶斯。证明如下:

假设有$d$个特征,根据朴素贝叶斯的原理,如果

$$\frac{P(y=1)\prod_{i=1}^dP(x_i|y=1)}{P(y=0)\prod_{i=1}^dP(x_i|y=0)}\geq 1$$

我们就认为这个样本为1。方便起见,上面的式子记为*式。

我们可以对上面的式子化简一下,令$P(x_i=1|y=1)=a_i, P(x_i=1|y=0)=b_i$,因为$x_i$要么是0要么是1,那么

$$P(x_i|y=1)=a_i^{x_i}(1-a_i)^{1-x_i}, P(x_i|y=0)=b_i^{x_i}(1-b_i)^{1-b_i}.$$

*式就可以写成

$$\frac{P(y=1)\prod_{i=1}^d a_i^{x_i}(1-a_i)^{1-x_i}}{P(y=0)\prod_{i=1}^d b_i^{x_i}(1-b_i)^{1-x_i}}\geq 1$$

整理一下

$$\left(\frac{P(y=1)}{P(y=0)}\prod_{i=1}^d\frac{1-a_i}{1-b_i}\right)\cdot \prod_{i=1}^d\left(\frac{a_i}{b_i}\cdot \frac{1-b_i}{1-a_i}\right)^{x_i}\geq 1$$

两边再同时取log

$$\log\left(\frac{P(y=1)}{P(y=0)}\prod_{i=1}^d\frac{1-a_i}{1-b_i}\right)+ \sum_{i=1}^d x_i \log\left(\frac{a_i}{b_i}\cdot \frac{1-b_i}{1-a_i}\right)\geq 0$$

因为$a_i, b_i$都是常数,所以上面的式子就是$$b + \sum_{i=1}^d w_i x_i \geq 0$$的线性形式。

SofaSofa数据科学社区DS面试题库 DS面经

木子周   2019-07-09 23:03

感谢大佬的推导 - 图不二   2019-07-14 15:07


  相关讨论

贝叶斯网络和朴素贝叶斯有什么区别?

朴素贝叶斯分类器 naive_bayes.MultinomialNB() 为啥和手算的结果不一致

朴素贝叶斯中的朴素是什么意思?

用贝叶斯怎么输出模型的预测准确率?

如何用python实现贝叶斯网络优化lightgbm超参数?

朴素贝叶斯可以用来做回归吗?

用sklearn朴素贝叶斯返回预测概率

flat priors是什么意思?

如何用EM算法实现朴素贝叶斯法的非监督学习

高斯分布的后验分布是什么?

  随便看看

推荐系统算法里的cold start是什么意思?

推荐系统有哪些常用的评价标准

前馈神经网络如何选择隐藏层的数量

为啥Xgboost比GradientBoost好那么多?

除了PCA,还有什么降维的方法?