朴素贝叶斯是线性分类器吗?

  统计/机器学习 贝叶斯 监督式学习    浏览次数:222        分享
1

朴素贝叶斯是线性分类器吗?

 

图不二   2019-06-23 15:50



   1个回答 
4

特征都是binary的朴素贝叶斯就是线性分类器。也就是伯努利朴素贝叶斯。证明如下:

假设有$d$个特征,根据朴素贝叶斯的原理,如果

$$\frac{P(y=1)\prod_{i=1}^dP(x_i|y=1)}{P(y=0)\prod_{i=1}^dP(x_i|y=0)}\geq 1$$

我们就认为这个样本为1。方便起见,上面的式子记为*式。

我们可以对上面的式子化简一下,令$P(x_i=1|y=1)=a_i, P(x_i=1|y=0)=b_i$,因为$x_i$要么是0要么是1,那么

$$P(x_i|y=1)=a_i^{x_i}(1-a_i)^{1-x_i}, P(x_i|y=0)=b_i^{x_i}(1-b_i)^{1-b_i}.$$

*式就可以写成

$$\frac{P(y=1)\prod_{i=1}^d a_i^{x_i}(1-a_i)^{1-x_i}}{P(y=0)\prod_{i=1}^d b_i^{x_i}(1-b_i)^{1-x_i}}\geq 1$$

整理一下

$$\left(\frac{P(y=1)}{P(y=0)}\prod_{i=1}^d\frac{1-a_i}{1-b_i}\right)\cdot \prod_{i=1}^d\left(\frac{a_i}{b_i}\cdot \frac{1-b_i}{1-a_i}\right)^{x_i}\geq 1$$

两边再同时取log

$$\log\left(\frac{P(y=1)}{P(y=0)}\prod_{i=1}^d\frac{1-a_i}{1-b_i}\right)+ \sum_{i=1}^d x_i \log\left(\frac{a_i}{b_i}\cdot \frac{1-b_i}{1-a_i}\right)\geq 0$$

因为$a_i, b_i$都是常数,所以上面的式子就是$$b + \sum_{i=1}^d w_i x_i \geq 0$$的线性形式。

SofaSofa数据科学社区DS面试题库 DS面经

木子周   2019-07-09 23:03

感谢大佬的推导 - 图不二   2019-07-14 15:07


  相关主题

贝叶斯网络和朴素贝叶斯有什么区别?   1回答

朴素贝叶斯分类器 naive_bayes.MultinomialNB() 为啥和手算的结果不一致   1回答

如何用python实现贝叶斯网络优化lightgbm超参数?   2回答

朴素贝叶斯中的朴素是什么意思?   1回答

朴素贝叶斯可以用来做回归吗?   2回答

flat priors是什么意思?   3回答

怎么理解贝叶斯优化里的acquisition function?   0回答

laplace光滑什么意思   1回答

关于朴素贝叶斯特征工程、特征选择的问题   2回答

两个独立的变量一定是条件独立吗?   1回答

马尔可夫蒙特卡洛方法(MCMC)到底是什么呀?   1回答

贝叶斯网络中的markov blanket是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!