knn推导过程中的一个细节

  统计/机器学习 监督式学习
0

周志华的书里关于knn的这一段,画出来的蓝圈里第一个“约等于”我可以理解,第二个“小于等于号”我就不明白了。

有知道的大牛分享一下思路吗?

谢谢!


 

剪叔   2017-12-20 13:24



   1个回答 
3

注意看第二段的最后一句话,根据这句话中$c^*$的意义,我们就知道,对于任意的$c$

$$P(c^*|x)\geq P(c|x)$$

对于k分类问题,$\mathcal Y$就有k个元素,那么蓝色框框里的式子就可以写成

$$1-\sum_{c\in\mathcal{Y}}P^2(c|x)\leq 1-kP^2(c^*|x)\leq 1-P^2(c^*|x)$$

这样看就很显然了



0101RG   2017-12-21 09:06

谢谢!写出来挺简单,自己想却想不明白了 - 剪叔   2017-12-22 13:41


相关问题

adaboost里的learning rate是什么意思?   1回答

欠采样后概率还原问题   0回答

支持向量机(SVM)里的支持向量是什么意思   3回答

线性可分是什么意思?   1回答

k-NN的k取1会怎么样   2回答

线性回归的bagging   2回答

逻辑回归的前提假设是什么?   1回答

可以对线性回归进行boosting吗?   2回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

什么是混淆矩阵(confusion matrix)   2回答

k近邻算法(k-NN)怎么选k   2回答

多元分类的混淆矩阵   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!