k-NN的k取1会怎么样

  统计/机器学习 监督式学习
5

k-NN一般都选比较大的数,几乎没有见过选k=1,为什么?

如果k=1,会怎样?


谢谢!

 

Steven0612   2017-11-09 12:14



   2个回答 
6

举个两元分类的例子。上图是k=1,下图是k=100。

当k=1的时候,决策边界变得非常不光滑,换句话说,模型的决策规则变得非常复杂,而这个就会很容易造成过拟合。

至于k怎么选,可以参考k近邻算法怎么选k


DuckU   2017-11-10 10:54

3

k=1会严重的过拟合。

严重到训练误差为0,但是测试误差会很大。


雷猴   2017-11-10 10:17



相关问题

支持向量机(SVM)里的支持向量是什么意思   2回答

欠采样后概率还原问题   0回答

线性可分是什么意思?   1回答

逻辑回归的前提假设是什么?   1回答

什么时候该用LASSO,什么时候该用Ridge?   2回答

线性回归的bagging   2回答

多元分类的混淆矩阵   1回答

什么是混淆矩阵(confusion matrix)   2回答

二元分类问题中经常提到的TP,TF,FN,FP都是什么意思?   3回答

k近邻算法(k-NN)怎么选k   2回答

sklearn.linear_model.SGDClassifier中的参数n_iter设置问题   2回答

sklearn实现adaboost算法了吗?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!