无监督学习（比如K Means）里怎么加正则项来防止过拟合

对于K Means，比较常见的两种带正则项的目标函数就是AIC和BIC

正常的K Means的目标函数是

$$\sum_{i=1}^n\|X_i - C_i\|^2$$

其中$C_i$是点$X_i$所归属的中心点。

AIC是带正则项的目标函数

$$AIC=\sum_{i=1}^n\|X_i - C_i\|^2 + 2kd$$

其中$k$聚类的个数，$d$是数据的维数（特征的个数）

BIC是另一种带正则项的目标函数

$$BIC=\sum_{i=1}^n\|X_i - C_i\|^2 + \frac{1}{2}kd\log{n}$$

其中$n$是样本点的个数

PCA也是可以在原来的损失函数的基础上再追加一个正则项。

比如，L2的正则项

比如L1的正则项

这个英文的博文讲pca这块挺清楚，有兴趣可以看看

http://datamining.rutgers.edu/publication/internalmeasures.pdf

这篇论文里有很多评价clustering的标准，很多是加了对cluster数目的惩罚项。思想和前面提到的AIC差不多，不过更复杂。