PCA降维中的特征值和特征向量

  统计/机器学习 无监督学习 数据降维 特征选择
1

特征值和特征向量在数学上如何推导出来的我大概知道,但是对这两个概念有没有更直观的解释?

 

sjtufrc   2017-09-07 22:28



   2个回答 
2

PCA中的特征值其实就是对应的SVD的奇异值的平方。

PCA主要是对协方差矩阵$XX^T$进行特征分解

$$XX^T=U\Sigma U^T$$

$\Sigma$是个对角阵,对角线上的元素就是特征值。$U$的列向量就是特征向量。


也可以参考我在另外一个问题里写的答案PCA和SVD是一回事吗?


沛县李刚   2017-09-15 09:47

0

一个矩阵点乘一个向量时,可以把矩阵看成是一个线性变换,点乘就是把这个线性变换施加到相应的向量上。当线性变换施加到该矩阵的特征向量上时,并不改变特征向量的方向,只是对其进行拉长或者缩短。而这个拉长或者缩短的程度就是由相应的特征值所决定。

如果特征值为2,那就是把该特征向量的长度变为原来的两倍。

如果特征值为-2,那就是把向量方向改变180度,并把长度变为原来两倍。

数据挖掘工   2017-09-08 02:51



相关问题

利用PCA降维,降到几维比较合适?   1回答

除了PCA,还有什么降维的方法?   6回答

为什么PCA被称作非监督式学习?   2回答

在使用PCA降维时,有哪些坑?   5回答

sklearn.decomposition.PCA方法中fit, fit_transform, transform应该怎么用   1回答

PCA降维之前为什么要先标准化?   1回答

PCA的目标函数   1回答

t-SNE如何实现降维?   0回答

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?   1回答

为什么LASSO可以做特征选择,而Ridge却不行?   0回答

在分类问题中,有什么方法可以得到特征的重要性?   2回答

PCA和SVD是一回事吗?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!