除了PCA,还有什么降维的方法?

  统计/机器学习 数据降维 特征选择 开放问题    浏览次数: 1628
15

才疏学浅,平时只用过PCA降维,大家还有什么其他的降维方法吗?

 

TheOne   2017-03-30 13:26



   9个回答 
25

1. High Correlation

如果两个feature的correlation大于某个阈值(自己设定的,比如0.3),就删掉其中一个。

2. Low variance

如果一个feature的数据方差小于某个阈值(自己设定),就把它删掉。

3. Missing

如果这一列有很多missing,就把它删掉。

4. Random Forests

Random Forests训练之后,可以返回所有特征的重要性,我们可以选择重要性最高的一部分特征,比如20%。

5. Stepwise selection

逐步选择特征,可以向前选择,也可以向后消去。

6. Random Projection

类似于PCA,但是这个投影是随机的,而非像PCA那样是正交的。


雷猴   2017-04-04 10:26

有具体介绍Random Projection的资料吗? - DeGang   2017-06-04 12:40
13

如果你有response的话,还可以用partial least square. https://en.wikipedia.org/wiki/Partial_least_squares_regression

然后其他的降维算法可以参考scikit-learn的roadmap : http://scikit-learn.org/stable/tutorial/machine_learning_map/

statsNerd   2017-04-01 15:21

10

还有t-SNE

sasa   2017-04-19 13:23

6

补充一下,还有feature hashing

雕牌   2017-04-04 10:43

这个只适用于OneHotEncoding后的压缩吧 - 阿诺666   2017-04-13 03:45
我觉得是的 - 黄前志   2017-04-13 09:54
4

自编码器

年轻人   2017-11-12 18:12

这个应该只能用在神经网络上吧 - 道画师   2017-11-14 01:36
Autoencoder是神经网络,但是输出的降维结果也可以用在其他模型上 - sasa   2018-03-03 07:00
2
Regularized Regression

frequently_yawning_inside   2018-03-03 06:48

$L_0$或者$L_1$的应该可以做到降维。$L_2$应该就不行了。 - sasa   2018-03-03 07:01
1

线性判别分析:

PCA(主成分分析)和LDA(线性判别分析)有很多的相似点,其本质是要将初始样本映射到维度更低的样本空间中,但是PCA和LDA的映射目标不一样:PCA是为了让映射后的样本具有最大的发散性;而LDA是为了让映射后的样本有最好的分类性能。所以说PCA是一种无监督的降维方法,而LDA是一种有监督的降维方法。

推荐学习链接:https://www.zhihu.com/people/wang-he-13-93/posts


betten   2018-03-04 16:17

0

卷积算吗

大川无敌   2017-11-07 19:36

0
  • PCA
  • LDA
  • SVD

dzzxjl   2018-03-05 21:38

SVD不就是PCA降维?SVD是实现PCA的方法吧 - yayat   2018-03-05 21:45
恩,之前的理解存在问题,谢谢提醒 - dzzxjl   2018-03-06 13:12


  相关主题

利用PCA降维,降到几维比较合适?   1回答

PCA降维中的特征值和特征向量   2回答

为什么PCA被称作非监督式学习?   2回答

在使用PCA降维时,有哪些坑?   6回答

PCA降维之前为什么要先标准化?   2回答

PCA会降低分类器的精度吗?   3回答

sklearn.decomposition.PCA方法中fit, fit_transform, transform应该怎么用   1回答

PCA的目标函数   1回答

PCA和SVD是一回事吗?   1回答

t-SNE如何实现降维?   1回答

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?   1回答

python里怎么实现t-SNE降维?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!