在分类问题中，有什么方法可以得到特征的重要性？

我知道的有三个思路。

一、通过随机森林，获取每个特征的importance，这个一般在python或者r里都是可以直接得到的数值。相似的gradient boosted trees或者xgboost也都有这样的importance。

二、单个特征。用单个特征建立分类器（比如，决策树，或者逻辑回归），哪个特征的模型越好，说明这个特征越重要。

三、向后选择。先用全部特征建立个分类器，然后把某个特征去掉，再做一个分类器，两个分类器表现的差值，就可以看作是这个特征的重要性。差值越大，说明越重要。

对于逻辑回归分类器的话，就是看每个变量的系数，绝对值越大，说明越重要。

（变量需要标准化）