机器学习中的维度灾难怎么防止和克服?

  统计/机器学习 数据预处理    浏览次数:820        分享
1

机器学习中的维度灾难怎么防止和克服?

 

ysz_2020   2020-03-12 20:59



   1个回答 
2

如果n是样本数量,p是数据的维度,当p非常大,或者p远大于n的时候,数据建模问题会变得非常棘手,这个现象就叫做维度灾难(curse of dimensionality)。

总之我们就是要防止p太大了。p在两种情况下会太大:

(1)本来p就很大;(2)经过预处理后p变得很大。

对于(1),我们要使用降维的方法来减小p,常见的方法可以参考除了PCA,还有什么降维的方法?

对于(2),我们要对预处理的过程小心谨慎,尽量不要创造出太多冗余的、无用的特征出来,比较容易出问题的是当我们对一个level很多的categorical feature做one-hot处理时,会有很多的稀疏特征产生,这时候容易造成维度灾难,所以要注意取舍和降维。

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2020-09-29 01:39



  相关主题

dummy variable是n个还是n-1个   3回答

怎么对特征做标准化使得数值都是正数?   3回答

在训练前数据处理的时候,怎么剔除异常值?   2回答

机器学习中的过采样和欠采样是什么意思?   2回答

什么时候需要对y或者特征进行对数变换?   1回答

z-score标准化不适用于处理什么样的数据?   1回答

数据白化是什么意思?   1回答

在数据预处理阶段,特征的标准化有哪些方法?   1回答

二值化和Onehot表示的特征哪一个较好?   1回答

让DataFrame中的行按照某一列元素的绝对值从大到小排列   1回答

python 读json 错误 ValueError: Unexpected character found when decoding array value (2)   0回答

怎麼將dataframe 欄位 對應到原有的csv檔 而寫入   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!