特征相关性高的影响

  统计/机器学习 特征选择    浏览次数:4806        分享
0

如果有十个特征,其中两个维度完全相同。那么这种情况有什么影响呢?

对LR、SVM、xgb、神经网络、FM等不同的模型都有什么影响呢?

谢谢

 

求offer   2019-03-25 20:19



   2个回答 
0

简单点说,对线性回归影响比较大,因为矩阵不可逆了;对线性模型,或者说广义线性模型、逻辑回归的影响不大,但是有可能会模型系数不收敛;对树类模型影响很小,可以参考决策树、随机森林中的多重共线性问题

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2019-03-26 12:30

谢谢您的回答,请问如果是FM模型会有什么影响呢?谢谢 - 求offer   2019-03-27 20:22
0

特征相关性高往往影响的是模型的解释性和稳定性。

我觉得多重共线性对FM影响应该是不大,因为FM本质上和PCA是类似的,而PCA本身也是可以处理特征相关性的。

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2019-03-29 07:12



  相关主题

相关系数很小的变量一定要删掉吗?   3回答

两个变量不相关但是也不独立   2回答

对两个相关系数做显著性的假设检验?   1回答

关于Python中 theano的相关问题   1回答

序列的autocorrelation(自相关系数)的计算公式   1回答

如果x是等级变量, y是连续变量 相关分析是不是用speaman   1回答

相关中的效率指啥??   1回答

有序分类变量的相关系数   2回答

相关系数的p值是怎么算的?   2回答

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?   3回答

为什么说皮尔逊相关系数是刻画了线性相关性?   2回答

Python计算两个数组的相关系数   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!