特征相关性高的影响

  统计/机器学习 特征选择    浏览次数:1782        分享
0

如果有十个特征,其中两个维度完全相同。那么这种情况有什么影响呢?

对LR、SVM、xgb、神经网络、FM等不同的模型都有什么影响呢?

谢谢

 

求offer   2019-03-25 20:19



   2个回答 
0

简单点说,对线性回归影响比较大,因为矩阵不可逆了;对线性模型,或者说广义线性模型、逻辑回归的影响不大,但是有可能会模型系数不收敛;对树类模型影响很小,可以参考决策树、随机森林中的多重共线性问题

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2019-03-26 12:30

谢谢您的回答,请问如果是FM模型会有什么影响呢?谢谢 - 求offer   2019-03-27 20:22
0

特征相关性高往往影响的是模型的解释性和稳定性。

我觉得多重共线性对FM影响应该是不大,因为FM本质上和PCA是类似的,而PCA本身也是可以处理特征相关性的。

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2019-03-29 07:12



  相关主题

回归中自变量和因变量的相关系数和回归系数(斜率)有什么关系?   3回答

相关中的效率指啥??   1回答

关于Python中 theano的相关问题   1回答

一个连续变量和一个二元变量的相关系数怎么求?   2回答

超几何分布几何分布的关联?   2回答

两个变量不相关但是也不独立   2回答

如何对两个名义分类变量的关联性进行可视化展示?   2回答

相关系数很小的变量一定要删掉吗?   3回答

为什么说皮尔逊相关系数是刻画了线性相关性?   2回答

如果x是等级变量, y是连续变量 相关分析是不是用speaman   1回答

怎么判断是因果还是相关?   0回答

为啥计算pearson相关系数和线性回归的coef不同呢   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!