对于树模型,需不需要特征筛选

  统计/机器学习 监督式学习 特征选择    浏览次数:3977        分享
0

尤其是梯度分类树,当然也包括回归,对于共线性,缺失都能在树里面很好的自我处理,那么特征是否还需要再筛选

(ps:我自己试了下,用简单的L1筛选和不筛选,比较了一下,在5折的下准确率均值有0.1,0.2的差距

 

陈十一   2018-04-11 09:28



   2个回答 
2

当然还是有必要的做特征筛选的,毕竟对模型是有影响的。

另外推荐你看看决策树、随机森林中的多重共线性问题,里面提到了特征筛选对模型解释性的影响。


SofaSofa数据科学社区DS面试题库 DS面经

Marvin_THU   2018-04-11 21:50

1

需要进行特征选择的,不然的话整个模型就是garbage-in-garbage-out(垃圾数据进,垃圾数据出)。

具体效果,还是应数据而定,看交叉验证的结果。

SofaSofa数据科学社区DS面试题库 DS面经

abuu   2020-01-13 23:02



  相关主题

对于数值特征,决策树是如何决定阈值的?   3回答

随机森林每次用多少个特征?   2回答

为什么特征重要性约大,在决策树里分裂的顺序却是越靠后呢?   1回答

adaboost里的feature importance和随机森林里的feature importance是一回事吗?   1回答

随机森林给出的变量的Importance是怎么来的   2回答

怎么理解决策树是模型自己在做interaction?   2回答

使用lightgbm,训练前对数据特征赋予权重是否对结果有影响   1回答

决策树是如何得到量化的概率,不只是0或1的标签?   2回答

Adaboost里的树有没有可能权重是负数?   1回答

Extra Tree算法   1回答

随机森林的模型一般都很大么?   1回答

怎么理解lightgbm中的直方图法选择分裂点?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!