为什么特征重要性约大,在决策树里分裂的顺序却是越靠后呢?

  统计/机器学习 监督式学习 特征选择    浏览次数:1155        分享
0

请教一个关于决策树的特征重要性的问题:

为什么特征重要性约大,分裂的顺序却是越靠后呢?

case请见这篇帖子:

https://blog.csdn.net/DKY10/article/details/84843864

case中的这个DEMO:


三个X的特征重要性分别为:feat importance = [0.25 0.08333333 0.04166667]

求教!谢谢。

 

vonta   2019-08-28 21:19



   1个回答 
1

特征重要性和使用的先后没有必然联系的,你上面的例子应该只是巧合。

特征的重要性和节点中样本的个数有关,在其他情况一样时,节点样本个数越多,特征越重要。换句话,反而是越靠前的有可能越重要。

SofaSofa数据科学社区DS面试题库 DS面经

何立诚   2019-08-30 23:16



  相关主题

对于数值特征,决策树是如何决定阈值的?   3回答

随机森林给出的变量的Importance是怎么来的   2回答

adaboost里的feature importance和随机森林里的feature importance是一回事吗?   1回答

随机森林每次用多少个特征?   2回答

怎么理解lightgbm中的直方图法选择分裂点?   1回答

对于树模型,需不需要特征筛选   2回答

gbdt如何对连续特征离散化   1回答

怎么理解决策树是模型自己在做interaction?   2回答

决策树怎么做增量学习或者online学习?   1回答

Adaboost里的树有没有可能权重是负数?   1回答

Extra Tree算法   1回答

随机森林是如何计算测试样本的概率的?   0回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!