如果采用非等权重的方法集成一个随机森林,会表现得更好嘛?

  统计/机器学习 监督式学习 开放问题    浏览次数:854        分享
0

随机森林只支持等权重地集成所有的决策树,如果我们根据每个树的预测精度来给每棵树设置不同的权重,那么这样的到的随机森林会更好嘛?

 

robertt   2018-07-05 03:37



   1个回答 
3

我觉得不会。因为随机森林中每棵树见到的数据子集(sample with replacement)和特征都不一样,很难衡量一棵树比另一棵好。一个极端的例子,有棵树训练用到所有数据和特征,达到过拟合,训练错误为0,如果它权重很大,那结果接近于一棵树的结果,测试错误会较大。按训练误差给树加权重,本质上是减弱随机性,更倾向于达到过拟合。

但实际效果要试试才知道,可能针对不同数据和参数,效果会不同。而且树权重分布的设计也很重要。

这篇论文用准确率做权重,号称有改进。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-07-05 08:20



  相关主题

决策树剪枝有什么策略或者注意事项?   2回答

决策树怎么做增量学习或者online学习?   1回答

决策树可以做多元分类吗?   1回答

随机森林是如何计算测试样本的概率的?   1回答

随机森林中增加树的数量对于偏差和方差的影响   2回答

Adaboost里的树有没有可能权重是负数?   1回答

Extra Tree算法   1回答

怎么得到randomforestregressor里每棵树的预测结果?   1回答

怎么理解随机森林的oob error?   2回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

python sklean中的决策树是用的哪一种决策树算法?   2回答

随机森林回归   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!