如果采用非等权重的方法集成一个随机森林，会表现得更好嘛？

  统计/机器学习 监督式学习 开放问题    浏览次数： 423
  机器学习面试也能刷题？
0

随机森林只支持等权重地集成所有的决策树，如果我们根据每个树的预测精度来给每棵树设置不同的权重，那么这样的到的随机森林会更好嘛？

 

robertt   2018-07-05 03:37


   1个回答 
3

我觉得不会。因为随机森林中每棵树见到的数据子集（sample with replacement）和特征都不一样，很难衡量一棵树比另一棵好。一个极端的例子，有棵树训练用到所有数据和特征，达到过拟合，训练错误为0，如果它权重很大，那结果接近于一棵树的结果，测试错误会较大。按训练误差给树加权重，本质上是减弱随机性，更倾向于达到过拟合。

但实际效果要试试才知道，可能针对不同数据和参数，效果会不同。而且树权重分布的设计也很重要。

这篇论文用准确率做权重，号称有改进。

SofaSofa数据科学社区 DS面经 问答 实战

Zealing   2018-07-05 08:20



  相关主题

决策树的熵是什么？怎么用熵来选分叉？   1回答

Adaboost里的树有没有可能权重是负数？   1回答

决策树可以做多元分类吗？   1回答

剪枝是什么意思   1回答

python里实现一个简单的决策树   1回答

求问：Cart分类树为什么是基尼指数最小化准则   1回答

Extra Tree算法   1回答

随机森林是如何计算测试样本的概率的？   1回答

决策树的深度和数据特征个数的关系   1回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

决策树怎么做增量学习或者online学习？   1回答

关于knn算法中kd树的问题   1回答

回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出！