随机森林只支持等权重地集成所有的决策树,如果我们根据每个树的预测精度来给每棵树设置不同的权重,那么这样的到的随机森林会更好嘛?
1个回答
我觉得不会。因为随机森林中每棵树见到的数据子集(sample with replacement)和特征都不一样,很难衡量一棵树比另一棵好。一个极端的例子,有棵树训练用到所有数据和特征,达到过拟合,训练错误为0,如果它权重很大,那结果接近于一棵树的结果,测试错误会较大。按训练误差给树加权重,本质上是减弱随机性,更倾向于达到过拟合。
但实际效果要试试才知道,可能针对不同数据和参数,效果会不同。而且树权重分布的设计也很重要。
这篇论文用准确率做权重,号称有改进。
相关主题
剪枝是什么意思
1回答
Gradient tree boosting和random forest (随机森林) 有什么区别和联系
1回答
Extra Tree算法
1回答
请问针对Adaboost、GBDT等集成学习同一个特征是否可以入模多次?
1回答
lightgbm使用自定义损失函数后,二分类的预测结果不再是【0,1】区间
0回答
请教lightGBM中的level wise具体计算步骤是怎样的?
1回答
关于knn算法中kd树的问题
1回答
随机森林的模型一般都很大么?
3回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!