随机森林会发生过拟合(overfitting)吗?

  统计/机器学习 监督式学习 开放问题 随机森林    浏览次数: 2886
4

Random Forest会有过拟合的情况发生吗?

 

Alfred   2017-03-08 19:41



   1个回答 
11

相对于单个的Decision Tree,Random Forest不太容易over-fitting。Over-fitting的主要原因是因为模型学习了太多样本中的随机误差。因为Random Forest随机选择了样本和特征,并且将很多这样的随机树进行了平均,这些随机误差也随之被平均,乃至相互抵消了。但是这不代表它不会

很多人说Random Forest不会over-fitting。相信很多人也亲身经历过,我自己也见识过过RandomForest over-fitting了。

防止RandomFroest过拟合,一个方法是控制每个树的深度,深的树有可能会过拟合;另外一个是对模型进行交叉验证。

SofaSofa数据科学社区 DS面经 问答 实战

起个好名字   2017-03-10 22:20

Feature选少点,增加随机性,也能防止overfitting - batmanX   2017-03-12 10:53
谢谢! - Alfred   2017-03-26 13:39


  相关主题

Random Forest和Tree Bagging什么区别?   2回答

Random Forest可以用来做聚类?   3回答

决策树模型有什么特点以及如何防止过拟合?   2回答

Random Forest 过拟合有什么好办法?   3回答

为什么过拟合不好?   8回答

线下训练集和测试集防过拟合   1回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

L0 norm 正则是什么意思?   1回答

正则项里的L1,L2是什么意思?   1回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

训练集加入噪声防止over fitting还是加剧overfitting?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!