Random Forest和Tree Bagging什么区别?

  统计/机器学习 监督式学习 随机森林    浏览次数:10238        分享
4

Random Forest和Tree Bagging什么区别?

 

牛笔小新   2017-04-16 09:44



   2个回答 
8

为了方便叙述,假设有N个样本,P个特征。


Tree Bagging是Decision Tree的改良。

对这N个样本有放回的抽样,抽出N个样本作为新的训练集,训练出一个决策树。如此重复m次,得到m个不同的训练集,从而有m个不同的决策树,最后对这m个决策树预测模型取均值。这就是Tree Bagging。


Random Forest是Tree Bagging的改良。

对这N个样本有放回的抽样,抽出N个样本作为新的训练集,从P个特征中(无放回)地取出p个特征,训练出一个决策树。如此重复m次,得到m个不同的训练集(特征也不同),从而有m个不同的决策树,最后对这m个决策树预测模型取均值。这就是Random Forest。


所以我们可以看出唯一的区别就是Random Forest不仅随机选择了样本,也随机地选择了一些特征。至于p的值是多少,这个可以通过Cross Validation来选择。


SofaSofa数据科学社区DS面试题库 DS面经

KingBug   2017-04-16 12:35

4

简单地说,Tree bagging用了全部特征,RandomForest随机选择了部分特征

SofaSofa数据科学社区DS面试题库 DS面经

batmanX   2017-04-19 08:37



  相关讨论

Random Forest可以用来做聚类?

随机森林会发生过拟合(overfitting)吗?

Adaboost里的树有没有可能权重是负数?

决策树剪枝有什么策略或者注意事项?

决策树算法ID3,C4.5和CART的特点、异同?

Extra Tree算法

关于knn算法中kd树的问题

随机森林中增加树的数量对于偏差和方差的影响

决策树可以做多元分类吗?

lightgbm使用自定义损失函数后,二分类的预测结果不再是【0,1】区间

  随便看看

统计学中的自变量和因变量分别是什么意思?

怎么直观理解ROC AUC的概率统计意义?

sklearn r2_score返回负数

线性回归或者逻辑回归中常提到的AIC和BIC是什么意思?

Python的Jupyter Notebook环境下怎么制作一个动态显示的进度条?