Extra Tree算法

  统计/机器学习 监督式学习    浏览次数:3517        分享
2

有人了解Extra Tree算法吗?这个算法和普通的Decision Tree有什么区别?

 

雕牌   2017-05-29 07:09



   1个回答 
6

ExtRa Trees是Extremely Randomized Trees的缩写,意思就是极度随机树。这是一种组合方法,与其说像决策树,实际上它更像随机森林。


与随机森林的相同点1. bootstrap了样本。2. 随机选取了部分特征,来构造一个棵树。

我们知道随机森林是由很多个随机的决策树组成的,extra trees比随机森林更随机。

与随机森林的不同点:每棵决策树选择划分点的方式不同。对于普通决策树,每个特征都是根据某个标准(信息增益或者gini不纯)去进行划分,比如说一个数值特征的取值范围是0到100,当我们把这个特征划分为0-45,45-100的时候,效果最佳(从信息增益或者gini不纯的角度),决策树就会将45作为划分点;然后再按照某个标准来选择特征。而对于extra trees中的决策树,划分点的选择更为随机,比如一个数值特征的取值范围是0到100,我们随机选择一个0到100的数值作为划分点;然后再按照评判标准选择一个特征。


SofaSofa数据科学社区DS面试题库 DS面经

黄前志   2017-06-01 09:47



  相关主题

怎么理解RandomForest中的max_features?   1回答

决策树可以做多元分类吗?   1回答

决策树剪枝有什么策略或者注意事项?   2回答

剪枝是什么意思   1回答

随机森林是如何计算测试样本的概率的?   1回答

随机森林中增加树的数量对于偏差和方差的影响   2回答

决策树算法ID3,C4.5和CART的特点、异同?   3回答

python里实现一个简单的决策树   1回答

随机森林的模型一般都很大么?   1回答

决策树怎么做增量学习或者online学习?   1回答

决策树是如何得到量化的概率,不只是0或1的标签?   2回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!