Adaboost里的树有没有可能权重是负数?

  统计/机器学习 监督式学习    浏览次数: 234
2

Adaboost相当于是加了权重的随机森林,每棵树会根据表现有不同的权重。那么如果一个树很差,有没有可能权重是负数?

那如果特别好,一个树的权重有上限吗?

谢谢!

 

dsjobhunter   2018-02-28 09:49



   1个回答 
7

理论上说是可能是负数的,但是实际上应该都是正数的,而且没上限。每棵树的权重是$$\alpha=\frac{1}{2}\log\frac{1-\epsilon}{\epsilon}$$

其中$\epsilon$是这个棵树的misclassification rate。

如果$\epsilon=0.5$,那么它的权重$\alpha=0$。

一颗树表现越好($\epsilon$越小),权重越大。

如果$\epsilon=0$,那么权重就是无穷大。

因为boosting是把weak learner强化的过程,我们一般认为weak learner准确率应该大于$0.5$,也就是$\epsilon<0.5$,所以这种情况下$\alpha$始终是大于零的。


abuu   2018-03-02 00:15

谢谢您的回答,元宵节快乐! - dsjobhunter   2018-03-02 12:03
那每棵树的权重会越来越大吗? - wlk1993   2018-03-10 16:22


  相关主题

决策树剪枝有什么策略或者注意事项?   2回答

随机森林(random forest)和支持向量机(SVM)各有什么优劣   1回答

决策树的熵是什么?怎么用熵来选分叉?   1回答

决策树的深度和数据特征个数的关系   1回答

剪枝是什么意思   1回答

决策树算法ID3,C4.5和CART的特点、异同?   3回答

决策树是如何得到量化的概率,不只是0或1的标签?   2回答

决策树可以做多元分类吗?   1回答

决策树怎么做增量学习或者online学习?   1回答

Gradient tree boosting和random forest (随机森林) 有什么区别和联系   1回答

Extra Tree算法   1回答

python里实现一个简单的决策树   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!