adaboost里的learning rate是什么意思?

  统计/机器学习 监督式学习    浏览次数: 681
0

adaboost和gradient boost不同的地方在于,adaboost不需要求梯度。那么adaboost模型为什么还会有learning rate?

非常困惑,谢谢解答!


 

whanq   2017-12-21 16:09



   1个回答 
1

adaboost没有用到梯度下降,adaboost中的learning rate也不是步长,这里的学习率只是指的每个树的权重的衰减速度。adaboost会逐一产生很多随机的决策树,每棵树的权重不同,learning rate就是权重衰减的速率。


sklearn文档的官方说法是

learning_rate : float, optional (default=1.)

Learning rate shrinks the contribution of each classifier by learning_rate. 


飞翔钉子   2017-12-25 14:04



  相关主题

为什么说knn是惰性算法   1回答

有序多分类问题   2回答

SVM里的软间隔是什么意思   2回答

支持向量机(SVM)里的支持向量是什么意思   6回答

knn推导过程中的一个细节   2回答

k-NN的k取1会怎么样   4回答

kNN的k=1为什么训练误差为0?   4回答

线性可分是什么意思?   1回答

关于方差和偏差和噪声   1回答

SVM的支持向量最少有几个?   1回答

欠采样后概率还原问题   2回答

K近邻算法(kNN)如何实现并行计算?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!