加性模型是什么意思？

只要是符合$$Y_i=\sum_{j=1}^mf_j(X_i)$$的模型，都是加性模型。上面的$f_j$是表示一个模型，一共有$m$个模型，模型最终的结果是它们相加的结果。典型的加性模型包括随机森林。

adaboost、gbdt和xgboost都是加性模型。

$f_t=M_1+M_2+····+M_t$，$M_i$是基学习器

加性模型使用基于贪心思想的前向分步算法求解，每次只在$f_{t-1}$基础上找一个局部最优的$M_t$。