线性回归的偏差较大,boosting可以降低偏差。没用是因为boosting降低偏差的方法对线性回归不适用吗?
希望可以尽量详细回答,本人机器学习小白
2个回答
比如训练集是$\{(X_1,y_1),(X_2,y_2),(X_3,y_3),\ldots,(X_n,y_n)\}$
训练得到一个线性回归模型$\hat y = X\beta_1$。按照boosting的思想,我们要用真实值减去模型的预测值,得到第二轮训练的真实标签,所以第二轮的训练集是$\{(X_1,\epsilon_1),(X_2,\epsilon_2),(X_3,\epsilon_3),\ldots,(X_n,\epsilon_n)\}$。这时你可以再训练一个线性回归得到$\hat \epsilon = X\beta_2 $。
如果此时停止迭代,那么你得到的最终模型就是应该是$X(\beta_1+\beta_2)$,本质上还是线性回归模型。这个新模型是可以最小化平方误差的。而$X\beta_1 $也是最小化平方误差的,所以两者是等价的。所以boosting没有意义。实际上$\beta_2=0$。
SofaSofa数据科学社区DS面试题库 DS面经boosting是bagging的进阶版,实际上连bagging对线性回归都没有效果,何况是boosting呢?
线性回归和bagging的讨论可以看这个线性回归的bagging
SofaSofa数据科学社区DS面试题库 DS面经 相关主题
逻辑回归的前提假设是什么?
2回答
线性回归的bagging
2回答
证明在线性回归中,如果样本数量N小于特征数量d+1,则XXT的秩最大为N?
1回答
目标约束回归
1回答
adaboost做回归预测的时候,是怎么调整样本权重的?
1回答
python中可以做beta regression的包?
1回答
泊松回归的公式是什么?
2回答
线性回归需要满足哪些基本前提假设
1回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!