既然xgboost那么好,线性回归还有存在的价值吗?

  统计/机器学习 回归分析 开放问题    浏览次数: 957
7

这个问题是我接着上次的问题(xgboost可以做回归预测吗?)问的。


在之前那个问题的回答中,xgboost比线性回归好非常非常多,而且xgboost也不需要做什么特征工程。既然xgboost那么好,线性回归还有存在的价值吗?


再次谢谢!


 

wlk1993   2017-11-19 15:45



   5个回答 
15

1)线性回归模型的解释性是决策树、随机森林、xgboost无法比拟的,也无法取代。

2)线性回归可以建立线性模型,而xgboost是不可以的。举个例子,即使是简单的y=x+1的线性关系,xgboost也无法做到。

3)线性模型计算简单,适用于快速部署。



蘑菇蘑菇   2017-11-22 10:09

这个说到点子上了!赞 - 阳春面   2017-11-27 21:14
树模型不能计算y=x+1确实显得不太优秀,可以在划分后的结点上再进行线性回归。或者xgb里面的可选模型有linear,这个应该也是可以做的吧 - 年轻人   2018-03-07 14:37
6

No Free Lunch Theorem告诉我们总会有一些情况,线性模型是比xgboost好的。所以不要过分迷信xgboost。


木子周   2017-12-23 14:06

表示同意,感觉现在很多人也迷信deep learning - 机器小白   2017-12-25 00:12
3

这个问题类似于

既然有计算器了,那我们还需要学习加减乘除吗?

如果我想学微积分,我需要懂加减乘除吗?


线性回归是最简单的机器学习模型之一,也可以说是理解复杂模型的基础。


abuu   2017-11-20 14:59

2

感谢楼上各位的回答!我发现的真相就是就算你懂xgboost,面试官还是比较爱问线性回归和逻辑回归。

既然面试官爱问线性模型,估计是线性模型更常用到吧

扎心了


wlk1993   2018-02-23 15:41

1

当然有价值啊,而且学校里都是教线性回归。既然教了,那就要考,既然要考了,你说有没有价值呗。


花生糖   2017-11-20 09:26



  相关主题

xgboost可以做回归预测吗?   2回答

为啥Xgboost比GradientBoost好那么多?   4回答

训练值都是正的,xgboost regression却预测出负数?   4回答

相比xgboost,GBDT有什么优势   1回答

stack多个xgboost效果并不理想   3回答

为什么lightgbm比xgb快?   2回答

xgboost怎么调参?   8回答

xgboost是怎么做到regularization的?   2回答

xgboost的FIT问题   1回答

xgboost中的参数min_child_weight是什么意思?   1回答

XGBClassifier设置random_state报错   1回答

xgboost中的决策树的复杂度是怎么定义的?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!