ensemble模型时,bagging和stacking有什么区别?

  统计/机器学习 开放问题    浏览次数: 849
0

在提到ensemble的时候,经常会有bagging或者stacking这两种合成方法?

严格上来,它们有什么区别?


 

得得得   2018-01-24 15:06



   2个回答 
5

关于bagging,可以看看这个,bagging是什么意思

说说区别

1. bagging每次是用部分随机数据,然后训练出一个模型。以此反复训练同类型模型(比如多个决策树)。就会多个同类型模型,然后把这些模型的预测结果取均值,就得到了bagging后模型的预测结果。

2. stacking是指训练了多个不同类型模型,比如一个knn,一个svm,一个decision tree,最后把三个预测结果取均值,得到最后的预测结果。


清风   2018-02-08 09:57

2

感觉这两个词也经常混用的。没什么大的讲究吧。

bagging主要强调的是bootstrap的aggregation,一般是指用整个数据集中部分随机样本训练出多个同类型的模型,然后将这些模型叠加在一起(一般简单的处理就是取均值)。常见的比如tree bagging,random forest,bagging of LR。

stacking一般是指用数据集训练出多个不同类似的模型,然后将这些模型的结果组合在一起(对它们的结果取均值,或者加权平均)。


DuckU   2018-02-21 09:04



  相关主题

bias-variance tradeoff是什么意思?   2回答

如何理解VC dimension?   2回答

机器学习中的奥卡姆剃刀原理是什么意思   6回答

baseline模型和benchmark模型的差别?   1回答

如何理解PAC Learning?   1回答

数据泄漏(data leakage)是什么意思?   2回答

在线算法(online algorithm)是什么意思?   2回答

如何学习机器学习?有没有好的经验。   1回答

人类的第一个机器学习算法是什么?   2回答

机器学习如何快速入门?   1回答

非参模型是什么意思?有哪些模型算是非参的?   2回答

Bagging是什么意思?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!