ensemble模型时,bagging和stacking有什么区别?

  统计/机器学习 开放问题    浏览次数: 465
0

在提到ensemble的时候,经常会有bagging或者stacking这两种合成方法?

严格上来,它们有什么区别?


 

得得得   2018-01-24 15:06



   2个回答 
5

关于bagging,可以看看这个,bagging是什么意思

说说区别

1. bagging每次是用部分随机数据,然后训练出一个模型。以此反复训练同类型模型(比如多个决策树)。就会多个同类型模型,然后把这些模型的预测结果取均值,就得到了bagging后模型的预测结果。

2. stacking是指训练了多个不同类型模型,比如一个knn,一个svm,一个decision tree,最后把三个预测结果取均值,得到最后的预测结果。


清风   2018-02-08 09:57

2

感觉这两个词也经常混用的。没什么大的讲究吧。

bagging主要强调的是bootstrap的aggregation,一般是指用整个数据集中部分随机样本训练出多个同类型的模型,然后将这些模型叠加在一起(一般简单的处理就是取均值)。常见的比如tree bagging,random forest,bagging of LR。

stacking一般是指用数据集训练出多个不同类似的模型,然后将这些模型的结果组合在一起(对它们的结果取均值,或者加权平均)。


DuckU   2018-02-21 09:04



  相关主题

非参模型是什么意思?有哪些模型算是非参的?   2回答

baseline模型和benchmark模型的差别?   1回答

机器学习算法中有哪些用到了贪婪算法的思想?   5回答

在线算法(online algorithm)是什么意思?   2回答

机器学习算法的鲁棒性是什么意思?   1回答

建立一个预测模型的流程是什么   1回答

数据泄漏(data leakage)是什么意思?   2回答

如何理解PAC Learning?   1回答

机器学习+计算机网络   2回答

人类的第一个机器学习算法是什么?   2回答

Bagging是什么意思?   3回答

推荐开放数据库   5回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!