神经网络中的Dropout和Bagging

  统计/机器学习 深度学习 人工神经网络    浏览次数: 1171
3

神经网络中的Dropout和Bagging的作用都是用来防止模型过拟合(over-fitting)的。

它们两者从出发点和效果上有什么不同?

 

FTD   2017-03-29 12:09



   1个回答 
3

Bagging和Dropout的目的是一样的,都是为了防止模型过拟合。但是bagging是针对于data,dropout是针对于特征。


Bagging是每次训练的时候从原训练集中随机抽取样本,然后对该样本进行训练。多次反复后,对最后的结果取均值。

Dropout是在构建神经网络的时候,随机的丢掉一些节点和边,这就是相当于对特征进行了随机选择(类似于RandomForest随机选择特征)。

这两者并不分谁好谁差,而且通常为了防止模型过拟合,我们也会考虑同时使用这两者方法。

黄前志   2017-04-03 07:32



  相关主题

前馈神经网络如何选择隐藏层的数量   2回答

deep learning中的pooling是什么意思?   3回答

dropout rate一般设置多大?   2回答

训练神经网络中经常提到的epoch是什么意思   2回答

深度学习和人工神经网络是一回事吗?   1回答

神经网络中的dense和sparse是什么意思?   2回答

神经网络中的gradient check是什么意思?   2回答

keras.models.Sequential()是一种什么模型   1回答

pytorch 的交叉熵损失总是报错,同样的结构改成MSELoss就没有问题   1回答

mac电脑怎么用ssh远程控制Linux服务器查看可视化结果   1回答

请教一下python代码问题,各位大神帮帮忙,谢啦!   1回答

用神经网络做二元分类,输出层用Sigmoid还是Softmax?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!