dropout rate一般设置多大?

  统计/机器学习 深度学习 人工神经网络    浏览次数: 1574
1

请教一下大家,神经网络里dropout rate一般设置多大?有什么技巧吗?

谢谢。

 

waccam   2018-03-23 21:58



   3个回答 
5

主要还是根据自己的需要,这个也是hyper parameter,可以根据结果好坏来调整

一般在输入层dropout的比较少,dropout rate是0.1甚至0.

在中间可以稍微大一点,比如0.5。dropout的一个目的是在每批训练时,通过dropout产生不同的网络结构。当dropout在0.5的时候,网络结构会更大的变化。所以0.5是非常常用的。


SofaSofa数据科学社区 DS面经 问答 实战

道画师   2018-03-26 22:09

4

我的经验是决定dropout之前,需要先判断是否模型过拟合

先dropout=0, 训练后得到模型的一些指标(比如:  F1, Accuracy, AP)。比较train数据集和test数据集的指标。

  • 过拟合:尝试下面的步骤。
  • 欠拟合:尝试调整模型的结构,暂时忽略下面步骤。

dropout设置成0.4-0.6之间, 再次训练得到模型的一些指标。

  • 如果过拟合明显好转,但指标也下降明显,可以尝试减少dropout(0.2)
  • 如果过拟合还是严重,增加dropout(0.2)

重复上面的步骤多次,就可以找到理想的dropout值了。


SofaSofa数据科学社区 DS面经 问答 实战

eipi10   2018-07-15 08:06

1

0.4到0.6之间吧


SofaSofa数据科学社区 DS面经 问答 实战

orz_k   2018-03-24 22:34



  相关主题

deep learning中的pooling是什么意思?   6回答

关于神经网络的性能   1回答

神经网络中的dense和sparse是什么意思?   2回答

神经网络中的Dropout和Bagging   1回答

深度学习和人工神经网络是一回事吗?   1回答

前馈神经网络如何选择隐藏层的数量   2回答

神经网络中的gradient check是什么意思?   2回答

训练神经网络中经常提到的epoch是什么意思   2回答

mac电脑怎么用ssh远程控制Linux服务器查看可视化结果   1回答

keras.models.Sequential()是一种什么模型   1回答

pytorch 的交叉熵损失总是报错,同样的结构改成MSELoss就没有问题   1回答

用神经网络做二元分类,输出层用Sigmoid还是Softmax?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!