dropout rate一般设置多大?

  统计/机器学习 深度学习 人工神经网络    浏览次数:18609        分享
2

请教一下大家,神经网络里dropout rate一般设置多大?有什么技巧吗?

谢谢。

 

waccam   2018-03-23 21:58



   3个回答 
6

主要还是根据自己的需要,这个也是hyper parameter,可以根据结果好坏来调整

一般在输入层dropout的比较少,dropout rate是0.1甚至0.

在中间可以稍微大一点,比如0.5。dropout的一个目的是在每批训练时,通过dropout产生不同的网络结构。当dropout在0.5的时候,网络结构会更大的变化。所以0.5是非常常用的。


SofaSofa数据科学社区DS面试题库 DS面经

道画师   2018-03-26 22:09

5

我的经验是决定dropout之前,需要先判断是否模型过拟合

先dropout=0, 训练后得到模型的一些指标(比如:  F1, Accuracy, AP)。比较train数据集和test数据集的指标。

  • 过拟合:尝试下面的步骤。
  • 欠拟合:尝试调整模型的结构,暂时忽略下面步骤。

dropout设置成0.4-0.6之间, 再次训练得到模型的一些指标。

  • 如果过拟合明显好转,但指标也下降明显,可以尝试减少dropout(0.2)
  • 如果过拟合还是严重,增加dropout(0.2)

重复上面的步骤多次,就可以找到理想的dropout值了。


SofaSofa数据科学社区DS面试题库 DS面经

eipi10   2018-07-15 08:06

1

0.4到0.6之间吧


SofaSofa数据科学社区DS面试题库 DS面经

orz_k   2018-03-24 22:34

这个之间完全训练不出来。。。 - charmby   2018-12-29 15:27


  相关主题

神经网络里为什么隐藏层越多越好?   2回答

神经网络模型里训练和推理是什么意思?   1回答

深度学习和人工神经网络是一回事吗?   1回答

前馈神经网络如何选择隐藏层的数量   2回答

神经网络中的dense和sparse是什么意思?   2回答

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题   0回答

关于神经网络的性能   1回答

深度学习模型的“蒸馏”是什么意思?   0回答

神经网络中的Dropout和Bagging   1回答

神经网络中的gradient check是什么意思?   3回答

deep learning中的pooling是什么意思?   6回答

为什么小数据不适合神经网络模型?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!