CNN中reLU层和max pooling层的前后顺序

  统计/机器学习 深度学习 计算机视觉 人工神经网络    浏览次数: 1535
4

在用CNN做图像的时候,都是在reLU层之后再做max pooling?这个顺序有什么讲究吗?我可以先max pooling再reLU吗?

谢谢!


 

信春哥   2017-10-21 23:33



   2个回答 
7

一般来说都是先非线性的激活函数,然后再加pooling层。

但是这里如果是reLU和max pooling的话,我觉得交换一下应该是没有问题的。

因为$reLU(x) = \max(x,0)$,max pooling也是求最大值,所以交换顺序并不影响结果

$$\max(reLU(x_1), reLU(x_2))=reLU(\max(x_1, x_2))$$


木子周   2017-10-22 07:19

2

对于ReLU和max pooling来说,顺序是可以交换的。

如果你把ReLU和max pooling当作算子来看的话,这两个算子是可交换的,所以这两层也就可以交换顺序的。


abuu   2017-10-22 10:53



  相关主题

如何安装pytorch   2回答

pip install opencv报错   1回答

图像分割(imaging segment) 可以对图片数据进行裁剪,增多训练的数据量么   2回答

图像处理中rgba是什么意思?   1回答

有什么好的方法识别图片中的特殊点呢   1回答

Python中怎么把一个RGB彩色图像转成灰度黑白图像?   3回答

pip install opencv-python失败,难道非要编译安装?   3回答

numpy.array转换为图片并显示出来   2回答

神经网络中的dense和sparse是什么意思?   2回答

训练神经网络中经常提到的epoch是什么意思   2回答

前馈神经网络如何选择隐藏层的数量   2回答

神经网络中的gradient check是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!