CNN中reLU层和max pooling层的前后顺序

  统计/机器学习 深度学习 计算机视觉 人工神经网络    浏览次数: 609
4

在用CNN做图像的时候,都是在reLU层之后再做max pooling?这个顺序有什么讲究吗?我可以先max pooling再reLU吗?

谢谢!


 

信春哥   2017-10-21 23:33



   2个回答 
7

一般来说都是先非线性的激活函数,然后再加pooling层。

但是这里如果是reLU和max pooling的话,我觉得交换一下应该是没有问题的。

因为$reLU(x) = \max(x,0)$,max pooling也是求最大值,所以交换顺序并不影响结果

$$\max(reLU(x_1), reLU(x_2))=reLU(\max(x_1, x_2))$$


木子周   2017-10-22 07:19

2

对于ReLU和max pooling来说,顺序是可以交换的。

如果你把ReLU和max pooling当作算子来看的话,这两个算子是可交换的,所以这两层也就可以交换顺序的。


abuu   2017-10-22 10:53



  相关主题

如何安装pytorch   2回答

pip install opencv报错   1回答

numpy.array转换为图片并显示出来   2回答

训练神经网络中经常提到的epoch是什么意思   2回答

神经网络中的dense和sparse是什么意思?   2回答

神经网络中的Dropout和Bagging   1回答

神经网络中的gradient check是什么意思?   2回答

deep learning中的pooling是什么意思?   3回答

深度学习和人工神经网络是一回事吗?   1回答

dropout rate一般设置多大?   2回答

前馈神经网络如何选择隐藏层的数量   2回答

mac电脑怎么用ssh远程控制Linux服务器查看可视化结果   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!