CNN中reLU层和max pooling层的前后顺序

  统计/机器学习 深度学习 计算机视觉 人工神经网络    浏览次数:3448        分享
4

在用CNN做图像的时候,都是在reLU层之后再做max pooling?这个顺序有什么讲究吗?我可以先max pooling再reLU吗?

谢谢!


 

信春哥   2017-10-21 23:33



   2个回答 
7

一般来说都是先非线性的激活函数,然后再加pooling层。

但是这里如果是reLU和max pooling的话,我觉得交换一下应该是没有问题的。

因为$reLU(x) = \max(x,0)$,max pooling也是求最大值,所以交换顺序并不影响结果

$$\max(reLU(x_1), reLU(x_2))=reLU(\max(x_1, x_2))$$


SofaSofa数据科学社区DS面试题库 DS面经

木子周   2017-10-22 07:19

2

对于ReLU和max pooling来说,顺序是可以交换的。

如果你把ReLU和max pooling当作算子来看的话,这两个算子是可交换的,所以这两层也就可以交换顺序的。


SofaSofa数据科学社区DS面试题库 DS面经

abuu   2017-10-22 10:53



  相关主题

图像识别和深度学习中的“组合爆炸”是什么意思?   1回答

Resnet-18, Resnet-50, Resnet-101这些模型里的数字是什么意思?   1回答

如何安装pytorch   2回答

pip install opencv报错   1回答

图像分割(imaging segment) 可以对图片数据进行裁剪,增多训练的数据量么   2回答

卷积层的padding一般都是零吗?   2回答

yolov3-tiny一个maxpool层算出的结果为什么和pytorch上的公式不一样   1回答

有什么好的方法识别图片中的特殊点呢   1回答

图像处理中rgba是什么意思?   2回答

cifar-10数据集是有哪十类?   1回答

关于video saliency detection的一些问题   0回答

coco数据集是什么?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!