CNN中reLU层和max pooling层的前后顺序

一般来说都是先非线性的激活函数，然后再加pooling层。

但是这里如果是reLU和max pooling的话，我觉得交换一下应该是没有问题的。

因为$reLU(x) = \max(x,0)$，max pooling也是求最大值，所以交换顺序并不影响结果

$$\max(reLU(x_1), reLU(x_2))=reLU(\max(x_1, x_2))$$

对于ReLU和max pooling来说，顺序是可以交换的。

如果你把ReLU和max pooling当作算子来看的话，这两个算子是可交换的，所以这两层也就可以交换顺序的。