BatchNormalization这一层一般有哪些参数需要调？
1个回答
BN里有两个参数，但是不是超参，不是调出来的，是学习出来的。
BN里的两个参数是scale和shift，这两个参数是通过训练来学习到的，用来对变换后的激活反变换，使得网络表达能力增强，即对变换后的激活进行如下的scale和shift操作
$$y = \gamma x + \beta$$
SofaSofa数据科学社区DS面试题库 DS面经
数据科学小K
2020-10-15 23:44
这里的$\gamma$, $\beta$是在反向标准化的一个步骤里，让神经网络自己去学习这两个参数，从而了解前面的标准化步骤到底有没有起到优化作用。如果没有的话，就通过这两个参数抵消标准化的作用。
-
Sophia
2021-04-17 14:04
相关讨论
随便看看