BatchNormalization这一层一般有哪些参数需要调?
1个回答
BN里有两个参数,但是不是超参,不是调出来的,是学习出来的。
BN里的两个参数是scale和shift,这两个参数是通过训练来学习到的,用来对变换后的激活反变换,使得网络表达能力增强,即对变换后的激活进行如下的scale和shift操作
$$y = \gamma x + \beta$$
SofaSofa数据科学社区DS面试题库 DS面经
这里的$\gamma$, $\beta$是在反向标准化的一个步骤里,让神经网络自己去学习这两个参数,从而了解前面的标准化步骤到底有没有起到优化作用。如果没有的话,就通过这两个参数抵消标准化的作用。
-
Sophia
2021-04-17 14:04