BatchNormalization这一层一般有哪些参数需要调?
1个回答
BN里有两个参数,但是不是超参,不是调出来的,是学习出来的。
BN里的两个参数是scale和shift,这两个参数是通过训练来学习到的,用来对变换后的激活反变换,使得网络表达能力增强,即对变换后的激活进行如下的scale和shift操作
$$y = \gamma x + \beta$$
SofaSofa数据科学社区DS面试题库 DS面经 相关主题
神经网络中的gradient check是什么意思?
3回答
为什么小数据不适合神经网络模型?
3回答
前馈神经网络如何选择隐藏层的数量
2回答
关于神经网络的性能
1回答
反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?
1回答
神经网络里为什么隐藏层越多越好?
3回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!