BatchNormalization这一层一般有哪些参数需要调?

  统计/机器学习 深度学习 人工神经网络    浏览次数:2342        分享
0

BatchNormalization这一层一般有哪些参数需要调?

 

chaos0   2020-09-05 10:47



   1个回答 
4

BN里有两个参数,但是不是超参,不是调出来的,是学习出来的。

BN里的两个参数是scale和shift,这两个参数是通过训练来学习到的,用来对变换后的激活反变换,使得网络表达能力增强,即对变换后的激活进行如下的scale和shift操作

$$y = \gamma x + \beta$$

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2020-10-15 23:44

这里的$\gamma$, $\beta$是在反向标准化的一个步骤里,让神经网络自己去学习这两个参数,从而了解前面的标准化步骤到底有没有起到优化作用。如果没有的话,就通过这两个参数抵消标准化的作用。 - Sophia   2021-04-17 14:04


  相关主题

神经网络中的dense和sparse是什么意思?   2回答

深度学习模型的“蒸馏”是什么意思?   2回答

为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?   1回答

CNN和RNN分别是怎么共享权重的?   0回答

为什么小数据不适合神经网络模型?   3回答

神经网络中的gradient check是什么意思?   3回答

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?   1回答

训练神经网络中经常提到的epoch是什么意思   2回答

神经网络中的Dropout和Bagging   1回答

请问深度学习算法中的梯度消失的原理是什么?如何能通俗理解   1回答

关于神经网络的性能   1回答

dropout rate一般设置多大?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!