BatchNormalization这一层一般有哪些参数需要调?

  统计/机器学习 深度学习 人工神经网络    浏览次数:951        分享
0

BatchNormalization这一层一般有哪些参数需要调?

 

chaos0   2020-09-05 10:47



   1个回答 
3

BN里有两个参数,但是不是超参,不是调出来的,是学习出来的。

BN里的两个参数是scale和shift,这两个参数是通过训练来学习到的,用来对变换后的激活反变换,使得网络表达能力增强,即对变换后的激活进行如下的scale和shift操作

$$y = \gamma x + \beta$$

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2020-10-15 23:44



  相关主题

神经网络中的gradient check是什么意思?   3回答

深度学习和人工神经网络是一回事吗?   1回答

深度学习模型的“蒸馏”是什么意思?   1回答

神经网络中的Dropout和Bagging   1回答

神经网络中的dense和sparse是什么意思?   2回答

为什么小数据不适合神经网络模型?   3回答

神经网络模型里训练和推理是什么意思?   1回答

前馈神经网络如何选择隐藏层的数量   2回答

关于神经网络的性能   1回答

训练神经网络中经常提到的epoch是什么意思   2回答

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?   1回答

神经网络里为什么隐藏层越多越好?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!