BatchNormalization这一层一般有哪些参数需要调?

  统计/机器学习 深度学习 人工神经网络    浏览次数:401        分享
0

BatchNormalization这一层一般有哪些参数需要调?

 

chaos0   2020-09-05 10:47



   1个回答 
2

BN里有两个参数,但是不是超参,不是调出来的,是学习出来的。

BN里的两个参数是scale和shift,这两个参数是通过训练来学习到的,用来对变换后的激活反变换,使得网络表达能力增强,即对变换后的激活进行如下的scale和shift操作

$$y = \gamma x + \beta$$

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2020-10-15 23:44



  相关主题

神经网络中的dense和sparse是什么意思?   2回答

deep learning中的pooling是什么意思?   6回答

dropout rate一般设置多大?   3回答

深度学习和人工神经网络是一回事吗?   1回答

前馈神经网络如何选择隐藏层的数量   2回答

为什么小数据不适合神经网络模型?   3回答

神经网络中的gradient check是什么意思?   3回答

训练神经网络中经常提到的epoch是什么意思   2回答

神经网络中的Dropout和Bagging   1回答

神经网络模型里训练和推理是什么意思?   1回答

关于神经网络的性能   1回答

深度学习模型的“蒸馏”是什么意思?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!