BatchNormalization这一层一般有哪些参数需要调?

  统计/机器学习 深度学习 人工神经网络    浏览次数:3108        分享
0

BatchNormalization这一层一般有哪些参数需要调?

 

chaos0   2020-09-05 10:47



   1个回答 
5

BN里有两个参数,但是不是超参,不是调出来的,是学习出来的。

BN里的两个参数是scale和shift,这两个参数是通过训练来学习到的,用来对变换后的激活反变换,使得网络表达能力增强,即对变换后的激活进行如下的scale和shift操作

$$y = \gamma x + \beta$$

SofaSofa数据科学社区DS面试题库 DS面经

数据科学小K   2020-10-15 23:44

这里的$\gamma$, $\beta$是在反向标准化的一个步骤里,让神经网络自己去学习这两个参数,从而了解前面的标准化步骤到底有没有起到优化作用。如果没有的话,就通过这两个参数抵消标准化的作用。 - Sophia   2021-04-17 14:04


  相关讨论

神经网络中的Dropout和Bagging

deep learning中的pooling是什么意思?

神经网络中的dense和sparse是什么意思?

epoch和batch之间有什么关系?

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题

深度学习和人工神经网络是一回事吗?

神经网络里为什么隐藏层越多越好?

前馈神经网络如何选择隐藏层的数量

dropout rate一般设置多大?

关于神经网络的性能

  随便看看

sklearn中的predict_proba方法的返回值的意义

python里怎么计算曼哈顿距离?

python pandas里有没有类似R的summary的函数?

opencv里waitkey和destroyAllWindows有什么用?

numpy.array转换为图片并显示出来