BatchNorm层能够防止神经网络过拟合嘛?

  统计/机器学习 深度学习 数据预处理 计算机视觉 人工神经网络    浏览次数:1088        分享
0

我理解的BatchNorm层是能够加速训练速度,那它还能够防止神经网络过拟合嘛?怎么解释呢

 

魏哲   2019-10-25 16:07



   1个回答 
2

BN的初衷不是为了防止梯度消失或者防止过拟合。

BN是通过对系统参数搜索空间进行约束来增加系统鲁棒性,压缩搜索空间,改善系统的结构合理性,这会带来一系列的性能改善,比如加速收敛,保证梯度,缓解过拟合等。

具体对于过拟合来说,在BN中, Batch是随机选取进行Normalization, 并计算均值等, 在测试阶段, 应用均值这些训练参数来进行整体Normalization, 本质上是减小训练阶段的随机性。 因此, BatchNormalization也提供了Regularization的作用, 实际应用中证明, NB在防止过拟合方面确实也有相当好的表现。

论文原文是这么说的:

When training with Batch Normalization, a training example is seen in conjunction with other examples in the mini-batch, and the training network no longer producing deterministic values for a given training example. In our experiments, we found this effect to be advantageous to the generalization of the network. Whereas Dropout (Srivastava et al., 2014) is typically used to reduce over-fitting, in a batch-normalized network we found that it can be either removed or reduced in strength.

SofaSofa数据科学社区DS面试题库 DS面经

wxw_pku   2019-11-16 08:08



  相关主题

关于LR过拟合的数据集问题   1回答

为什么过拟合不好?   8回答

训练集加入噪声防止over fitting还是加剧overfitting?   3回答

线下训练集和测试集防过拟合   1回答

unsupervised learning也会over-fitting吗?   2回答

Random Forest 过拟合有什么好办法?   3回答

决策树模型有什么特点以及如何防止过拟合?   2回答

为什么GBDT比RF更容易overfitting?   3回答

随机森林会发生过拟合(overfitting)吗?   2回答

正则项里的L1,L2是什么意思?   1回答

如何简单理解正则化   4回答

如何理解“迭代步骤本身就是一个正则化的过程”   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!