神经网络里的batch size和sgd里的batch size是一回事嘛?

  统计/机器学习 最优化 人工神经网络    浏览次数: 1011
1

神经网络训练中的batch size是什么意思?

和sgd里的batch size是一回事嘛?


 

有故事的董同学   2017-12-02 15:15



   1个回答 
2

本质上、原理上,神经网络的batch和SGD里的batch是一个意思。

batch size就是batch中样本的个数。

对于SGD,我们每次输入进部分样本训练模型,这个就是batch的概念。

同样的,对于神经网络,我们每次输入部分样本(也就是batch)进入网络,训练网络,这就是神经网络中的batch。(其实神经网络很多时候都是用SGD训练的,所以这个batch也就对应了SGD里的batch)


SofaSofa数据科学社区 DS面经 问答 实战

Marvin_THU   2017-12-20 15:29



  相关主题

coordinate descent是什么意思?   3回答

为什么SGD需要对特征先做归一化缩放处理?   2回答

python里用来做数值优化的库?   2回答

优化算法中的“带冲量”是什么意思?   1回答

线性回归有精确的解析解为什么还要用梯度下降得到数值解?   4回答

最速下降法与梯度下降法   1回答

随机平均梯度法(Stochasitc Average Gradient)和随机梯度下降(SGD)有什么区别   3回答

为什么梯度的反方向是函数下降最快的方向?   3回答

梯度上升算法是什么?   2回答

牛顿法到底是一阶优化算法还是二阶优化算法?   2回答

RMSProp的直白解释   1回答

用SGD时陷入局部最优解的解决方法   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!