神经网络里的batch size和sgd里的batch size是一回事嘛?

  统计/机器学习 最优化 人工神经网络    浏览次数:1347        分享
1

神经网络训练中的batch size是什么意思?

和sgd里的batch size是一回事嘛?


 

有故事的董同学   2017-12-02 15:15



   1个回答 
2

本质上、原理上,神经网络的batch和SGD里的batch是一个意思。

batch size就是batch中样本的个数。

对于SGD,我们每次输入进部分样本训练模型,这个就是batch的概念。

同样的,对于神经网络,我们每次输入部分样本(也就是batch)进入网络,训练网络,这就是神经网络中的batch。(其实神经网络很多时候都是用SGD训练的,所以这个batch也就对应了SGD里的batch)


SofaSofa数据科学社区 DS面经 问答 实战

Marvin_THU   2017-12-20 15:29



  相关主题

coordinate descent是什么意思?   3回答

优化算法中的“带冲量”是什么意思?   1回答

为什么SGD需要对特征先做归一化缩放处理?   2回答

python里用来做数值优化的库?   2回答

BP神经网络的疑问   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

什么叫成本函数?它的作用是什么?   1回答

pytorch里的new_ones有什么用?   2回答

pytorch里view(-1, 1)什么意思?   1回答

线性回归有精确的解析解为什么还要用梯度下降得到数值解?   4回答

对于小批量随机剃度下降法(mini-batch SGD),如何选择每批样本的数量?   1回答

学习率不当会导致sgd不收敛吗?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!