权值更新的过程是这样的吗？
假设输入层有2个节点，隐藏层有1层2个结点，输出层只有1个结点。（这样就有2*2+2=6个权值）
第一次训练
样本1输入，更新权重w1-w6
样本2输入，基于上次更新的w1-w6再次更新w1-w6
...
样本n输入，基于上次更新的w1-w6再次更新w1-w6
第二次训练
样本1输入，基于第一次训练最后一次更新的w1-w6再次更新w1-w6
样本2输入，基于上次更新的w1-w6再次更新w1-w6
...
样本n输入，基于上次更新的w1-w6再次更新w1-w6
...
第N次训练
样本1输入，基于第N-1次训练最后一次更新的w1-w6再次更新w1-w6
样本2输入，基于上次更新的w1-w6再次更新w1-w6
...
样本n输入，基于上次更新的w1-w6再次更新w1-w6
是这样的过程吗？
1个回答
你描述的这个过程其实就是广义的mini-batch的训练过程，跟是否是bp或者是否是神经网络都没有关系。你一共重复训练了N次，也就是说epoch是N。
backpropagation神经网络也是可以这样训练。
bp的意思是先向前传播，再反向传播更新权重。
SofaSofa数据科学社区DS面试题库 DS面经
淡淡的
2018-10-26 13:58
sgd：每次训练权重更新次数为N次
mini-batch sgd：每次训练权重更新次数为N/b次
gd：每次训练权重更新次数为1次
是这样的吗？
-
a651021213
2018-10-26 15:16
是的，可以这么理解
-
淡淡的
2018-10-26 15:18
相关讨论
随便看看