BP神经网络的疑问

  统计/机器学习 人工神经网络    浏览次数:305        分享
0

权值更新的过程是这样的吗?

假设输入层有2个节点,隐藏层有1层2个结点,输出层只有1个结点。(这样就有2*2+2=6个权值)

第一次训练

    样本1输入,更新权重w1-w6

    样本2输入,基于上次更新的w1-w6再次更新w1-w6

    ...

    样本n输入,基于上次更新的w1-w6再次更新w1-w6

第二次训练

    样本1输入,基于第一次训练最后一次更新的w1-w6再次更新w1-w6

    样本2输入,基于上次更新的w1-w6再次更新w1-w6

    ...

    样本n输入,基于上次更新的w1-w6再次更新w1-w6

...

第N次训练

    样本1输入,基于第N-1次训练最后一次更新的w1-w6再次更新w1-w6

    样本2输入,基于上次更新的w1-w6再次更新w1-w6

    ...

    样本n输入,基于上次更新的w1-w6再次更新w1-w6


是这样的过程吗?


 

a651021213   2018-10-26 13:13



   1个回答 
1

你描述的这个过程其实就是广义的mini-batch的训练过程,跟是否是bp或者是否是神经网络都没有关系。你一共重复训练了N次,也就是说epoch是N。

backpropagation神经网络也是可以这样训练。

bp的意思是先向前传播,再反向传播更新权重。

SofaSofa数据科学社区 DS面经 问答 实战

淡淡的   2018-10-26 13:58

sgd:每次训练权重更新次数为N次 mini-batch sgd:每次训练权重更新次数为N/b次 gd:每次训练权重更新次数为1次 是这样的吗? - a651021213   2018-10-26 15:16
是的,可以这么理解 - 淡淡的   2018-10-26 15:18


  相关主题

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

什么叫成本函数?它的作用是什么?   1回答

pytorch里view(-1, 1)什么意思?   1回答

pytorch里的new_ones有什么用?   2回答

如何理解神经网络的Universal approximation theorem?   1回答

图像分割的深度学习训练,把数据库格式从jpg改成png之后报错如图,求解。   1回答

感知机和逻辑回归的关系   2回答

神经网络中的dense和sparse是什么意思?   2回答

神经网络中的gradient check是什么意思?   2回答

深度学习和人工神经网络是一回事吗?   1回答

为什么小数据不适合神经网络模型?   3回答

关于神经网络的性能   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!