神经网络中梯度消弥的原因是什么?

  统计/机器学习 数值计算 深度学习 人工神经网络    浏览次数: 497
0

神经网络中梯度会逐渐变成零,一般称为梯度消弥

造成梯度消弥的原因是什么?


 

吴昊通   2017-12-26 23:07



   1个回答 
2

一般是比较深的神经网络容易出现梯度消失的现象

如果激活函数的梯度是有界的,比如sigmoid的导数就是在(0, 1)之间,根据链式法则,梯度会一层层递减,当层数很多时,最终梯度会非常小,这就造成了所谓梯度消失的现象。


岛歌   2017-12-27 11:46



  相关主题

神经网络中的gradient check是什么意思?   2回答

神经网络中的dense和sparse是什么意思?   2回答

deep learning中的pooling是什么意思?   3回答

dropout rate一般设置多大?   3回答

神经网络中的Dropout和Bagging   1回答

训练神经网络中经常提到的epoch是什么意思   2回答

深度学习和人工神经网络是一回事吗?   1回答

前馈神经网络如何选择隐藏层的数量   2回答

怎么用牛顿法近似求解根号2?   2回答

关于随机梯度下降法(SGD)的问题   1回答

pytorch 的交叉熵损失总是报错,同样的结构改成MSELoss就没有问题   1回答

mac电脑怎么用ssh远程控制Linux服务器查看可视化结果   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!