为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?

  统计/机器学习 深度学习 人工神经网络    浏览次数:906        分享
0

RNN为什么会有梯度消失的问题?LSTM为什么可以解决梯度消失?

 

Sophia   2021-04-18 11:45



   1个回答 
0

根据我的理解,RNN的Memory会在不断的传播中指数型累积,而LSTM邮5个Gate会根据你的输入对memory进行处理,或是保留或是删除,可以解决梯度消失的问题。

SofaSofa数据科学社区DS面试题库 DS面经

Cypher   2021-08-30 14:16



  相关主题

深度学习和人工神经网络是一回事吗?   1回答

dropout rate一般设置多大?   3回答

神经网络中的gradient check是什么意思?   3回答

BatchNormalization这一层一般有哪些参数需要调?   1回答

神经网络中的dense和sparse是什么意思?   2回答

epoch和batch之间有什么关系?   3回答

前馈神经网络如何选择隐藏层的数量   2回答

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?   1回答

深度学习模型的“蒸馏”是什么意思?   2回答

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题   2回答

为什么小数据不适合神经网络模型?   3回答

神经网络里为什么隐藏层越多越好?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!