为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?

  统计/机器学习 深度学习 人工神经网络    浏览次数:1723        分享
0

RNN为什么会有梯度消失的问题?LSTM为什么可以解决梯度消失?

 

Sophia   2021-04-18 11:45



   1个回答 
1

根据我的理解,RNN的Memory会在不断的传播中指数型累积,而LSTM邮5个Gate会根据你的输入对memory进行处理,或是保留或是删除,可以解决梯度消失的问题。

SofaSofa数据科学社区DS面试题库 DS面经

Cypher   2021-08-30 14:16



  相关讨论

前馈神经网络如何选择隐藏层的数量

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?

深度学习模型的“蒸馏”是什么意思?

为什么小数据不适合神经网络模型?

训练神经网络中经常提到的epoch是什么意思

神经网络中的dense和sparse是什么意思?

epoch和batch之间有什么关系?

BatchNormalization这一层一般有哪些参数需要调?

神经网络中的Dropout和Bagging

神经网络里为什么隐藏层越多越好?

  随便看看

除了PCA,还有什么降维的方法?

统计学中的自变量和因变量分别是什么意思?

为什么自然常数e等于阶乘的倒数的和?

怎么在已有的dataframe中插入一个新列(Pandas)

推荐开放数据库