神经网络里为什么隐藏层越多越好?

  统计/机器学习 深度学习 人工神经网络    浏览次数:5821        分享
2

神经网络里为什么隐藏层越多越好?

 

wxjjnss   2020-06-29 00:50



   6个回答 
4

神经网络是非线性函数聚类+线性拟合。非线性函数作用是把每层输入特征空间分割成很多小的子空间,每个子空间是一个簇;然后每个神经元在一个子空间做线性回归。类似于用很短的线段去描任意曲线。

隐藏层越多,特征空间的抽象程度越高,分割的子空间也会更小,在子空间内的数据点可能会更线性相关。打个比方,以体重划分动物,找不出人类;如果以是否用手制造工具并有复杂语言为特征,更容易把人类找出来。

隐藏层越多,训练越困难,梯度消失会更严重。还有个问题是隐藏层越多,特征抽象程度会越高,更容易过拟合。需要更大训练数据解决过拟合。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2020-06-30 20:01

2

神经网络是利用中间的隐藏层去学习原来在机器学习中的特征,如果隐藏层越多,那么神经网络学习到的特征就越多,那么自然学习的效果越好。但是神经网络的隐藏层不是越多越好,因为存在梯度爆炸与梯度消失问题,神经网络的层数是有存在一定限制的,同时神经网络的隐藏层越多,那么相应需要学习的参数就越多,训练时间与训练难度就越大,所以隐藏层不是越多越好。

SofaSofa数据科学社区DS面试题库 DS面经

icode   2021-02-19 14:55

2

隐层越多,体现模型的 学习能力更强,能学到更多东西。但是我一般是根据实际数据训练的反馈情况来做调整的,不一定越多越好。我目前是这样理解的。

SofaSofa数据科学社区DS面试题库 DS面经

seven   2020-06-30 18:24

1

肯定不是越多越好的,物极必反。需要看任务本身的复杂度和数据本身的特性。

“隐藏层越多越好”这个观点也违背奥卡姆剃刀原则了。

SofaSofa数据科学社区DS面试题库 DS面经

eskimo2048   2022-03-27 20:12

1

越后面的隐藏层学得越精细,也比较抽象难解释。隐藏越多,参数越多,对数据量的要求也更大。

SofaSofa数据科学社区DS面试题库 DS面经

Sophia   2021-04-17 13:20

1

贴一个老图,八十年代MIT 林肯实验室的Richard Lippmann就发现神经网络从1层,增加到2层,增加到3层,预测能力是越来越强。

但是和其他回答提到的一样,层数多到一定的极限,模型精度提升的边际效果肯定就越小了。

SofaSofa数据科学社区DS面试题库 DS面经

卡里昂   2022-05-19 09:26



  相关讨论

CNN和RNN分别是怎么共享权重的?

神经网络中的gradient check是什么意思?

前馈神经网络如何选择隐藏层的数量

wide-deep模型里的wide和deep分别是指什么意思?

为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?

神经网络模型里训练和推理是什么意思?

深度学习和人工神经网络是一回事吗?

为什么小数据不适合神经网络模型?

训练神经网络中经常提到的epoch是什么意思

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题

  随便看看

numpy array里怎么用fillna填充nan的值?

决策树、随机森林中的多重共线性问题

对于xgboost,还有必要做很多特征工程吗?

逻辑回归的损失函数是怎么来的

回归问题中R方可以小于0吗?