神经网络里为什么隐藏层越多越好?

  统计/机器学习 深度学习 人工神经网络    浏览次数:3851        分享
0

神经网络里为什么隐藏层越多越好?

 

wxjjnss   2020-06-29 00:50



   4个回答 
4

神经网络是非线性函数聚类+线性拟合。非线性函数作用是把每层输入特征空间分割成很多小的子空间,每个子空间是一个簇;然后每个神经元在一个子空间做线性回归。类似于用很短的线段去描任意曲线。

隐藏层越多,特征空间的抽象程度越高,分割的子空间也会更小,在子空间内的数据点可能会更线性相关。打个比方,以体重划分动物,找不出人类;如果以是否用手制造工具并有复杂语言为特征,更容易把人类找出来。

隐藏层越多,训练越困难,梯度消失会更严重。还有个问题是隐藏层越多,特征抽象程度会越高,更容易过拟合。需要更大训练数据解决过拟合。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2020-06-30 20:01

2

隐层越多,体现模型的 学习能力更强,能学到更多东西。但是我一般是根据实际数据训练的反馈情况来做调整的,不一定越多越好。我目前是这样理解的。

SofaSofa数据科学社区DS面试题库 DS面经

seven   2020-06-30 18:24

1

神经网络是利用中间的隐藏层去学习原来在机器学习中的特征,如果隐藏层越多,那么神经网络学习到的特征就越多,那么自然学习的效果越好。但是神经网络的隐藏层不是越多越好,因为存在梯度爆炸与梯度消失问题,神经网络的层数是有存在一定限制的,同时神经网络的隐藏层越多,那么相应需要学习的参数就越多,训练时间与训练难度就越大,所以隐藏层不是越多越好。

SofaSofa数据科学社区DS面试题库 DS面经

icode   2021-02-19 14:55

0

越后面的隐藏层学得越精细,也比较抽象难解释。隐藏越多,参数越多,对数据量的要求也更大。

SofaSofa数据科学社区DS面试题库 DS面经

Sophia   2021-04-17 13:20



  相关主题

dropout rate一般设置多大?   3回答

神经网络中的Dropout和Bagging   1回答

前馈神经网络如何选择隐藏层的数量   2回答

关于神经网络的性能   1回答

神经网络中的gradient check是什么意思?   3回答

epoch和batch之间有什么关系?   3回答

deep learning中的pooling是什么意思?   6回答

为什么RNN会有梯度消失的问题,LSTM是怎么解决梯度消失的?   1回答

神经网络模型里训练和推理是什么意思?   1回答

反向传播和梯度算法概念???反向传播是指反向传播算法,还是反向传播算法中的一个过程?   1回答

为什么小数据不适合神经网络模型?   3回答

训练神经网络中经常提到的epoch是什么意思   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!