神经网络中的dense和sparse是什么意思?

  统计/机器学习 深度学习 人工神经网络    浏览次数:16535        分享
7

神经网络中的dense和sparse是什么意思?经常看到这些词汇,包括keras里也有,字面上就是密集和稀疏,那对于神经网络是什么意思呢?


 

七号信仰   2017-10-20 08:13



   2个回答 
15

dense和sparse都是形容网络结构中的隐层的。

如果一个隐藏层和前面的输入层和后面的输出层有很多连结,那么就可以称为是dense。最极端的例子就是全连结的前馈网络。这个网络中的所有隐层都是dense。

相反的就是sparse的。

其实直观理解起来,就是形容这个层是紧密连接的(dense)还是稀疏连接的(sparse)。

希望能够帮助到你!


SofaSofa数据科学社区DS面试题库 DS面经

word哥   2017-10-20 09:32

赞一个 - 魏哲   2018-03-23 23:18
7

我就说说Keras里的吧。

Keras里的dense layer,就是全连结(fully connected)层。

Keras里的dropout layper,就是随机删去了一些连接,也就相当于是sparse layer。


SofaSofa数据科学社区DS面试题库 DS面经

NextPage   2017-10-20 11:21



  相关主题

神经网络中的Dropout和Bagging   1回答

深度学习模型的“蒸馏”是什么意思?   1回答

dropout rate一般设置多大?   3回答

BatchNormalization这一层一般有哪些参数需要调?   0回答

吴恩达深度学习第一课第四周作业L层结果收敛在0.64的问题   1回答

深度学习和人工神经网络是一回事吗?   1回答

神经网络模型里训练和推理是什么意思?   1回答

训练神经网络中经常提到的epoch是什么意思   2回答

前馈神经网络如何选择隐藏层的数量   2回答

epoch和batch之间有什么关系?   2回答

为什么小数据不适合神经网络模型?   3回答

deep learning中的pooling是什么意思?   6回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!