如何理解神经网络的Universal approximation theorem?

  统计/机器学习 开放问题 人工神经网络    浏览次数: 433
0

如何理解神经网络的Universal approximation theorem?有什么实际指导意义吗?

 

ljljlj   2018-06-07 22:51



   1个回答 
2

Universal approximation theorem的意思说,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能无限逼近任何有界连续函数

换句话说,理论上说,用前馈网络做回归任务,一个隐藏层足够了。

类似的还有另外一个结论,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能完全拟合任何0-1函数

换句话说,理论上说,用前馈网络做二元分类任务,一个隐藏层足够了。


其实定理还包含了一个隐藏信息:如果是做多元分类任务,一个隐藏层是远远不够的。

strong.man   2018-08-10 23:11

是不是也侧面反映了特征工程的重要性。。。 - tangkang   2018-09-06 10:56
我觉得是的 - ljljlj   2018-09-09 11:29


  相关主题

什么叫成本函数?它的作用是什么?   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

怎么在keras中加载MNSIT数据集?   2回答

感知机和逻辑回归的关系   2回答

图像分割的深度学习训练,把数据库格式从jpg改成png之后报错如图,求解。   1回答

怎么把pandas.DataFrame转成torch.tensor的格式?   1回答

sklearn模块有神经网络的类可以调用吗?   1回答

transfer learning的应用和实例?   1回答

深度学习和人工神经网络是一回事吗?   1回答

deep learning中的pooling是什么意思?   6回答

神经网络中的dense和sparse是什么意思?   2回答

dropout rate一般设置多大?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!