如何理解神经网络的Universal approximation theorem?

  统计/机器学习 开放问题 人工神经网络    浏览次数:6600        分享
0

如何理解神经网络的Universal approximation theorem?有什么实际指导意义吗?

 

ljljlj   2018-06-07 22:51



   1个回答 
2

Universal approximation theorem的意思说,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能无限逼近任何有界连续函数

换句话说,理论上说,用前馈网络做回归任务,一个隐藏层足够了。

类似的还有另外一个结论,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能完全拟合任何0-1函数

换句话说,理论上说,用前馈网络做二元分类任务,一个隐藏层足够了。


其实定理还包含了一个隐藏信息:如果是做多元分类任务,一个隐藏层是远远不够的。

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2018-08-10 23:11

是不是也侧面反映了特征工程的重要性。。。 - tangkang   2018-09-06 10:56
我觉得是的 - ljljlj   2018-09-09 11:29


  相关主题

Feed-Forward Network(FFN)是什么网络结构?   1回答

什么叫成本函数?它的作用是什么?   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

为什么神经网络模型需要大量的样本?   1回答

常提到的LeNet是什么意思?   2回答

BP神经网络的疑问   1回答

为什么最大值池化比均值池化好(更常用)?   1回答

微调算是transfer learning的一种吗?   1回答

transfer learning的应用和实例?   1回答

pytorch里view(-1, 1)什么意思?   1回答

關於pytorch cnn輸出層。   2回答

pytorch里ConvTranspose2d是什么意思?   0回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!