如何理解神经网络的Universal approximation theorem?

  统计/机器学习 开放问题 人工神经网络    浏览次数: 571
0

如何理解神经网络的Universal approximation theorem?有什么实际指导意义吗?

 

ljljlj   2018-06-07 22:51



   1个回答 
2

Universal approximation theorem的意思说,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能无限逼近任何有界连续函数

换句话说,理论上说,用前馈网络做回归任务,一个隐藏层足够了。

类似的还有另外一个结论,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能完全拟合任何0-1函数

换句话说,理论上说,用前馈网络做二元分类任务,一个隐藏层足够了。


其实定理还包含了一个隐藏信息:如果是做多元分类任务,一个隐藏层是远远不够的。

SofaSofa数据科学社区 DS面经 问答 实战

strong.man   2018-08-10 23:11

是不是也侧面反映了特征工程的重要性。。。 - tangkang   2018-09-06 10:56
我觉得是的 - ljljlj   2018-09-09 11:29


  相关主题

什么叫成本函数?它的作用是什么?   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

BP神经网络的疑问   1回答

怎么在keras中加载MNSIT数据集?   2回答

pytorch里的new_ones有什么用?   0回答

感知机和逻辑回归的关系   2回答

图像分割的深度学习训练,把数据库格式从jpg改成png之后报错如图,求解。   1回答

怎么把pandas.DataFrame转成torch.tensor的格式?   1回答

sklearn模块有神经网络的类可以调用吗?   1回答

transfer learning的应用和实例?   1回答

ensemble模型时,bagging和stacking有什么区别?   2回答

非参模型是什么意思?有哪些模型算是非参的?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!