如何理解神经网络的Universal approximation theorem?

  统计/机器学习 开放问题 人工神经网络    浏览次数: 221
0

如何理解神经网络的Universal approximation theorem?有什么实际指导意义吗?

 

ljljlj   2018-06-07 22:51



   1个回答 
1

Universal approximation theorem的意思说,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能无限逼近任何有界连续函数

换句话说,理论上说,用前馈网络做回归任务,一个隐藏层足够了。

类似的还有另外一个结论,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能完全拟合任何0-1函数

换句话说,理论上说,用前馈网络做二元分类任务,一个隐藏层足够了。


其实定理还包含了一个隐藏信息:如果是做多元分类任务,一个隐藏层是远远不够的。

strong.man   2018-08-10 23:11



  相关主题

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

什么叫成本函数?它的作用是什么?   1回答

怎么在keras中加载MNSIT数据集?   2回答

感知机和逻辑回归的关系   2回答

图像分割的深度学习训练,把数据库格式从jpg改成png之后报错如图,求解。   1回答

sklearn模块有神经网络的类可以调用吗?   1回答

Bagging是什么意思?   3回答

机器学习+计算机网络   2回答

数据泄漏(data leakage)是什么意思?   2回答

机器学习如何快速入门?   1回答

如何理解VC dimension?   2回答

bias-variance tradeoff是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!