如何理解神经网络的Universal approximation theorem?

  统计/机器学习 开放问题 人工神经网络    浏览次数:1334        分享
0

如何理解神经网络的Universal approximation theorem?有什么实际指导意义吗?

 

ljljlj   2018-06-07 22:51



   1个回答 
2

Universal approximation theorem的意思说,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能无限逼近任何有界连续函数

换句话说,理论上说,用前馈网络做回归任务,一个隐藏层足够了。

类似的还有另外一个结论,对于一个前馈神经网络,哪怕只有一个隐藏层,它也能完全拟合任何0-1函数

换句话说,理论上说,用前馈网络做二元分类任务,一个隐藏层足够了。


其实定理还包含了一个隐藏信息:如果是做多元分类任务,一个隐藏层是远远不够的。

SofaSofa数据科学社区DS面试题库 DS面经

strong.man   2018-08-10 23:11

是不是也侧面反映了特征工程的重要性。。。 - tangkang   2018-09-06 10:56
我觉得是的 - ljljlj   2018-09-09 11:29


  相关主题

BP神经网络的疑问   1回答

常提到的LeNet是什么意思?   2回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

什么叫成本函数?它的作用是什么?   1回答

pytorch里view(-1, 1)什么意思?   1回答

pytorch里的new_ones有什么用?   2回答

transfer learning的应用和实例?   1回答

logit函数和sigmoid函数是什么关系?   1回答

机器学习中的奥卡姆剃刀原理是什么意思   6回答

机器学习中的投票算法是指什么?   2回答

机器学习算法中有哪些用到了贪婪算法的思想?   5回答

数据泄漏(data leakage)是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!