机器学习中的奥卡姆剃刀原理是什么意思

  统计/机器学习 开放问题    浏览次数: 2079
7

在机器学习,奥卡姆剃刀原理是什么意思?怎么理解?有哪些具体的例子?

 

word哥   2017-03-08 17:11



   6个回答 
9

这个本来是一个哲学原理,大概意思是“差不多的话就别搞太复杂了”。


对于机器学习来说,如果两个模型的预测能力差不多,就选那个简单的吧,不要搞事情。其中原因有二,简单的模型往往解释性更好;复杂的模型更有可能过拟合。

清风   2017-04-18 10:51

5

Occam's razor的意思是对于两个模型,在其他条件等同的情况,哪个模型能够更简洁地解释数据,哪个就更好。

由Occam's razor引申出一种叫做Occam Learning模型。它被数学抽象化,这种模型既能有预测性,另外它的简洁性(数学公式定义)小于一个关于数据真实分布本身的简洁性的式子。那么我们就说这个真实数据本身是Occam learnable的。具体可以参考维基



sasa   2017-05-04 12:23

4

花书Deep Learning里是这么说奥卡姆剃刀的

This principle states that among competing hypotheses that explain known observations equally well, we should choose the “simplest” one.

意思是说,两个模型如果在训练集上的表现一样,那么我们就选择结构更简单的那个模型


batmanX   2017-11-10 02:46

3

奥卡姆剃刀就是一个正则化的大刀!

例子,比如LASSO,Ridge,还有决策树里的剪枝,等等。

黄前志   2017-05-07 10:57

2

奥卡姆剃刀原理的形式化的表达是最小描述长度(MDL)。最小描述长度最小的模型就是最佳的模型。


Jiho   2018-01-03 23:55

1
  • 奥卡姆剃刀:如无必要,勿增实体。
  • 剃刀机器学习:在两个模型效用相似的情况下选择简单的那个,过拟合概率小。
  • 理论1:VC Dimension,即不同模型的分类能力是不同的,比如一条直线一定能分清二维平面的三个非共线的点,但矩形能分清4个点。
  • 实践1:有些模型能喂很多数据,即数据量不断增加的时候,效果依然会编好,但有限模型再喂数据,效果会不明显,这和理论1有关。
  • 理论2:数学大神证明了分离能力越强的模型,最后的偏差越大。
  • 实践2:理论2就是机器学习奥卡姆剃刀的证明。

樊睡懒觉   2018-08-27 08:58



  相关主题

加性模型是什么意思?   2回答

meta learning是什么意思?   1回答

在线算法(online algorithm)是什么意思?   2回答

如何学习机器学习?有没有好的经验。   1回答

ensemble模型时,bagging和stacking有什么区别?   2回答

如何理解PAC Learning?   1回答

Generic/Heuristic Algorithm是什么意思?有什么区别?   0回答

Bagging是什么意思?   3回答

如何理解VC dimension?   2回答

机器学习如何快速入门?   1回答

机器学习算法中有哪些用到了贪婪算法的思想?   5回答

人类的第一个机器学习算法是什么?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!