机器学习中的奥卡姆剃刀原理是什么意思

  统计/机器学习 开放问题    浏览次数: 2348
7

在机器学习,奥卡姆剃刀原理是什么意思?怎么理解?有哪些具体的例子?

 

word哥   2017-03-08 17:11



   6个回答 
9

这个本来是一个哲学原理,大概意思是“差不多的话就别搞太复杂了”。


对于机器学习来说,如果两个模型的预测能力差不多,就选那个简单的吧,不要搞事情。其中原因有二,简单的模型往往解释性更好;复杂的模型更有可能过拟合。

SofaSofa数据科学社区 DS面经 问答 实战

清风   2017-04-18 10:51

5

Occam's razor的意思是对于两个模型,在其他条件等同的情况,哪个模型能够更简洁地解释数据,哪个就更好。

由Occam's razor引申出一种叫做Occam Learning模型。它被数学抽象化,这种模型既能有预测性,另外它的简洁性(数学公式定义)小于一个关于数据真实分布本身的简洁性的式子。那么我们就说这个真实数据本身是Occam learnable的。具体可以参考维基



SofaSofa数据科学社区 DS面经 问答 实战

sasa   2017-05-04 12:23

4

花书Deep Learning里是这么说奥卡姆剃刀的

This principle states that among competing hypotheses that explain known observations equally well, we should choose the “simplest” one.

意思是说,两个模型如果在训练集上的表现一样,那么我们就选择结构更简单的那个模型


SofaSofa数据科学社区 DS面经 问答 实战

batmanX   2017-11-10 02:46

3

奥卡姆剃刀就是一个正则化的大刀!

例子,比如LASSO,Ridge,还有决策树里的剪枝,等等。

SofaSofa数据科学社区 DS面经 问答 实战

黄前志   2017-05-07 10:57

2

奥卡姆剃刀原理的形式化的表达是最小描述长度(MDL)。最小描述长度最小的模型就是最佳的模型。


SofaSofa数据科学社区 DS面经 问答 实战

Jiho   2018-01-03 23:55

2
  • 奥卡姆剃刀:如无必要,勿增实体。
  • 剃刀机器学习:在两个模型效用相似的情况下选择简单的那个,过拟合概率小。
  • 理论1:VC Dimension,即不同模型的分类能力是不同的,比如一条直线一定能分清二维平面的三个非共线的点,但矩形能分清4个点。
  • 实践1:有些模型能喂很多数据,即数据量不断增加的时候,效果依然会编好,但有限模型再喂数据,效果会不明显,这和理论1有关。
  • 理论2:数学大神证明了分离能力越强的模型,最后的偏差越大。
  • 实践2:理论2就是机器学习奥卡姆剃刀的证明。

SofaSofa数据科学社区 DS面经 问答 实战

樊睡懒觉   2018-08-27 08:58



  相关主题

Generic/Heuristic Algorithm是什么意思?有什么区别?   0回答

机器学习算法中有哪些用到了贪婪算法的思想?   5回答

ensemble模型时,bagging和stacking有什么区别?   2回答

加性模型是什么意思?   2回答

如何学习机器学习?有没有好的经验。   1回答

如何理解VC dimension?   2回答

建立一个预测模型的流程是什么   1回答

非参模型是什么意思?有哪些模型算是非参的?   2回答

meta learning是什么意思?   1回答

机器学习算法的鲁棒性是什么意思?   1回答

baseline模型和benchmark模型的差别?   1回答

在线算法(online algorithm)是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!