机器学习中的奥卡姆剃刀原理是什么意思

  统计/机器学习 开放问题    浏览次数:11834        分享
7

在机器学习,奥卡姆剃刀原理是什么意思?怎么理解?有哪些具体的例子?

 

word哥   2017-03-08 17:11



   6个回答 
9

这个本来是一个哲学原理,大概意思是“差不多的话就别搞太复杂了”。


对于机器学习来说,如果两个模型的预测能力差不多,就选那个简单的吧,不要搞事情。其中原因有二,简单的模型往往解释性更好;复杂的模型更有可能过拟合。

SofaSofa数据科学社区DS面试题库 DS面经

清风   2017-04-18 10:51

5

Occam's razor的意思是对于两个模型,在其他条件等同的情况,哪个模型能够更简洁地解释数据,哪个就更好。

由Occam's razor引申出一种叫做Occam Learning模型。它被数学抽象化,这种模型既能有预测性,另外它的简洁性(数学公式定义)小于一个关于数据真实分布本身的简洁性的式子。那么我们就说这个真实数据本身是Occam learnable的。具体可以参考维基



SofaSofa数据科学社区DS面试题库 DS面经

sasa   2017-05-04 12:23

5

花书Deep Learning里是这么说奥卡姆剃刀的

This principle states that among competing hypotheses that explain known observations equally well, we should choose the “simplest” one.

意思是说,两个模型如果在训练集上的表现一样,那么我们就选择结构更简单的那个模型


SofaSofa数据科学社区DS面试题库 DS面经

batmanX   2017-11-10 02:46

4
  • 奥卡姆剃刀:如无必要,勿增实体。
  • 剃刀机器学习:在两个模型效用相似的情况下选择简单的那个,过拟合概率小。
  • 理论1:VC Dimension,即不同模型的分类能力是不同的,比如一条直线一定能分清二维平面的三个非共线的点,但矩形能分清4个点。
  • 实践1:有些模型能喂很多数据,即数据量不断增加的时候,效果依然会编好,但有限模型再喂数据,效果会不明显,这和理论1有关。
  • 理论2:数学大神证明了分离能力越强的模型,最后的偏差越大。
  • 实践2:理论2就是机器学习奥卡姆剃刀的证明。

SofaSofa数据科学社区DS面试题库 DS面经

樊睡懒觉   2018-08-27 08:58

3

奥卡姆剃刀就是一个正则化的大刀!

例子,比如LASSO,Ridge,还有决策树里的剪枝,等等。

SofaSofa数据科学社区DS面试题库 DS面经

黄前志   2017-05-07 10:57

2

奥卡姆剃刀原理的形式化的表达是最小描述长度(MDL)。最小描述长度最小的模型就是最佳的模型。


SofaSofa数据科学社区DS面试题库 DS面经

Jiho   2018-01-03 23:55



  相关讨论

seq2seq模型有什么应用场景?

meta learning是什么意思?

bias-variance tradeoff是什么意思?

如何理解PAC Learning?

sota model是什么意思?

数据泄漏(data leakage)是什么意思?

如何理解VC dimension?

ensemble模型时,bagging和stacking有什么区别?

机器学习提到的MVP是什么意思?

加性模型是什么意思?

  随便看看

【站务】我们回来了

seaborn如何显示图?

怎么提取pandas dataframe中某一列每个字符串的前n个字符?

什么是K-Modes(K众数)聚类法?

sota model是什么意思?