机器学习中的奥卡姆剃刀原理是什么意思

  统计/机器学习 开放问题    浏览次数: 1658
7

在机器学习,奥卡姆剃刀原理是什么意思?怎么理解?有哪些具体的例子?

 

word哥   2017-03-08 17:11



   5个回答 
9

这个本来是一个哲学原理,大概意思是“差不多的话就别搞太复杂了”。


对于机器学习来说,如果两个模型的预测能力差不多,就选那个简单的吧,不要搞事情。其中原因有二,简单的模型往往解释性更好;复杂的模型更有可能过拟合。

清风   2017-04-18 10:51

5

Occam's razor的意思是对于两个模型,在其他条件等同的情况,哪个模型能够更简洁地解释数据,哪个就更好。

由Occam's razor引申出一种叫做Occam Learning模型。它被数学抽象化,这种模型既能有预测性,另外它的简洁性(数学公式定义)小于一个关于数据真实分布本身的简洁性的式子。那么我们就说这个真实数据本身是Occam learnable的。具体可以参考维基



sasa   2017-05-04 12:23

4

花书Deep Learning里是这么说奥卡姆剃刀的

This principle states that among competing hypotheses that explain known observations equally well, we should choose the “simplest” one.

意思是说,两个模型如果在训练集上的表现一样,那么我们就选择结构更简单的那个模型


batmanX   2017-11-10 02:46

3

奥卡姆剃刀就是一个正则化的大刀!

例子,比如LASSO,Ridge,还有决策树里的剪枝,等等。

黄前志   2017-05-07 10:57

2

奥卡姆剃刀原理的形式化的表达是最小描述长度(MDL)。最小描述长度最小的模型就是最佳的模型。


Jiho   2018-01-03 23:55



  相关主题

机器学习算法中有哪些用到了贪婪算法的思想?   5回答

baseline模型和benchmark模型的差别?   1回答

建立一个预测模型的流程是什么   1回答

机器学习算法的鲁棒性是什么意思?   1回答

Bagging是什么意思?   3回答

机器学习+计算机网络   2回答

ensemble模型时,bagging和stacking有什么区别?   2回答

如何理解VC dimension?   2回答

机器学习如何快速入门?   1回答

数据泄漏(data leakage)是什么意思?   2回答

推荐开放数据库   5回答

如何理解PAC Learning?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!