为什么bias-variance一定会trade off?

  统计/机器学习 监督式学习 开放问题    浏览次数: 517
1

bias-variance trade off就是说偏差小的时候,方差大;偏差大的时候,方差小。

总之就是一个方面好了,另外一个方面就会差了。那么为什么会这样呢?

为什么总是两者中牺牲一个呢?

 

huanx8t   2018-05-31 05:55



   2个回答 
6

bias大是指预测值与真实值之间的误差很大,通常是因为模型欠拟合

variance大是指当数据有小的扰动时,预测结果相差却不小,通常是因为模型过拟合

模型要不是欠拟合,要么过拟合,要么两者之间,所以bias和variance就会有trade off,因为不可能同时发生欠拟合和过拟合。当模型不过拟合也不欠拟合的时候,bias适中,variance也适中。


木子周   2018-06-12 14:09

5

我是这么认为的:

bias 是指模型拟合训练数据的偏差。bias越小,模型拟合的程度就越好

variance 是模型在不同训练集的预测结果的方差。

随着模型复杂性的增加,bias就会越小,而variance就会越大。因为模型越复杂,模型对于训练数据集的学习就会越细致,模型拟合程度就会越好。但是对于不同数据集之间的共性的学习就会不太好,会导致不同数据集之间的预测的差异性很大。




ie_noob   2018-06-12 15:35



  相关主题

哪些机器学习分类模型适用于小数据?   2回答

Probit model和Logit model的区别是什么?   0回答

SVM模型的可解释性如何?   1回答

数据泄漏(data leakage)是什么意思?   2回答

加性模型是什么意思?   2回答

人类的第一个机器学习算法是什么?   2回答

建立一个预测模型的流程是什么   1回答

在线算法(online algorithm)是什么意思?   2回答

hyperparameter与parameter的区别?   3回答

推荐开放数据库   5回答

如何理解PAC Learning?   1回答

meta learning是什么意思?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!