为什么bias-variance一定会trade off?

  统计/机器学习 监督式学习 开放问题    浏览次数: 128
0

bias-variance trade off就是说偏差小的时候,方差大;偏差大的时候,方差小。

总之就是一个方面好了,另外一个方面就会差了。那么为什么会这样呢?

为什么总是两者中牺牲一个呢?

 

huanx8t   2018-05-31 05:55



   2个回答 
4

bias大是指预测值与真实值之间的误差很大,通常是因为模型欠拟合

variance大是指当数据有小的扰动时,预测结果相差却不小,通常是因为模型过拟合

模型要不是欠拟合,要么过拟合,要么两者之间,所以bias和variance就会有trade off,因为不可能同时发生欠拟合和过拟合。当模型不过拟合也不欠拟合的时候,bias适中,variance也适中。


木子周   2018-06-12 14:09

3

我是这么认为的:

bias 是指模型拟合训练数据的偏差。bias越小,模型拟合的程度就越好

variance 是模型在不同训练集的预测结果的方差。

随着模型复杂性的增加,bias就会越小,而variance就会越大。因为模型越复杂,模型对于训练数据集的学习就会越细致,模型拟合程度就会越好。但是对于不同数据集之间的共性的学习就会不太好,会导致不同数据集之间的预测的差异性很大。




ie_noob   2018-06-12 15:35



  相关主题

kNN算法有哪些缺点?   6回答

建立一个预测模型的流程是什么   1回答

机器学习+计算机网络   2回答

机器学习算法中有哪些用到了贪婪算法的思想?   5回答

Bagging是什么意思?   3回答

hyperparameter与parameter的区别?   3回答

机器学习中的奥卡姆剃刀原理是什么意思   5回答

推荐开放数据库   5回答

机器学习算法的鲁棒性是什么意思?   1回答

如何理解PAC Learning?   1回答

baseline模型和benchmark模型的差别?   1回答

bias-variance tradeoff是什么意思?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!