为什么bias-variance一定会trade off?

  统计/机器学习 监督式学习 开放问题    浏览次数: 633
1

bias-variance trade off就是说偏差小的时候,方差大;偏差大的时候,方差小。

总之就是一个方面好了,另外一个方面就会差了。那么为什么会这样呢?

为什么总是两者中牺牲一个呢?

 

huanx8t   2018-05-31 05:55



   2个回答 
6

bias大是指预测值与真实值之间的误差很大,通常是因为模型欠拟合

variance大是指当数据有小的扰动时,预测结果相差却不小,通常是因为模型过拟合

模型要不是欠拟合,要么过拟合,要么两者之间,所以bias和variance就会有trade off,因为不可能同时发生欠拟合和过拟合。当模型不过拟合也不欠拟合的时候,bias适中,variance也适中。


SofaSofa数据科学社区 DS面经 问答 实战

木子周   2018-06-12 14:09

5

我是这么认为的:

bias 是指模型拟合训练数据的偏差。bias越小,模型拟合的程度就越好

variance 是模型在不同训练集的预测结果的方差。

随着模型复杂性的增加,bias就会越小,而variance就会越大。因为模型越复杂,模型对于训练数据集的学习就会越细致,模型拟合程度就会越好。但是对于不同数据集之间的共性的学习就会不太好,会导致不同数据集之间的预测的差异性很大。




SofaSofa数据科学社区 DS面经 问答 实战

ie_noob   2018-06-12 15:35



  相关主题

SVM模型的可解释性如何?   1回答

Probit model和Logit model的区别是什么?   1回答

哪些机器学习分类模型适用于小数据?   2回答

机器学习如何快速入门?   1回答

ensemble模型时,bagging和stacking有什么区别?   2回答

meta learning是什么意思?   1回答

Bagging是什么意思?   3回答

Generic/Heuristic Algorithm是什么意思?有什么区别?   0回答

baseline模型和benchmark模型的差别?   1回答

机器学习+计算机网络   2回答

bias-variance tradeoff是什么意思?   2回答

机器学习中的奥卡姆剃刀原理是什么意思   6回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!