修正R方(adjusted R square)是什么?

  统计/机器学习 回归分析 模型验证    浏览次数: 5343
8

修正R方(adjusted R square)是什么?为什么我们有时候用修正R方,而不是直接用R方?

 

杨业勇   2017-05-12 21:19



   3个回答 
13

修正$R_{adj}^2$的公式是

$$R_{adj}^2=1-\frac{(n-1)(1-R^2)}{n-p-1},$$

其中$n$是样本数量,$p$是模型中变量的个数。

我们知道在其他变量不变的情况下,引入新的变量,总能提高模型的$R^2$。修正$R^2$就是相当于给变量的个数加惩罚项。

换句话说,如果两个模型,样本数一样,$R^2$一样,那么从修正$R^2$的角度看,使用变量个数少的那个模型更优。使用修正$R^2$也算一种奥卡姆剃刀的实例。


SofaSofa数据科学社区 DS面经 问答 实战

Nagozi   2017-05-15 09:21

感谢!百度前10个搜出来的结果都是错的,特地注册来感谢回答! - Robin峰   2017-09-14 20:00
7

adjusted $R^2$是考虑到了自由度下的$R^2$.

$$R^2=1-\frac{SS_{\text{Res}}}{SS_{\text{Total}}}$$

考虑到残差的平方和$SS_{\text{Res}}$的自由度为$n-p-1$,总体平方和$SS_{\text{Total}}$的自由度为$n-1$,那么我们修正后的$R^2_{\text{Adj}}$的公式为

$$R^2_{\text{Adj}}=1-\frac{SS_{\text{Res}}/(n-p-1)}{SS_{\text{Total}}/(n-1)}=1-\frac{SS_{\text{Res}}}{SS_{\text{Total}}}\frac{(n-1)}{(n-p-1)}=1-(1-R^2)\frac{n-p-1}{n-1}$$

公式中$n$是样本的个数,$p$是变量的个数

SofaSofa数据科学社区 DS面经 问答 实战

matt   2018-08-14 11:15

赞这个答案! - 道画师   2018-08-18 09:55
4

R方可以用来评价模型的拟合程度。当我们在评价拟合程度的同时,也考虑到模型的复杂程度,那么就是修正R方。

原理上与AIC和BIC类似。


SofaSofa数据科学社区 DS面经 问答 实战

清风   2017-09-20 13:50



  相关主题

除了RMSE,评价回归模型有哪些常用的metric?   2回答

回归问题中R方可以小于0吗?   2回答

回归问题中的stratified cross validation?   2回答

micro和macro F1 score分别是什么意思?   2回答

Stratified k-fold cross validation(分层交叉验证)   1回答

精度-召回曲线的起点和终点是什么?   0回答

十折交叉验证   1回答

交叉验证是如何进行的?   1回答

测试集和验证集的区别?   4回答

k-fold cross validation的k怎么选   3回答

如果我用交叉验证,还是否需要单独分出测试集?   1回答

如何在保持查全率不变的情况下提高查准率?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!