修正R方(adjusted R square)是什么？

修正$R_{adj}^2$的公式是

$$R_{adj}^2=1-\frac{(n-1)(1-R^2)}{n-p-1},$$

其中$n$是样本数量，$p$是模型中变量的个数。

我们知道在其他变量不变的情况下，引入新的变量，总能提高模型的$R^2$。修正$R^2$就是相当于给变量的个数加惩罚项。

换句话说，如果两个模型，样本数一样，$R^2$一样，那么从修正$R^2$的角度看，使用变量个数少的那个模型更优。使用修正$R^2$也算一种奥卡姆剃刀的实例。

adjusted $R^2$是考虑到了自由度下的$R^2$.

$$R^2=1-\frac{SS_{\text{Res}}}{SS_{\text{Total}}}$$

考虑到残差的平方和$SS_{\text{Res}}$的自由度为$n-p-1$，总体平方和$SS_{\text{Total}}$的自由度为$n-1$，那么我们修正后的$R^2_{\text{Adj}}$的公式为

$$R^2_{\text{Adj}}=1-\frac{SS_{\text{Res}}/(n-p-1)}{SS_{\text{Total}}/(n-1)}=1-\frac{SS_{\text{Res}}}{SS_{\text{Total}}}\frac{(n-1)}{(n-p-1)}=1-(1-R^2)\frac{n-p-1}{n-1}$$

公式中$n$是样本的个数，$p$是变量的个数

R方可以用来评价模型的拟合程度。当我们在评价拟合程度的同时，也考虑到模型的复杂程度，那么就是修正R方。

原理上与AIC和BIC类似。