训练样本中每个维度是否独立对回归结果的影响

你说的这个叫做多重共线性。一般可以用Pearson相关系数或者方差膨胀因子法来检验。

对于最小二乘回归，多重共线性最直接的影响就是会导致$X^TX$不可逆，无法求解。

如果通过数值方法求解，得到的系数的解释性不会更好，而且方差会比较大。这一点对于你提到的模型算是共性。

在存在多重共线性的情况下，Lasso要比Ridge好。

最小二乘回归已经考虑了输入随机变量间相关的问题。令所有都为列向量，训练输入$X$是$d\times n$矩阵，训练输出$y$是$1\times n$，测试输入$X_{test}$是$d\times m$矩阵。对$X$做SVD有$X=USV^T$。

$$\hat{y_{test}}^T=X_{test}^T(XX^T)^{-1}Xy^T$$

$$=X_{test}^T(USV^TVSU^T)^{-1}Xy^T$$

$$=X_{test}^TUS^{-1} (X^TUS^{-1})^Ty^T$$

令$Z=S^{-1}U^TX=\Phi X$，则

$$\hat{y_{test}}^T=Z_{test}^TZy^T$$

$$=Z_{test}^T\Sigma_{Zy}$$

$Z$是$X$在新特征空间（$X$ 的clomun space）的坐标，$U$是去相关性，$S^{-1}$是做$Z$的标准化。因为基向量$U_{i*}$与$U_{j*}$相互垂直，所以新特征$Z$相互独立，$corr(Z_i,Z_j)=0$。$\Sigma_{Zy}$是最小二乘模型真正学习到的$Z$和$y$之间的相似矩阵，也就是$Z$和$y$之间的线性转化矩阵。

思路是：自变量相关，很难研究自变量$X$和因变量$y$间独立线性关系。把自变量$X$转换为独立变量$Z$，并学习$Z$和$y$的线性转换关系$\Sigma_{Zy}$。有点像输入图像->FFT->Filtering>IFFT->输出图像的套路。（其实$X_i$和$y$的独立的相关性可以用partial correlation表示。)