$P$是$n\times 1$的列向量，$X$是$n\times p$的矩阵
下面的这个乘积
$$P^TX(X^TX)^{-1}X^TP$$
能不能化简成
$$P^TP$$
1个回答
如果 $P$在$X$的column_space中就可以。先做SVD，$X=USV^T$，$rank(X)=r$。$U$是$n\times r$的标准正交基。
$$P^TX(X^TX)^{-1}X^TP$$
$$=P^TUSV^T(VSU^TUSV^T)^{-1}VSU^TP$$
$$=P^TUSV^TV(SS)^{-1}V^TVSU^TP$$
$$=P^TUU^TP$$
如果$P$能够被$U$的列向量表示，$P=UC$纯在$r\times 1$的解$C$，等式就成立。
SofaSofa数据科学社区DS面试题库 DS面经
Zealing
2018-10-12 02:31
最后一步不是太懂。如果$P$不是$U$中列的线性组合，为什么就不成立呢？
-
vivian_o
2018-10-12 07:32
比如$P=[1 2 3]^T$,$U=[1 0 0; 0 1 0]^T$, $P^TU=[1 2 0]^T$，此时$U$能表示的空间只有$xy$平面，就像三体中的二向箔，所有经过$U$投影后的点，全部会被拍到$xy$平面内，会把$z$轴上的信息全部抹去，。再想恢复$z$轴上的信息就不可能了。
-
Zealing
2018-10-12 08:14
明白了，谢谢你
-
vivian_o
2018-10-12 08:39
相关讨论
随便看看