数据归一化问题

数据归一化（normalization）相当于做数据矩阵的较弱的right preconditioning，目的是减小矩阵的condition number，从而让梯度递减一类的优化算法收敛更快，而且求矩阵逆的误差减小。

举个简单的例子，一层的线性回归，$Xw=y$，其中$X$是mxn输入数据矩阵，每一行是一个n维数据点，$w$是要求的网络参数，y是m个1维输出。当做数据归一化时，相当于乘上了right preconditioner$P$。

$XP^{-1}Pw=y$

其中$P$是个简单的可逆的对角线矩阵。$P_{ii}=\sigma_i$, $P_{ij}=0,i \neq j$, $\sigma_i$是输入数据X第i维的标准差。新求的网络参数是$Pw=w'$。新矩阵$XP^{-1}=X'$的condition number会小于$X$。还可以看出对$y$没有变化。

当用最小二乘法时，$loss=argmin_w(|XP^{-1}w'-y|^2)$，近似锥形。当condition number约等于1时，loss function在$w'$空间上的等高线（contour）更接近于圆/球；否则，当condition number是一个很大的正数时，等高线更接近于椭圆/椭球。对于梯度下降算法，圆形等高线下降更快。

结论是应该对输入数据做归一化，保持原始输出。

归一化是把数据都变为（0,1）的范围内，这样的话处理起来方便，计算量也大大减少了，损失函数更容易收敛。