矩阵的二范数是最大的singular value,而向量的二范数是元素的平方和的根(就是ridge里的惩罚项),为什么矩阵的二范数和向量的二范数的定义完全不同?名字为什么又一样呢?
2个回答
矩阵的二范数是根据向量的二范数的定义引申出来的,矩阵二范数是一种诱导范数(induced norm)。
长度为$n$向量的$p$-范数的定义是
$$\|v\|_p=\left(\sum_{i=1}^n|v_i|^p\right)^{\frac{1}{p}}$$
所以常见的2-范数就是平方和的根,1-范数就是绝对值的和。
一个$m\times n$的矩阵的$p$-范数是根据向量的$p$-范数诱导而来,定义如下
$$\|A\|_p := \max_{v\in \mathbb R^n}\frac{\|Av\|_p}{\|v\|_p}=\max_{\|v\|_p=1}\|Av\|_p$$
上面式子里$\|A\|_p$是矩阵范数,后面的都是向量范数。
具体来说,对于矩阵2-范数,
$$\|A\|_2 =\max_{\|v\|_2=1}\|Av\|_2$$
我们对$A$进行奇异分解,得到$A=U\Sigma V^T$,因为$U$和$V$都是酉阵,所以根据向量2-范数的定义,我们有
$$\|Av\|_2^2=\|U\Sigma V^Tv\|_2^2=v^TV\Sigma^TU^TU\Sigma V^Tv=v^TV\Sigma^T\Sigma V^Tv$$
把$V^Tv$替换为$u$,得到
$$\|Av||_2=\|\Sigma u\|_2$$
$u$的向量2-范数显然也是等于1,因为$\|u\|_2^2=\|V^Tv\|_2^2=v^TVV^Tv=\|v\|_2^2=1$。
所以$$\|A|_2=\max_{\|u\|_2=1}\|\Sigma u\|_2$$
$\Sigma$是对角线为奇异值的对角阵,为了使乘积后的二范数最大,只能让$u$为独热向量,唯一的1对应着最大的奇异值。矩阵的2-范数也就是最大奇异值。
相关主题
实对称矩阵的特征向量是实向量吗?
1回答
广义逆与svd之间有什么关系?
1回答
向量的内积、外积分别是什么意思?
2回答
两个方程组解之间的关系
1回答
tensor的rank是什么意思
2回答
两个非齐次线性方程组同解问题
1回答
矩阵的列空间什么意思?
1回答
线性空间和向量空间是一回事吗?
2回答
非方阵的逆是什么
2回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!