为什么矩阵的二范数和向量的二范数的定义不同?

  数学 线性代数    浏览次数:222        分享
1

矩阵的二范数是最大的singular value,而向量的二范数是元素的平方和的根(就是ridge里的惩罚项),为什么矩阵的二范数和向量的二范数的定义完全不同?名字为什么又一样呢?

 

cece   2019-09-28 02:25



   2个回答 
12

矩阵的二范数是根据向量的二范数的定义引申出来的,矩阵二范数是一种诱导范数(induced norm)。

长度为$n$向量的$p$-范数的定义是

$$\|v\|_p=\left(\sum_{i=1}^n|v_i|^p\right)^{\frac{1}{p}}$$

所以常见的2-范数就是平方和的根,1-范数就是绝对值的和。

一个$m\times n$的矩阵的$p$-范数是根据向量的$p$-范数诱导而来,定义如下

$$\|A\|_p := \max_{v\in \mathbb R^n}\frac{\|Av\|_p}{\|v\|_p}=\max_{\|v\|_p=1}\|Av\|_p$$

上面式子里$\|A\|_p$是矩阵范数,后面的都是向量范数。

具体来说,对于矩阵2-范数,

$$\|A\|_2 =\max_{\|v\|_2=1}\|Av\|_2$$

我们对$A$进行奇异分解,得到$A=U\Sigma V^T$,因为$U$和$V$都是酉阵,所以根据向量2-范数的定义,我们有

$$\|Av\|_2^2=\|U\Sigma V^Tv\|_2^2=v^TV\Sigma^TU^TU\Sigma V^Tv=v^TV\Sigma^T\Sigma V^Tv$$

把$V^Tv$替换为$u$,得到

$$\|Av||_2=\|\Sigma u\|_2$$

$u$的向量2-范数显然也是等于1,因为$\|u\|_2^2=\|V^Tv\|_2^2=v^TVV^Tv=\|v\|_2^2=1$。

所以$$\|A|_2=\max_{\|u\|_2=1}\|\Sigma u\|_2$$

$\Sigma$是对角线为奇异值的对角阵,为了使乘积后的二范数最大,只能让$u$为独热向量,唯一的1对应着最大的奇异值。矩阵的2-范数也就是最大奇异值。


SofaSofa数据科学社区DS面试题库 DS面经

sasa   2019-10-02 06:59

谢谢!非常详细! - cece   2019-10-02 21:42
0

矩阵的范数是根据向量的范数诱导的,所以名字一样,定义不同。

类似的还是1-范数。

SofaSofa数据科学社区DS面试题库 DS面经

我小宋   2019-10-13 01:18



  相关主题

两个非齐次线性方程组同解问题   1回答

广义逆与svd之间有什么关系?   1回答

实对称矩阵的特征向量是实向量吗?   1回答

非方阵的逆是什么   2回答

半正定或者正定矩阵一定要是对称的吗?   1回答

矩阵的列空间什么意思?   1回答

向量的内积、外积分别是什么意思?   2回答

tensor的rank是什么意思   2回答

线性空间和向量空间是一回事吗?   2回答

两个方程组解之间的关系   1回答

两个线性空间的并集一定是一个线性空间吗   1回答

对称的实数矩阵的所有特征值都是实数吗   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!