为什么矩阵的二范数和向量的二范数的定义不同?

  数学 线性代数    浏览次数:6128        分享
3

矩阵的二范数是最大的singular value,而向量的二范数是元素的平方和的根(就是ridge里的惩罚项),为什么矩阵的二范数和向量的二范数的定义完全不同?名字为什么又一样呢?

 

cece   2019-09-28 02:25



   2个回答 
17

矩阵的二范数是根据向量的二范数的定义引申出来的,矩阵二范数是一种诱导范数(induced norm)。

长度为$n$向量的$p$-范数的定义是

$$\|v\|_p=\left(\sum_{i=1}^n|v_i|^p\right)^{\frac{1}{p}}$$

所以常见的2-范数就是平方和的根,1-范数就是绝对值的和。

一个$m\times n$的矩阵的$p$-范数是根据向量的$p$-范数诱导而来,定义如下

$$\|A\|_p := \max_{v\in \mathbb R^n}\frac{\|Av\|_p}{\|v\|_p}=\max_{\|v\|_p=1}\|Av\|_p$$

上面式子里$\|A\|_p$是矩阵范数,后面的都是向量范数。

具体来说,对于矩阵2-范数,

$$\|A\|_2 =\max_{\|v\|_2=1}\|Av\|_2$$

我们对$A$进行奇异分解,得到$A=U\Sigma V^T$,因为$U$和$V$都是酉阵,所以根据向量2-范数的定义,我们有

$$\|Av\|_2^2=\|U\Sigma V^Tv\|_2^2=v^TV\Sigma^TU^TU\Sigma V^Tv=v^TV\Sigma^T\Sigma V^Tv$$

把$V^Tv$替换为$u$,得到

$$\|Av||_2=\|\Sigma u\|_2$$

$u$的向量2-范数显然也是等于1,因为$\|u\|_2^2=\|V^Tv\|_2^2=v^TVV^Tv=\|v\|_2^2=1$。

所以$$\|A|_2=\max_{\|u\|_2=1}\|\Sigma u\|_2$$

$\Sigma$是对角线为奇异值的对角阵,为了使乘积后的二范数最大,只能让$u$为独热向量,唯一的1对应着最大的奇异值。矩阵的2-范数也就是最大奇异值。


SofaSofa数据科学社区DS面试题库 DS面经

sasa   2019-10-02 06:59

谢谢!非常详细! - cece   2019-10-02 21:42
3

矩阵的范数是根据向量的范数诱导的,所以名字一样,定义不同。

类似的还是1-范数。

SofaSofa数据科学社区DS面试题库 DS面经

我小宋   2019-10-13 01:18



  相关讨论

半正定或者正定矩阵一定要是对称的吗?

对称的实数矩阵的所有特征值都是实数吗

线性空间和向量空间是一回事吗?

矩阵的转置的逆就是矩阵的逆的转置吗?

向量的内积、外积分别是什么意思?

实对称矩阵的特征向量是实向量吗?

tensor的rank是什么意思

两个线性空间的并集一定是一个线性空间吗

非方阵的逆是什么

广义逆与svd之间有什么关系?

  随便看看

二元分类为什么不能用MSE做为损失函数?

sklearn模型当中的verbose是什么意思?

怎么把pandas dataframe中一列英文文本全部转成小写?

统计学中的自变量和因变量分别是什么意思?

回归问题中R方可以小于0吗?