通过SVD分解已经可以得到AX=Y解的稳定性的度量为什么还需要定义条件数来说明?

  统计/机器学习 回归分析 特征选择 开放问题    浏览次数:253        分享
0

对于一个方程组:

AX=Y,其中A:N×N,X:1,Y:1;

设A有SVD分解:A=U∑VT,∑=diag(σ1,σ2,...,σN),则可得X的解写作:

X=V∑-1UTY,将其展开写易得,

X=Sum1:N(ViUiT(Yii,i)),其中Vi、Ui是行向量,T表转置,Yi是Y的第i个元素,

可以发现,当奇异值σi,i越小时,解X对Y中的扰动就会越敏感,也就是说似乎我们可以直接用最小奇异值作为线性系统AX=Y中解X对Y中扰动的敏感程度,也即表征系统的病态性。既然如此请问为什么还要定义一个“矩阵条件数”来说明病态性呢

 

CE_PAUL   2019-11-25 21:15



   1个回答 
1

奇异值的相对大小比绝对大小更重要,矩阵条件数(condition number)更反映系统矩阵$A$的性质。举例说明:

线性方程$Ax+\epsilon=y$,$\epsilon$是高斯白噪声,在任意单位向量上投影后能量(方差)为1。

1. 当$\sigma_1\approx \sigma_N$且都很小,只要$|U_N^Ty|>|U_N^T\epsilon|$,也就是在最小分量上,信号$y$的能量比噪声$\epsilon$的能量大,信噪比大,$1/\sigma_N$也主要是放大信号。如果$|U_1^Ty|<|U_1^T\epsilon|$,说明信噪比太小。情况只能在生成信号时,放大信号$Ax$或降低噪音,提升整体信噪比。所以奇异值绝对值都很小的问题主要在生成信号时解决,很难在后期处理时解决,并且和$A$的特征无关。

2. 当$\sigma_1>> \sigma_N$,假设$\epsilon$是高斯白噪声,$|U_i^T\epsilon|=1$。此时$|U_N^T\epsilon|/\sigma_N >> |U_1^T\epsilon|/\sigma_1$,也就是噪声在最小分量上放大太多,如果$x$是图像的话会显示为有错误(artifact)而不是噪声。人眼是低通系统,会过滤一定的噪声,但是会认为artifact是真实的图像,所以这种危害比纯粹噪声更大。一般办法是加正则项,降低条件数,相对减小最小分量的放大系数。也可以认为最小分量上的信噪比小,可信度低,所以不能放大太多。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-11-27 12:57

谢谢! - CE_PAUL   2019-11-28 20:58


  相关主题

训练样本中每个维度是否独立对回归结果的影响   2回答

LBP算法中解对应的条件数怎么计算?   1回答

AIC可以是负数吗?   1回答

向前逐步选择法和向后逐步选择法的结果是一样的吗?   2回答

怎么处理训练集中有而测试集中没有的那些特征?   4回答

对于组合特征怎么理解?   1回答

什么情况下需要做特征选择?   1回答

wrapper特征选择法是什么意思?   1回答

y取值有上下界限的回归问题   3回答

线性回归是机器学习算法吗?   7回答

如何对大型线性回归进行并行计算?   4回答

Sigmoid核函数是不是对新输入的需要预测的点的测量误差不敏感?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!