LBP算法中解对应的条件数怎么计算?

  统计/机器学习 回归分析 监督式学习 特征选择 开放问题    浏览次数:261        分享
0

线性反投影(LBP)算法可用于形如:AX=Y的线性方程组的迭代求解中的迭代初值设定,其形式为:X=ATY,即将数据矩阵A的转置乘以结果向量Y得到。

从正则化的角度去理解他,从直观来说,因为迭代算法是一个慢慢趋于过拟合的过程,那么应该说LBP作为一个欠拟合,其正则化能力是很强的,正则化能力很强则意味着解对应的条件数很小,可是从公式上来看,设A的SVD分解为,

A=USVT

其中S是奇异值组成的对角矩阵,那么可以写出LBP算法的形式为,

X=VSTUTY

问题来了,我们该怎么去计算在LBP算法下形如X=VSTUTY解得的X对应的条件数呢?若是使用:max(S)/min(S),那么对于一个病态问题而言,利用LBP得到的结果就是条件数很高了,其值会等于A的条件数,从而反馈问题本身的病态性,从其大小而言会认为第一步就趋于过拟合,这显然是不符合直观印象的,因为LBP应当是一个欠拟合状态,所以似乎上述定义LBP解对应条件数的方式有问题,请问LBP的解对应的条件数该怎样定义呢?

 

CE_PAUL   2019-11-29 21:50



   1个回答 
0

$A=USV^T$,且$S_1>=S_2>=...S_N$,第一个分量是最大分量,对x的放大系数$S_1$最大。当求$A$的逆时,第N个分量需要更大的放大系数,所以一般线性回归中逆$A^{-1}$的奇异值(singular value)是$1/S_i$,也就是$A$的奇异值的倒数。因为$A^{-1}$的作用就是缩小被$A$放大的分量,放大被$A$缩小的分量。当$A$的条件数定义为$S_{max}/S_{min}=S_1/S_N$,则$A^{-1}$的条件数也应该定义为$S'_N/S'_1$(注意$S'$是$A^{-1}的奇异值$),也就是最小分量(第N个)和最大分量(第一个)放大系数的比。如果用$A^T=A^{-1}$,对应的条件数应该是$S_N/S_1$,很小,所以欠拟合。比如第一个分量,本应该乘以$1/S_1$,反而乘以$S_1$,所以离理想值差很远。

SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2019-12-03 16:03

感谢 - CE_PAUL   2019-12-07 01:37


  相关主题

通过SVD分解已经可以得到AX=Y解的稳定性的度量为什么还需要定义条件数来说明?   1回答

训练样本中每个维度是否独立对回归结果的影响   2回答

向前逐步选择法和向后逐步选择法的结果是一样的吗?   2回答

AIC可以是负数吗?   1回答

partial dependence是什么意思?   1回答

在分类问题中,有什么方法可以得到特征的重要性?   2回答

使用uci的社区犯罪率做回归,怎么选择因变量呢   2回答

SHAP可以解释二元分类模型吗?   0回答

泊松回归有哪些应用场景?   2回答

有序的分类变量的预测是回归问题还是多分类问题?   3回答

分类问题 特征怎么选择   1回答

怎么处理训练集中有而测试集中没有的那些特征?   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!