aihot  2017-10-11 22:22:22  机器学习 |   查看评论   

  两侧同时右乘U的逆矩阵得(因为U为正交阵,其逆矩阵等于其转置):

 

  假设我们现在要将一个新的向量x转化到A所在的列空间之中,也即如下式:

 

  由于上文中讲,A为对称阵,x为它的单位特征向量(旧x),所以x为一套正交基,所以我们就可以把新x这个向量用旧x这套正交基表示:

 

  所以得到下式:

 

  紧接着,中间的对角阵与右边的a(也就是A的特征向量们)相乘,实际上就是对a在各个维度上进行拉伸或压缩:

 

  由上图,如果A不满秩,也就是A存在为零的特征值,那么中间的对角阵对角线上就存在零元素,这时候就会导致维度退化,映射后的向量会落在m维空间的子空间之中。

  最后一个变换就是U对拉伸或压缩后的向量做变换,由于UU'是互为逆矩阵,所以U变换是U'变换的逆变换。

  因为UU'里面的是A的特征向量们,是一组正交基,对其拉伸压缩后,向量之间仍然正交,所以实际上,A可以起到将一组正交基转化到另一组正交向量的作用。

  接下来要分析的是,对于任意一个M*N的矩阵AA矩阵将N维空间中的向量映射到K(K<=M)维空间中(K是矩阵A的秩),现在的目标是,找到这样一组正交基,经过A变换后仍然是正交的。假设,已经找到这样一组v

 

  经过A映射后,将其映射为:

 

  如果要使它们两两正交,即:

 

  根据假设,存在:

 

  所以如果我们将v选择为A'A的特征向量的话,因为A'A是对称阵,所以v之间两两正交,λA'A的特征值,那么:

 

  
 

除特别注明外,本站所有文章均为 人工智能学习网 原创,转载请注明出处来自浅谈机器学习基础(下)

留言与评论(共有 0 条评论)
   
验证码: