为什么线性判别分析的降维维数不能大于类别数减一

【为什么线性判别分析的降维维数不能大于类别数减一】这涉及到矩阵乘法的问题,我们假设类别总数为N:由于矩阵中的的秩为1,因此SB的秩最多为N,即类别数目(矩阵的秩小于等于各个相加矩阵的秩的和) 。又由于 和N个 不是线性无关的,和前N-1个 可以表示出第N个,或者说可以通的线性组合表示出来,因此 的秩最多为N-1,的秩最大也为N-1 。而LDA的映射矩阵W为 进行特征值求解的特征矩阵所组成 。由于秩为N-1,那么不为0的特征值个数为则不大于N-1,因此有用的特征向量个数也不大于N-1 。故其降维后的特征维度也不大于N-1 。也就是对于2类,只能降维为1维 。

    经验总结扩展阅读