对于多变量方法，当拥有宽数据（数千列）时，您必须做不同的事情。
传统的宽数据方法的致命弱点是从协方差矩阵开始，该矩阵随列数的平方增长。例如，基因组学研究倾向于拥有广泛的数据：
在一项基因组学研究中，尽管只有230行，但有10,787个基因表达列。该协方差矩阵具有超过5800万个元素，并占用465MB的内存。我们合作的另一项研究在249个个体上拥有49,041个基因，这产生了一个使用9.6GB内存的协方差矩阵。另一项研究有1,824,184个基因列，产生了13.3TB的协方差矩阵。计算机只是没有那么多内存-实际上，它们没有那么多磁盘空间。即使您有针对这些广泛问题的记忆，计算协方差矩阵也要花费很长时间，大约为n * p 2 ，其中n是行数，p是列数。此外，当您必须反转协方差矩阵时，情况甚至变得更糟，这将花费p的数量级。 3 。另外，协方差矩阵非常奇异，因为数据中的行比列少得多。
因此，您会认为对于这些情况，多元方法是不切实际或不可能的。幸运的是，还有另一种方法，它不仅可以解决广泛的问题，而且可以使问题快速解决，同时产生与巨大协方差矩阵相同的答案。
多元空间中有效维的数量大约等于行数，因为它远小于列数。该宽矩阵中的所有变化都可以由与正方差（即非零特征值）相关的主成分表示。还有另一种使用（标准化）数据的奇异值分解来获取主成分的方法。现在您处于主组件空间中，这些主组件的尺寸很小；实际上，所有计算都得到了简化，因为主成分的协方差矩阵是对角线的，因此对它来说是微不足道的。
例如，让我们看一下在249行中有1,824,184列的基因组数据集。我仅用94分钟就可以在我的6核Mac Pro上使用JMP 12来处理这些数据的主要组成部分。显然，以其他方式进行此操作是不可能的。
使用判别分析，主要任务是计算从每个点到每个组的（多元）平均值的距离。但是，该距离不是简单的欧几里得距离，而是距离的多元形式，一种叫做马哈拉诺比斯距离，它使用逆协方差矩阵。
但是考虑一下标准化数据–主要成分是相同的数据，但是旋转了不同的角度。不同之处在于，在宽数据情况下，原始数据可能具有10,000列，但主要成分只有几百列。因此，如果我们要测量点之间或点与多元均值之间的距离（ 重心 ），那么我们可以在更少的维度上做到这一点。不仅如此，而且主坐标是不相关的，这意味着在Mahalanobis距离计算中间的矩阵是对角线，因此该距离只是各个坐标距离的平方之和。
我们按组取均值中心数据的主要成分。然后，将平均值加回到这个新的降维数据中。转换后的均值只是原始组均值的主成分转换。
例
有一组乳腺癌基因组表达数据是Microarray Quality Consortium使用的基准，具有230行和10,787个基因表达。使用宽线性方法的判别分析仅需5.6秒（在Mac Pro上），并且在最难分类的类别ER_status上产生的交叉验证错误分类率仅为13.7％。鉴于其他方法很昂贵，这种错误分类率接近于针对该问题的最佳分类率。
注意： 这是一个大统计 John Sall的一系列博客文章。阅读所有他的大统计职位 。
