我应该在工作中使用主成分分析 (PCA) 还是探索性因子分析 (EFA)？这是社会科学家、消费者研究人员或工程师等处理多变量数据的分析师经常遇到的一个问题。
在这篇文章中，我分享了我最喜欢的一个示例，用于解释PCA和EFA之间的一个关键区别。这个区别为解释其他重要区别打开了大门，并且有助于确定哪种技术最适合特定的应用。选择不当可能会导致误导性的结果或对数据的理解不正确。
一个说明性的例子
让我们首先创建一些服从标准正态分布的数据（如果你想跟着做，本文附件中所有分析的 JSL 脚本已附上）。具体来说，我创建了一个数据表，其中包含四个互不相关的变量的 1000 个观测值。
我们可以使用跳转中的“多元”平台来查看变量之间的相关性，并确认它们是独立的。我特别喜欢使用“相关性”颜色图来说明非对角线中的零相关性：
Figure 1. Correlation coefficients and corresponding heat map for four simulated variables.图 1. 四个模拟变量的相关系数和相应的热图。现在，我们可以问自己一个重要的问题：如果我对这些数据使用 PCA，结果会是什么样子？如果我改用 EFA，结果又会是什么样子？如果您不确定，请继续阅读。
让我们使用JMP中的因子分析平台对这些数据同时进行主成分分析 (PCA) 和因子分析 (EFA)。由于变量数量较少，我只保留一个成分/因子。这样也无需进行任何旋转。
分析得出的成分或因子载荷对于我们理解成分或因子的含义至关重要；载荷较高的变量（通常定义为绝对值 0.4 或更高，因为这表明测量变量方差的至少 16% 与因子方差重叠）最能代表该成分或因子。下面，我们可以将得到的成分载荷（首先显示）与因子载荷（其次显示）进行比较。
Figure 2. Component and factor loadings from a principal components analysis and exploratory factor analysis on four simulated variables that are uncorrelated.图 2. 对四个不相关的模拟变量进行主成分分析和探索性因子分析得出的成分载荷和因子载荷。
我们可以看到结果截然不同！PCA 给出了三个绝对值大于 0.4 的载荷，而 EFA 却一个也没有。为什么？因为当我们进行 EFA 时，我们隐式地请求对简化相关矩阵进行分析，而该矩阵对角线上的 1 已被平方多重相关(SMC) 取代。事实上，快速浏览一下简化相关矩阵的相关性颜色图，就能明白为什么会得到如此不同的结果：
Figure 3. Heat map of reduced correlation matrix, where unities in the diagonal have been replaced by squared multiple correlations.图 3. 简化相关矩阵的热图，其中对角线上的单位已被平方多重相关所取代。
本例中，简化相关矩阵中的每个元素都非常小（接近于零！实际值为 0.002、0.002、0.004 和 0.001）。PCA 方法对全相关矩阵（图 1）进行了特征值分解，而 EFA 方法则对简化相关矩阵（图 3）进行了特征值分解。所分析数据的差异有助于解释不同分析之间的差异，但这些差异并不能从实际角度告诉我们这些差异意味着什么……
分析完全相关矩阵与简化相关矩阵的实际意义
PCA 和 EFA 的目标不同：PCA 是一种降低数据维数的技术，而 EFA 是一种识别和测量无法直接测量的变量（即潜在变量或因子）的技术。因此，在 PCA 中，数据中的所有方差（由全相关矩阵反映）都用于获得解，而最终的成分是变量预期测量值和其他方差来源（例如测量误差）的混合（见图 4 左图）。
相比之下，在扩展因子分析 (EFA) 中，数据中的方差并非全部来自潜在变量（见图 4 右侧面板）。这一特性在 EFA 算法中体现为用 SMC 值“约化”相关矩阵。这是合理的，因为 SMC 是对潜在因子在给定变量中解释的方差（也称为共同性）的估计。如果我们在对角线上取 1 的 EFA，那么我们就隐含地认为这些因子解释了测量变量中的所有方差，这样我们就是在进行主成分分析 (PCA)，而不是 EFA。
Figure 4. Graphic comparison of principal components analysis and exploratory factor analysis.图4.主成分分析和探索性因子分析的图形比较。
图 4 还展示了 PCA 和 EFA 之间的另一个重要区别。请注意，PCA 中的箭头从测量变量指向主成分，而 EFA 中则相反。箭头表示因果关系，即 PCA 中测量变量的变异性会导致主成分的变异。这与 EFA 形成了对比，在 EFA 中，潜在因子被视为导致测量变量之间变异性和相关模式的原因 (Marcoulides & Hershberger, 1997)。
为了清楚起见，我必须再概述几个观察结果。首先，大多数多变量数据都具有一定程度的相关性，因此 PCA 和 EFA 之间的差异往往不如本例中那么明显。其次，随着分析中涉及的变量数量的增加，PCA 和 EFA 的结果会越来越相似。研究人员认为，至少包含 40 个变量的分析会导致细微的差异（Snook & Gorsuch，1989）。第三，如果测量变量的共同性很高（即接近于 1），那么 PCA 和 EFA 之间的结果也会相似。最后，我最喜欢的这个例子依赖于使用“主轴”因式分解方法，但其他估计方法的结果也会有所不同。分析师在 EFA 和 PCA 之间进行选择时，必须考虑所有这些观察结果。但对于心理测量学家（最初开发 EFA 的人）来说，也许最重要的是 EFA 提出了一个关于被分析变量的理论；该理论可以追溯到斯皮尔曼 (1904) 提出，该理论认为未观察到的因素决定了我们能够直接测量的内容。
我在下面列出了一些关键点，但请注意，继续了解该主题的一个很好的资料来源是 Widaman (2007)。
关键点
- PCA 有助于减少变量的数量，同时保留数据中的大部分信息，而 EFA 有助于测量未观察到的（潜在的）、无错误的变量。
- 当变量没有任何共同点时，如上例所示，EFA 将无法找到明确的潜在因素，但 PCA 会找到明确定义的主成分，以解释数据中的最大方差。
- 当目标是测量一个无误差的潜变量，但使用了主成分分析 (PCA) 时，成分载荷很可能会高于使用扩展因子分析 (EFA) 的情况。这会误导分析师认为他们得到了一个定义明确、无误差的因子，而实际上他们得到的是一个定义明确的成分，它是数据中所有变异源的混合体。
- 当目标是获取一小部分变量，使其保留数据中最大的变异性时，如果使用 EFA，因子载荷可能会低于使用 PCA 的情况。这会误导分析师认为他们保留了数据中的最大方差，而实际上他们保留的是所有测量变量中共同的方差。
- PCA 和 EFA 之间的差异与扩展这些技术的分析相关，例如结构方程模型(SEM)。偏最小二乘 SEM (PLS-SEM) 建模的是组成变量之间的结构关系，而基于协方差的 SEM 建模的是无误差潜变量之间的结构关系。
参考
Marcoulides，GA，& Hershberger，SL（1997）。 多元统计方法：入门课程。心理学出版社。
Snook, SC, & Gorsuch, RL (1989).成分分析与公因子分析：蒙特卡罗研究。 《心理学公报》 106，148-154 。
Spearman, C. (1904).“一般智力”，通过客观测定和测量。 美国心理学杂志， 15，201-293 。
Widaman, KF (2007).共同因素与组成部分：主要因素与原理、错误与误解。 100 的因子分析：历史发展和未来方向，177-203。
@劳拉CS ， 谢谢。 我重读了你的解释。 我发现多次阅读有关复杂主题的详尽解释是有益的。
@彼得_赫什我认为更恰当的说法是，多重对应分析（MCA）类似于分类变量的 PCA。 此外，项目响应理论 (IRT) 与分类[观察]变量的[验证]因子分析 (CFA) 相当，LCA 类似于 IRT，但具有分类潜在变量。
进一步澄清，在 EFA 中，人们并不先验地知道数据的“配置”结构。 也就是说，哪些观测变量是由潜变量引起的？ 相比之下，这在 CFA 中是已知的，并且分析师根据该知识指定模型。 后者对于 IRT 和 LCA 也是如此。
我们还可以根据所有这些技术估计潜在变量的能力来区分它们。 从这个角度来看，EFA、CFA、IRT和LCA都是估计“合法”潜在变量的模型。 我使用“合法”这个词是因为这些模型中的潜在变量导致了观察到的变量。 另一方面，MCA 和 PCA 是降维模型，没有理解未观察/潜在变量导致观察到的变量。
谢谢劳拉，
我知道答案。说 MDS 与类别变量的 PCA 类似，而 LCA 与类别变量的 EFA 相当，这样说是否正确？
嗨彼得（@phersh），
关键的区别在于潜变量的概念化。 也就是说，在 EFA 中，因素是连续的，而在 LCA 中，因素是分类的。 此外，在 EFA 中用于提取因素的变量也是连续的，但在 LCA 中它们是分类的。 由于 LCA 估计分类潜在变量，因此它用于分类。 我使用 JMP 中的测量级别图标制作了下图，以进一步推动这一点。 希望这可以帮助！
嘿劳拉，
我喜欢这个比较 PCA 和 EFA 的例子。我想知道您是否可以评论潜在类别分析和 EFA 之间的差异？
超级有帮助。 事实上，这些想法非常有帮助，我将把这些想法纳入即将到来的珊瑚工作拨款中！
年轻的，
我很高兴您发现最后一张图表很有帮助。 我为这篇文章创建了该图像，但不知道其他来源有类似的东西。
最好的，
～劳拉
嗨劳拉，
最后一张 EFA 和 PCA 的比较图非常有助于理解。如果这是来自其他地方，您能否告诉我一个来源，以便在我的演示文稿中使用它？
谢谢你！
最好的，
年轻的
劳拉，我真的很感谢您花时间解释这些技术之间的区别。 这篇文章写得很好，内容丰富，我喜欢你使用图表来说明你的观点。 谢谢你！
